哈工大劉挺：自然語言處理中的可解釋性問題
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫查詢
“知其然，亦知其所以然”是現(xiàn)代計(jì)算機(jī)科學(xué)家針對(duì)神經(jīng)網(wǎng)絡(luò)可解釋性問題追逐努力的方向和夢想。針對(duì)自然語言處理中的可解釋性問題，哈爾濱工業(yè)大學(xué)劉挺教授在2022北京智源大會(huì)報(bào)告中做了詳盡的解讀。首先介紹了自然語言處理中的可解釋性概念，分類及研究可解釋性的必要性，重點(diǎn)介紹了可解釋自然語言處理中的三種方法，包括白盒透明模型的設(shè)計(jì)、黑盒事后解釋方法以及灰盒融合可解釋要素方法。最后，劉挺教授提出了可解釋性的白盒模型設(shè)計(jì)以及可解釋性評(píng)估等未來發(fā)展的挑戰(zhàn)和研究方向。（注：本文由第三方整理，未經(jīng)本人審閱）
劉挺，哈爾濱工業(yè)大學(xué)教授，哈工大計(jì)算學(xué)部主任兼計(jì)算機(jī)學(xué)院院長、自然語言處理研究所所長
國家“萬人計(jì)劃”科技創(chuàng)新領(lǐng)軍人才，“十四五”國家重點(diǎn)研發(fā)計(jì)劃“先進(jìn)計(jì)算與新興軟件”、“社會(huì)治理與智慧社會(huì)科技支撐”兩個(gè)重點(diǎn)專項(xiàng)的指南專家、教育部人工智能科技創(chuàng)新專家組專家。中國計(jì)算機(jī)學(xué)會(huì)會(huì)士、理事，中國中文信息學(xué)會(huì)副理事長、社會(huì)媒體處理專委會(huì)（SMP）主任，黑龍江省中文信息處理重點(diǎn)實(shí)驗(yàn)室主任，黑龍江省“人工智能”頭雁團(tuán)隊(duì)帶頭人。曾任國際頂級(jí)會(huì)議ACL、EMNLP領(lǐng)域主席。主要研究方向?yàn)槿斯ぶ悄?、自然語言處理、社會(huì)計(jì)算和智慧醫(yī)療等，是國家重點(diǎn)研發(fā)項(xiàng)目“人機(jī)融合會(huì)診”的首席科學(xué)家。主持研制“語言技術(shù)平臺(tái)LTP”、“大詞林”等科研成果被業(yè)界廣泛使用。曾獲國家科技進(jìn)步二等獎(jiǎng)、省科技進(jìn)步一等獎(jiǎng)、錢偉長中文信息處理科學(xué)技術(shù)一等獎(jiǎng)等。
NLP中的可解釋性
如今，大多數(shù)端到端的深度學(xué)習(xí)模型都是黑盒。開發(fā)者很難得知AI系統(tǒng)做出某個(gè)決策的依據(jù)，難以辨析影響方法成敗的關(guān)鍵因素。因而，開發(fā)者難以進(jìn)行針對(duì)性的調(diào)整，修改神經(jīng)網(wǎng)絡(luò)的架構(gòu)，從而使決策過程更加準(zhǔn)確。而可解釋的AI可以在做出決策的同事給出相應(yīng)的依據(jù)，明確AI方法的適用場景，使決策結(jié)果是可控可反饋的，增強(qiáng)用戶對(duì)人工智能系統(tǒng)的信賴度。
深度學(xué)習(xí)已經(jīng)取得了巨大成功，但深度學(xué)習(xí)的進(jìn)一步應(yīng)用遇到了倫理、用戶信任以及糾錯(cuò)等方面的挑戰(zhàn)，盡管黑盒系統(tǒng)因其優(yōu)越的性能得到廣泛應(yīng)用，但也因?yàn)槠錄Q策難以被理解所以在應(yīng)用中受到限制。
可解釋性是衡量人工智能系統(tǒng)性能的重要指標(biāo)。在司法、醫(yī)療、金融等重要領(lǐng)域中，不可知、不可控的人工智能技術(shù)會(huì)引發(fā)爭議?？山忉屝缘难芯磕軌蛱嵘斯ぶ悄芗夹g(shù)的可信度，實(shí)現(xiàn)更加可控的推理決策。
可解釋AI在國際上受到了越來越大的關(guān)注，越來越多的國際相關(guān)組織機(jī)構(gòu)將可解釋性AI作為重要的技術(shù)發(fā)展戰(zhàn)略。例如，美國DARPA在2017年開展了可解釋人工智能計(jì)劃，2019年谷歌發(fā)布了《可解釋人工智能白皮書》等。在我國，《新一代人工智能發(fā)展規(guī)劃》提到了可解釋人工智能的研究。今年5月16號(hào)，國家自然科學(xué)基金委也提出了「可解釋、通用的下一代人工智能方案」重大研究計(jì)劃。
可解釋人工智能系統(tǒng)主要由被「解釋的對(duì)象」、「解釋者」以及「解釋受眾」三部分組成。被解釋的對(duì)象即人工智能體的決策機(jī)制；解釋者為負(fù)責(zé)提供解釋的一方，一般會(huì)由機(jī)器自我解釋，也有一部分是事后解釋，包括第三方的解釋系統(tǒng)或者人類專家；解釋的受眾是聽取解釋并試圖理解的一方，包括AI系統(tǒng)開發(fā)者、AI使用者和受影響者、AI系統(tǒng)監(jiān)管者等。
模型的解釋可以分為兩大類：
（1）透明模型，即自解釋或直接解釋。在做出決策或預(yù)測的過程中直接產(chǎn)生一些信息，呈現(xiàn)給用戶一種解釋。此時(shí)，解釋和模型的預(yù)測同時(shí)產(chǎn)生。例如，決策樹和基于規(guī)則的模型都是透明的模型。
（2）事后解釋，對(duì)于預(yù)測結(jié)果需要執(zhí)行額外的操作才能夠解釋當(dāng)前系統(tǒng)做出決策的原因。比如利用可解釋模型對(duì)復(fù)雜模型的部分輸出進(jìn)行建模，形成替代模型，使用可解釋的替代模型解釋輸出。
可解釋自然語言處理可以簡稱為XNLP，指能以可解釋、可理解、人機(jī)交互的方式，與自然語言處理系統(tǒng)的開發(fā)者、使用者、決策者等，達(dá)成清晰有效的交流溝通。在取得人類信任的同時(shí)，滿足各類應(yīng)用場景對(duì)智能體決策機(jī)制的監(jiān)管要求。
傳統(tǒng)的自然語言處理方法具有可解釋性，可稱之為白盒技術(shù)。應(yīng)用白盒技術(shù)便于用戶與系統(tǒng)之間的交互、有利于開發(fā)者對(duì)系統(tǒng)的修改糾錯(cuò)。而深度學(xué)習(xí)模型以語言嵌入作為特征，盡管顯著提高了模型的性能，但模型難以解釋，可稱之為黑盒技術(shù)。應(yīng)用黑盒技術(shù)更容易獲取更優(yōu)秀的結(jié)果，但是在涉及財(cái)產(chǎn)和生命安全等因素的領(lǐng)域難以更廣泛地應(yīng)用。例如，性能極其優(yōu)異的深度學(xué)習(xí)模型GPT-3會(huì)在如下所示的預(yù)測任務(wù)中出現(xiàn)錯(cuò)誤，而研究者難以分析其做出錯(cuò)誤決策的原因。
計(jì)算機(jī)視覺領(lǐng)域可以通過注意力機(jī)制，利用“高亮”顯示與標(biāo)簽相關(guān)的圖像區(qū)域；而自然語言處理領(lǐng)域除了注意力機(jī)制“高亮”顯示與標(biāo)簽相關(guān)的文本片段之外，還可以通過輸出“解釋文本”輔助理解決策原因，比如或者利用結(jié)構(gòu)化的知識(shí)圖譜、符號(hào)推理給出推理路徑，用推理路徑來進(jìn)行解釋。
白盒透明模型設(shè)計(jì)
白盒透明模型的設(shè)計(jì)主要方法首先是特征重要性，提取特征過程當(dāng)中已經(jīng)埋下了后續(xù)對(duì)系統(tǒng)進(jìn)行解釋的一個(gè)非常好的伏筆。其次是溯源，比如問奧巴馬的女兒有多大，基于知識(shí)圖譜進(jìn)行推理得到的奧巴馬的女兒是18歲，那么把知識(shí)圖譜推理路徑展示出來就成為一個(gè)很好的解釋。
劉挺老師所在實(shí)驗(yàn)室針對(duì)白盒系統(tǒng)的設(shè)計(jì)做了一個(gè)基于神經(jīng)自然邏輯的多項(xiàng)選擇問答系統(tǒng)，嘗試用神經(jīng)網(wǎng)絡(luò)的方法執(zhí)行符號(hào)推理，本質(zhì)推理還是在符號(hào)層面進(jìn)行推理，具有天然的可解釋性。但由于符號(hào)推理本身存在一些問題，需要用神經(jīng)網(wǎng)絡(luò)的語義的表示方法去注入，使符號(hào)推理的任務(wù)更可行更強(qiáng)大。
系統(tǒng)主要針對(duì)多項(xiàng)選擇問題，例如把grandPaOf進(jìn)行拆分，可以等價(jià)推出關(guān)系是祖孫的關(guān)系，但是庫里面只有g(shù)randfather這樣的關(guān)系詞，可以通過語義的相似度計(jì)算，把grandpa和grandfather進(jìn)行合并。系統(tǒng)采用自然邏輯進(jìn)行推理，自然邏輯是一種基于語義單調(diào)性的邏輯，有7種基本的語義關(guān)系，可以直接在文本上通過插入、刪除和替換單詞進(jìn)行擴(kuò)展、推理。比如所有動(dòng)物需要水，經(jīng)過操作，動(dòng)物是反向蘊(yùn)含狗，所有動(dòng)物都需要水，所有狗也都需要水，就可以進(jìn)行這樣的推理。
同時(shí)系統(tǒng)希望采用證據(jù)推理來支持問答的任務(wù)，比如說問嚙齒動(dòng)物吃植物嗎？有一個(gè)支持的答案或者叫證據(jù)就是松鼠是吃松子的，松鼠是嚙齒動(dòng)物，松子是一種植物，就可以用自然邏輯通過增刪改等等方式進(jìn)行替換，把推理路徑找出來，這個(gè)解釋自然也就成立。但在找推理路徑尤其各種概念合一的過程當(dāng)中，又是需要神經(jīng)網(wǎng)絡(luò)的幫助，用神經(jīng)網(wǎng)絡(luò)去進(jìn)行嵌入式語義表示，更好刻畫上下文，更準(zhǔn)確的判斷單詞與單詞之間的語義關(guān)系。
黑盒事后解釋方法
黑盒事后解釋是當(dāng)前最主要的NLP解釋方法。
「替代模型」是一種主流的黑盒事后解釋方法，它通過學(xué)習(xí)另一個(gè)具有可解釋能力的簡單模型作為代理來進(jìn)行解釋，讓替代模型的輸入輸出盡可能模擬原來黑盒的模型。但是這種方法的可行性也受到了一些學(xué)者的質(zhì)疑。
第二種方法叫做「樣例驅(qū)動(dòng)」，通過識(shí)別和呈現(xiàn)其它與輸入實(shí)例語義相似的已標(biāo)注好原因或者解釋的文本的實(shí)例解釋對(duì)輸入實(shí)例的預(yù)測，樣例驅(qū)動(dòng)常用于問答系統(tǒng)，類似于基于最近鄰的方法。
第三種方法為注意力機(jī)制，例如機(jī)器翻譯系統(tǒng)，通過注意力機(jī)制發(fā)現(xiàn)高亮的不同，亮度的區(qū)別確實(shí)于與注意力的強(qiáng)弱相對(duì)應(yīng)，解釋單詞的翻譯依據(jù)。但目前可解釋性與注意力的對(duì)應(yīng)關(guān)系尚無定論。
第四種方法為探針方法，指使用模型的編碼表征來訓(xùn)練一個(gè)分類器，該分類器用于探索編碼表征中是否掌握某些語言學(xué)知識(shí)，如詞性信息、句法信息、語義信息等。若分類器在探針任務(wù)上表現(xiàn)良好，則可認(rèn)為機(jī)器掌握了相關(guān)的語言學(xué)知識(shí)，可以有理有據(jù)地進(jìn)行問答。
群體情緒原因發(fā)現(xiàn)
根據(jù)疫情期間每天獲取的上千萬條與疫情相關(guān)的微博，研究者們對(duì)微博上各地的情緒分布進(jìn)行統(tǒng)計(jì)，繪制出了如下圖所示的微博情緒地圖。
基于注意力機(jī)制的解釋
基于注意力機(jī)制為閱讀理解任務(wù)提供可解釋性也屬于「事后解釋方法」。這里面主要探討注意力機(jī)制是否能夠解釋預(yù)訓(xùn)練模型的運(yùn)行機(jī)制。研究者采用了一個(gè)包含四部分的注意力矩陣，Q2 代表問題到問題；P2 代表篇章理解；Q2P是從問題到篇章；尋找答案的線索；P2Q是對(duì)答案進(jìn)行驗(yàn)證。研究者分別對(duì)這幾個(gè)部分進(jìn)行注意力機(jī)制的分析。
一般來說，高注意力對(duì)系統(tǒng)的影響比較大，比如說特殊的符號(hào)，對(duì)角線的元素。但在閱讀理解問題上，研究者們發(fā)現(xiàn)去掉單個(gè)符號(hào)影響不大，去掉多個(gè)特殊的符號(hào)在英文上性能下降比較明顯，然而中文上下降不是太明顯，去掉對(duì)角的元素反而可以提升閱讀理解的準(zhǔn)確率。P2Q和P2P仍然是影響結(jié)果重要性的最主要的注意力區(qū)域。
探針方法
研究者們使用探針方法，實(shí)現(xiàn)對(duì)話理解中的可解釋性認(rèn)證。對(duì)話當(dāng)中蘊(yùn)含豐富的語言現(xiàn)象，傳統(tǒng)對(duì)話系統(tǒng)無法理解對(duì)話中的省略和指代等現(xiàn)象，模型產(chǎn)生回復(fù)的過程不可解釋。而劉挺教授團(tuán)隊(duì)在人人對(duì)話數(shù)據(jù)中插入QA對(duì)，通過對(duì)話模型能否正確地回答問題來檢驗(yàn)?zāi)Ｐ褪欠裾嬲斫鈱?duì)話的語義。并由此提出了一個(gè)DEQA數(shù)據(jù)集，通過可解釋的QA方式驗(yàn)證了主流模型無法正確理解對(duì)話中語義的問題。
解釋要素的注入
劉挺教授團(tuán)隊(duì)將符號(hào)知識(shí)注入神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)事件、時(shí)間、常識(shí)的知識(shí)預(yù)測。通過邏輯的推理可以擴(kuò)大神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集，同時(shí)利用邏輯規(guī)則在上層約束神經(jīng)網(wǎng)絡(luò)。從文本中無監(jiān)督抽取的時(shí)間常識(shí)可能存在報(bào)告偏差，常見的情況在文本中并未顯式提及，自然文本中幾乎不會(huì)有類似的表達(dá)，預(yù)訓(xùn)練等大模型會(huì)在文本表達(dá)中對(duì)非尋?，F(xiàn)象加以強(qiáng)調(diào)。劉挺教授介紹的方法通過利用不同維度間的時(shí)間常識(shí)知識(shí)之間的約束關(guān)系降低報(bào)告誤差。
無監(jiān)督文本生產(chǎn)解釋
劉挺教授團(tuán)隊(duì)針對(duì)閱讀理解構(gòu)建自解釋系統(tǒng)，提出了一個(gè)基于迭代式動(dòng)態(tài)門限機(jī)制的無監(jiān)督字解釋方法。通過借鑒知識(shí)蒸餾的傳統(tǒng)做法，建立一個(gè)雙子系統(tǒng)。閱讀器負(fù)責(zé)正常訓(xùn)練閱讀理解任務(wù)，解釋器通過門機(jī)制控制輸入篇章的內(nèi)容量保留篇章中最重要的部分，進(jìn)而使用閱讀器做模型預(yù)測生成答案，使用解釋器產(chǎn)生解釋文本。最終得到的實(shí)驗(yàn)結(jié)果相比傳統(tǒng)方法獲得了更高的答題準(zhǔn)確率，因此不需要以答題準(zhǔn)確率為代價(jià)換取可解釋性，在人工評(píng)價(jià)指標(biāo)上也取得了較好的效果。
可解釋性的評(píng)價(jià)
針對(duì)可解釋性評(píng)價(jià)的挑戰(zhàn)，劉挺教授團(tuán)隊(duì)也提出了兩個(gè)針對(duì)可解釋性評(píng)價(jià)的數(shù)據(jù)集，分別是可解釋性閱讀理解數(shù)據(jù)集ExpMRC和可解釋的因果推理數(shù)據(jù)集。
- 灰盒融合可解釋要素方法
灰盒方法的主要思想是在構(gòu)建系統(tǒng)的時(shí)候嵌入可解釋的要素。劉挺教授首先介紹了基于神經(jīng)-符號(hào)相結(jié)合的可解釋性自然語言理解。符號(hào)表示有可程序化化可解釋性強(qiáng)等優(yōu)點(diǎn)，而神經(jīng)AI表示能力和適應(yīng)能力強(qiáng)，劉挺教授團(tuán)隊(duì)嘗試將兩者的優(yōu)點(diǎn)結(jié)合在一起，構(gòu)造了一個(gè)名為ExCAR的因果邏輯增強(qiáng)的可解釋因果推理框架，例如從量化寬松到房價(jià)上漲找到推理路徑，利用神經(jīng)邏輯網(wǎng)絡(luò)和條件馬爾可夫還原背后的因果決策機(jī)制。
基于規(guī)則挖掘的知識(shí)發(fā)現(xiàn)，一般用表示學(xué)習(xí)、強(qiáng)化學(xué)習(xí)去進(jìn)行知識(shí)的發(fā)現(xiàn)，利用實(shí)體的描述文本和結(jié)構(gòu)信息實(shí)現(xiàn)知識(shí)不全；利用文本模型的輸出稠密化知識(shí)圖譜；利用EM和ML兩種方法融合文本模型和結(jié)構(gòu)模型，進(jìn)而實(shí)現(xiàn)基于分層推理的知識(shí)發(fā)現(xiàn)。
- 總結(jié)和展望
劉挺教授本次報(bào)告向大家分享了白盒、黑盒以及灰盒等可解釋性方法，也介紹一些評(píng)價(jià)的方法和數(shù)據(jù)集。劉挺教授認(rèn)為，可解釋人工智能未來的發(fā)展趨勢是神經(jīng)網(wǎng)絡(luò)和符號(hào)系統(tǒng)相互結(jié)合、推理規(guī)則與預(yù)訓(xùn)練模型的相互結(jié)合以及可解釋規(guī)則證據(jù)的歸納和可視化。另外，如何設(shè)計(jì)面向自然語言處理的白盒模型是一項(xiàng)很大的挑戰(zhàn)?，F(xiàn)在多數(shù)工作仍然集中于黑盒的事后解釋以及如何利用可解釋要素提出灰盒方法，難點(diǎn)在于多數(shù)NLP模型基于神經(jīng)網(wǎng)絡(luò)模型，而神經(jīng)網(wǎng)絡(luò)模型本身的可解釋性仍然是未解難題。除此以外，可解釋性的評(píng)價(jià)需要更加綜合、全面地進(jìn)行評(píng)估，結(jié)合腦科學(xué)的學(xué)科發(fā)展對(duì)可解釋性進(jìn)行進(jìn)一步的探索也是未來重要的研究方向。
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
