心慕手追，讓機器像人一樣理解句子 | 論文訪談間 #14

「論文訪談間」是由 PaperWeekly 和中國中文信息學會青工委聯合發起的論文報道欄目，旨在讓國內優質論文得到更多關注和認可。

論文作者 | 王少楠，張家俊，宗成慶（中科院自動化所）

特約記者 | 張琨（中國科學技術大學）

學習句子的語義表示就是將句子的含義映射到一個向量空間中，同時保留句子本身的一些特性，例如：表達相似含義的句子在向量空間中應該距離更近。而句子表示模型是將句子的含義編碼為計算機可以理解的形式，這是解決大部分自然語言處理問題的先決條件，因此直接影響了許多自然語言處理任務的性能，如在神經機器翻譯中需要首先將源語言句子表示為一個向量、在問答系統中需要將問句和答案編碼為向量表示等。

但是句子是由不同的詞構成的，不同的詞包含的信息量不同，對句子的語義表示影響也就不同。如何能區分出這些辭彙，給予重要的詞更多的注意力，對句子語義的表示有著重要的意義，同時也有助於機器對句子語義的理解。來自中國科學院自動化研究所的王少楠，張家俊和宗成慶老師發表在國際人工智慧聯合會議（IJCAI）上的文章「Learning Sentence Representation with Guidance of Human Attention」通過對人類閱讀和句子理解機制的模仿，找到了一種新的編碼句子語義的方法。

在理解句子語義方面，人類無疑是機器最好的老師，那麼人類是如何閱讀和理解句子的呢？由於組成句子的詞所包含的信息量不同，因此人類在閱讀和理解句子時會選擇性的注意句子中的某些辭彙，也會選擇性的跳讀一些辭彙，這種注意力機制（圖 1）讓人閱讀和理解句子變得更加高效。

▲ 圖1：人類閱讀過程中的眼動（注意力）軌跡

受人類注意力機制的啟發，作者認為在構建句子表示時應該給重要的辭彙賦予較高的權重，這樣可以得到更好的句子語義表示。那麼哪些辭彙對句子含義的表達更重要呢？同樣我們從人類閱讀文本時的注意力分布尋找答案，大量的有關人類閱讀時間的研究證明了辭彙的特性，如詞性、詞長、詞頻、辭彙驚異度（Surprisal）等，都會影響人類閱讀文本時對這個辭彙的關注程度。因此，作者選擇了辭彙驚異度和辭彙的詞性來對辭彙的重要程度進行建模。

• 辭彙驚異度：反應了一個單詞在一個句子中傳達的信息量，由辭彙在句子中的負對數條件概率計算得到，通常這個值越高表示理解這個詞越困難，需要更多的閱讀時間。
• 辭彙的詞性：詞的不同分類屬性，例如：動詞，名詞，形容詞，介詞，連詞等。心理學實驗已經證實，人類在閱讀文本時會更加註意如名詞、動詞、形容詞等類型的辭彙，而在如介詞和連詞等辭彙上會花費較少的時間。

對於以上兩種特徵，作者分別提出了不同的辭彙重要性計算方法，針對辭彙驚異度特徵，作者直接將它的數值作為辭彙的重要性分數；針對辭彙詞性特徵，作者通過賦予每個辭彙類別一個向量表示，通過類別向量與對應的辭彙向量進行點乘，然後歸一化，將得到的結果作為這個詞的注意力權重，最後將通過注意力機制的詞的加權表示送給當前最好的句子表示模型（圖 2）中，得到句子的語義表示。

▲ 圖2：嵌入注意力機制的句子表示模型

在實驗設計上，作者利用 semantic textual similarity（STS）任務中的 24 個覆蓋新聞，圖片視頻描述，註解，機器翻譯評估等領域的數據集對模型進行了驗證，結果證實了作者提出的方法可以更加準確有效的獲得句子的語義表示。同時，這種方法是通過對人類閱讀理解句子的方式的模仿，因此該模型學習到的注意力分布是否與人類的注意力分布類似呢？作者在 Dundee 語料（一種研究人類閱讀和眼動軌跡的數據集）上進行了驗證，實驗結果（圖 3）顯示模型計算出的注意力權重與人類的閱讀時間規律高度相似，這就證實了作者提出的模型成功模仿了人類的閱讀理解方式。

▲ 圖3：人類閱讀時間和模型計算的注意力權重對比結果

作者有話說：

這篇文章的出發點很簡單，由於目前在句子表示中的注意力機制與人類閱讀和理解句子的注意力機制不相符，我就想去嘗試能不能利用人類閱讀過程中的注意力機制去改進現有的句子表示模型。這個工作最大的創新性在於結合了認知心理學的一些研究結論，通過返回的審稿意見，我發現這種研究思路是很受歡迎和認可的。目前，在自然語言處理領域越來越多的人開始嘗試利用人類理解語言的機制來改進或者建立語言處理模型，相信這種跨領域的結合會帶來意想不到的驚喜！

歡迎點擊查看論文：https://arxiv.org/pdf/1609.09189.pdf

關於中國中文信息學會青工委

中國中文信息學會青年工作委員會是中國中文信息學會的下屬學術組織，專門面向全國中文信息處理領域的青年學者和學生開展工作。

關於PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智慧前沿論文成果的學術平台。如果你研究或從事 AI 領域，歡迎在公眾號後台點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

微信公眾號：PaperWeekly

新浪微博：@PaperWeekly