神經翻譯入門筆記1：n元語法簡介

來自專欄 機器學習演算法與NLP學習筆記

這一階段，我準備閱讀以下三篇關於神經翻譯的tutorial，並做一些筆記。這些tutorial包括

• [Koehn2017], Philipp Koehn,Statistical Machine Translation, Draft of Chapter 13: Neural Machine Translation, 2017.09
• [Neubig2017], Graham Neubig,Neural Machine Translation and Sequence-to-Sequence Models: A Tutorial, 2017.03
• [Luong2016], Thang Luong, Kyunghyun Cho and Christopher Manning,NMT Tutorial, ACL 2016

第一篇筆記主要來自於[Neubig2017]的第一章，對傳統的n元語法模型做了一個簡單介紹。由於不加任何修改的原始n元語法演算法會將大部分n元組出現的概率判斷為0，為了避免這樣的現象出現，需要加入一些平滑。本文同時對插值平滑法做了簡介，並給出了一些文獻作為拓展。最後，簡介了如何評估語言模型（語言模型的任務，可以理解為給定上文的情況下，求出接下來出現某個單詞的概率）。

詳細內容戳我

本部分內容雖然主要來自於三個NMT的tutorial，不過按照目前的預想，還是涵蓋了CS224n的大部分內容。同時，我個人也會補充一些細節。現在構想的內容包括

• n元語法簡介
• log-linear語言模型簡介 x
• 神經網路簡介 xx
• 詞向量
• RNN
• 編碼器-解碼器體系結構
• 注意力機制
• 其它NMT高級內容簡介

在Neubig的tutorial中，打「x」的一章介紹了若干優化方法，包括rmsprop，adam優化器等內容。現在的變數就是，我沒有考慮好是否把第二部分（打「x」的部分）擴充成深度學習優化方法相關的內容，同時把第三部分（打「xx」的部分）加入神經網路正則化的內容。這兩部分應該很重要，但是寫深了可能需要花些功夫

這篇筆記其實在3月6號就寫完發在了我的博客上，但是那天我比較不幸地受了一些外傷，這段時間只能卧床靜養，所以耽誤了專欄這邊的發表。我從今天（3月20號）開始才能偶爾用一用電腦，因此這段時間專欄更新會很慢，請保持耐心

推薦閱讀：