頂會論文輪番炸場，本周哪些論文最值得讀？

07-27

來自專欄 PaperWeekly40 人贊了文章

Constructing Narrative Event Evolutionary Graph for Script Event Prediction

@lizhongyang2011 推薦

#Script Event Prediction

本文是哈工大發表於 IJCAI 2018 的工作，論文提出通過構建敘事事理圖譜來更好地利用事件之間的稠密連接信息，以幫助腳本事件預測任務。為了解決大規模事理圖譜圖結構上的推斷問題，本文提出了一個可擴展的圖神經網路模型，來學習事件之間的交互作用並學習到更好的事件表示。在腳本事件預測任務上，本文的方法取得了 SOTA 的結果。

論文鏈接：https://www.paperweekly.site/papers/2026

源碼鏈接：https://github.com/eecrazy/ConstructingNEEG_IJCAI_2018

Transformation Networks for Target-Oriented Sentiment Classification

@paperweekly 推薦

#Sentiment Classification

本文是 Tencent AI Lab 與香港中文大學聯合發表於 ACL 2018的工作。該文嘗試了一種新思路來解決面向評論目標（opinion target）的情感分類任務：用卷積神經網路（CNN）替代基於注意力機制的 RNN 去提取最重要的分類特徵。

由於 CNN 很難利用目標實體信息，該文設計了一個特徵變換組件來將實體信息引入到單詞的語義表示當中。這個特徵變換過程可能會使上下文信息丟失，所以文中提出了兩種「上下文保留」機制，將上下文信息和變換之後的特徵結合起來。該框架在三個標準數據集上，取得了全面優於已有方法的準確率和 F1 值。

論文鏈接：https://www.paperweekly.site/papers/2029

源碼鏈接：https://github.com/lixin4ever/TNet

Gaussian Mixture Latent Vector Grammars

@lalalalal 推薦

#Grammar Learning

本文是上海科技大學發表於 ACL 2018 的工作，論文收到 6/5/5 的評分（滿分 6 分）。論文提出了 Latent Vector Grammars (LVeGs)，證明 Latent Variable Grammars 和 Compositional Vector Grammars 皆為 LVeGs 的特例。此外，論文還提出 LVeGs 的一種特例：Gaussian Mixture LVeGs，能夠進行有效的推理和學習。在 Constituency Parsing 和 Part-of-Speech Tagging 兩個任務上皆取得不錯的效果。

問題價值：語法樹可以表示語言的生成過程，編碼語言中潛藏的結構信息，有助於語言理解和生成任務；之前的研究顯示細化句法類別，如將每個句法類別切分為有限個子類別，能夠提高語法分析的精度；本文更進一步，提出使用連續向量空間表示句法子類別空間，因此能夠建模無窮多個句法子類別。

問題難度：如何表示句法子類別的連續空間；如何在句法子類別高緯連續表示的設定下進行有效的學習和推理。

解決思路：本文將文法規則的權重函數定義為混合高斯分布；對於文法規則 A->B，其權重函數的變數為向量 a（句法類別 A 的子類型向量空間）和 b（句法類別 B 的子類型向量空間）的串聯；在上述設定下，能夠應用梯度下降的優化方法進行有效的學習，同時能夠應用動態規劃演算法進行有效推理。

論文鏈接：https://www.paperweekly.site/papers/2033

源碼鏈接：https://github.com/zhaoyanpeng/lveg

Aspect Term Extraction with History Attention and Selective Transformation

@paperweekly 推薦

#Hierarchical Attention Networks

本文是 Tencent AI Lab 與香港中文大學聯合發表於 IJCAI 2018 的工作。該文提出的 aspect 抽取框架利用了兩個有用的線索：opinion summary 和 aspect 檢測歷史。

opinion summary 是基於 aspect 預測的每個當前 token 從整個輸入句子提煉出來的，因此這個量身定做的 summary 有助於當前 token 是否為 aspect 的預測。另一個線索是從之前 token 的 aspect 預測提取出來的預測歷史，此線索利用了同位詞關係和 BIO tagging 的約束來提高預測效果。該模型在四個基準數據集上進行了實驗，均取得了最佳結果。

論文鏈接：https://www.paperweekly.site/papers/2030

源碼鏈接：https://github.com/lixin4ever/HAST

Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation

@paperweekly 推薦

#Dialog Generation

本文是 CMU 發表於 ACL 2018 的工作，論文從生成式對話模型的可解釋表示學習出發，作者提出了兩種無監督的 VAE 模型：DI-VAE 和 DI-VST，可以和現有的 encoder-decoder 框架結合，去做可解釋的對話生成。

論文鏈接：https://www.paperweekly.site/papers/2019

源碼鏈接：https://github.com/snakeztc/NeuralDialog-LAED

Attention U-Net: Learning Where to Look for the Pancreas

@DeepTrial 推薦

#Attention Mechanism

作者實現了 Attention 機制與 U-Net 網路的融合。以往在計算機視覺領域中所使用的 Attention 機制，需要使用增強學習等方法來調整參數，使得網路效率低下。作者這裡使用 U-Net 模型下採樣階段提取出的特徵作為門控信息，生成 Attention 的權值，而整個模型的參數調整都遵循梯度下降的原則，無需引入其他方法，極大簡化了網路結構。

另一方面 Attention 機制可以幫助 U-Net 模型抑制和分割目標無關區域的響應，幫助加快收斂速度，提高模型精度。文中，作者給出了 Attention U-Net 在肺部 CT 圖像，視網膜眼底圖像上應用的結構，證明其在圖像語義分割上的優異性能。

論文鏈接：https://www.paperweekly.site/papers/2038

源碼鏈接：https://github.com/ozan-oktay/Attention-Gated-Networks

Graphical Generative Adversarial Networks

@TwistedW 推薦

#Generative Adversarial Networks

文章提出了 Graphical GAN 將貝葉斯網路應用於 GAN 中，達到了緊湊表示隨機變數之間的依賴關係結構，以及生成對抗網路對學習表達依賴函數的依賴關係結構。文章的數學和理論高度較高，實驗上不僅僅可以生成靜態的圖像還可以生成帶有時序信息的數據。

論文鏈接：https://www.paperweekly.site/papers/2052

源碼鏈接：https://github.com/zhenxuan00/graphical-gan

Variational Autoencoder for Low Bit-rate Image Compression

@paperweekly 推薦

#Image Compression

本文是圖鴨科技圖片壓縮團隊於 CVPR 2018 圖像壓縮別挑戰賽（CLIC）參賽論文。該文提出了一種在深度學習領域的圖像壓縮演算法，在保證圖像質量的同時，儘可能的降低圖片大小。

論文主要有以下幾個方面：優化的網路結構、高效的量化方法、量化與碼字估計聯合優化、優化的熵編碼技術，並與網路結構融合，實現端到端的優化。大賽結果表明，該方法沒有辜負我們的期望，Tucodec TNGcnn4p 在 CLIC 上斬獲全部兩項主觀測評指標 MOS 與 MS-SSIM 的第一名。

論文鏈接：https://www.paperweekly.site/papers/2053

Pyramid Attention Network for Semantic Segmentation

@fashipiaoliu 推薦

#Semantic Segmentation

本文來自北京理工大學和 Face++，論文提出了特徵金字塔注意力模塊可在 FCN 基礎像素預測模型嵌入不同尺度的上下文特徵。開發了一個高效解碼模塊 GAU 以幫助語義分割。結合特徵金字塔注意力和全局注意力上採樣，該金字塔注意力網路架構可在 VOC 2012 和 cityscapes 基準上達到當前最優水平。

論文鏈接：https://www.paperweekly.site/papers/2034

A Deep Learning Interpretable Classifier for Diabetic Retinopathy Disease Grading

@DeepTrial 推薦

#Medical Image Analysis

當使用深度學習處理醫學圖像問題時，往往會因為深度學習的不可解釋性阻礙醫生或大眾信任計算機給出的判斷。在糖尿病視網膜症評級問題上也是如此。現有的 CNN 模型在這個問題的數據集上已有很高的準確率，但模型本身是不可解釋的。

本文作者提出了一種解釋卷積神經網路的方法，使得模型給出的分類結論更有說服性。本文重點圍繞卷積神經網路的數學解釋方法而展開。對於關注神經網路可解釋性的研究者而言值得一看。

論文鏈接：https://www.paperweekly.site/papers/2039

Self-Attentive Neural Collaborative Filtering

@daven88 推薦

#Recommender Systems

目前主流的基於深度學習的推薦系統大多都在研究如何模擬用戶和商品之間的非線性的關係。但是目前使用到的深度學習框架都是淺層的（比如 3 到 4 層）。如何訓練更深的模型還不是很清楚。

本文提出了一種新型的深度學習模型 SA-NCF，這個模型可以讓層數達到 20 甚至更深的層數。這個模型利用層級的自注意力模型來學習 MLP 中各個隱含層之間的深層次的關係和相似度。SA-NCF是一個全連接的自匹配模型。

我們在 6 個大規模的真實的數據集上面做了測試，發現我們的模型能起到 23%-58% 的提升（基於最新的深度學習的推薦模型，例如 NeuMF，MLP，CML），在有些數據集上 HR@10 甚至可以達到 100%。是一個非常有應用前景的模型。

論文鏈接：https://www.paperweekly.site/papers/2047

SupportNet: solving catastrophic forgetting in class incremental learning with support data

@lykaust15 推薦

#Deep Learning

本文提出了一個非常簡單實用有效的方法，將深度學習和 SVM 結合解決了使用深度學習進行 class incremental learning 時會遇到的 catastrophic forgetting 的問題。

在使用深度學習時，我們經常遇到這樣一個場景（尤其是長時間，大數據量的 project）：在使用已有的數據訓練好一個深度學習模型之後，又來了一批新的數據，而這批新數據的 class 是原有數據沒有的 class，我們需要使模型變得也有能力去預測新的 class，這就是 class incremental learning。

使用所有的數據從頭訓練一個全新的模型太過費時費力。但如果只用新數據去 fine-tune 以前的模型就會出現這個模型把所有的 test 數據（甚至包括以前的訓練數據）都預測成新 class 的情況，就好像這個模型忘記了我們曾經使用過老數據對它進行訓練一樣，這個現象被形象地稱為 catastrophic forgetting。這個問題非常有意思，除了和人工智慧有關，它還有一些腦神經科學以及認知心理學的背景，詳細介紹請參見原文。

這兩年有很多關於這個方向的研究。其中最有名的是 EWC 和 iCaRL。雖然 EWC 在 sequential tasks 上 performance 很好，但是在 class incremental learning 上的 performance 有時甚至比 random guess 還要差。iCaRL 雖然有著 state-of-the-art 的 performance，但是比最優 performance（從頭訓練一個全新的 model 的 performance），有時能差 30 到 40 個百分點。

本文的方法將深度學習和 SVM 結合起來，取了兩種演算法的長處。在訓練完一個深度學習 model 之後，SupportNet 會使用 SVM 去 approximate 深度學習模型的最後一層。根據 SVM 模型的 support vector 信息，SupportNet 能夠得到所要保留的 support data。在新數據來的時候，這些 support data 以及新數據會被用來 fine-tune 之前的模型。

除了使用了這個方法，SupportNet 還使用了兩個非常有效的 regularizer，EWC regularizer 和 feature regularizer，來穩定深度學習模型。文章用大量的實驗證明了該方法的 performance。

值得注意的是，SupportNet 不僅比 iCaRL 的 performance 要好很多，它在一個數據集上的 performance 甚至接近最優 performance。文章還對各個參數以及方法為什麼會 work 進行了詳細分析。

論文鏈接：https://www.paperweekly.site/papers/2027

源碼鏈接：https://github.com/lykaust15/SupportNet

ReNN: Rule-embedded Neural Networks

@zuri 推薦

#Rule Embedding

本文基於先驗知識與深度學習結合的思想提出了規則嵌入式神經網路，將專家知識以規則的形式嵌入到 ANN 中，借鑒「知識+經驗」的人類智能的處理方式。知識的引入提高了 ANN 的性能，降低了 model 的複雜度，即使小樣本數據量也能訓練出很好的模型，可能也是深度學習走向 StrongAI 的關鍵。

論文鏈接：https://www.paperweekly.site/papers/2021

Network Representation Learning: A Survey

@Rcypw 推薦

#Network Representation Learning

本文是一篇網路表示學習綜述文章，論文總結了今年關於 NRL/GRL 的相關工作，研究充分，總結、歸納很詳細，對 NRL/GRL 研究具有指導意義。

論文鏈接：https://www.paperweekly.site/papers/2025

Semantic Autoencoder for Zero-Shot Learning

@loyalfei 推薦

#Zero-Shot Learning

本文是倫敦大學瑪麗皇后學院發表於 CVPR 2017 的工作，論文引入語義信息，提出一種新的語義自編碼器結構，實現 zero-shot learning 的工作，解決了訓練集和測試集的領域漂移（domain shift）問題。演算法的自編碼器在進行編碼和解碼時，使用了原始數據作為約束，即編碼後的數據能夠儘可能恢復為原來的數據。