對抗式分辨性domain adaptation
來自專欄 Blogs of Ruili Feng
1 人贊了文章
Adversarial Discriminative Domain Adaptation整理
文章信息：
標題：Adversarial Discriminative Domain Adaptation。 發表於CVPR2017，截至2018.9.27 citations 218。 第一作者Eric Tzeng，伯克利大學，citations 3457（截至2018.9.27），第二作者Judy Hoffman，斯坦福大學，citations 4464（截至2018.9.27），第三作者Kate Saenko，波士頓大學，citations 8877（截至2018.9.27），通訊作者Trevor Darrell，伯克利大學，citations 67963（截至2018.9.28）。
Related works：
Model：
本文認為一般化的對抗式非監督adaptation網路具有以下特徵： 1.Task：現有source domain數據$X_s$與其對應標籤 $Y_s$，服從分布$p_s(x,y)$ ，另有target domain數據$X_t$與其未觀測到的標籤 $Y_t$，服從分布$p_t(x,y)$。目標為學習出target domain上的一個數據表示$M_t$與分類器$C_t$，使之得以正確對target domain數據進行分類。 2.方法：因為缺少target的標籤，無法直接進行監督學習，因此常常先在source上訓練出表示$M_s$與分類器$C_s$，再進行自適應調整以使之得以應用於target domain。一般的，我們希望最小化兩個domain上學得的表示分布的差異，即最小化$M_s(X_s)$與$M_t(X_t)$的分布差異，從而我們就可以認為source上訓練得到的分類器$C_s$也可以作用在target上，即$C=C_t=C_s$。具體的，分為以下幾步： step 1：在source上依據以下損失函數有監督的訓練分類模型：
step2：在source和target上訓練一個domain discriminator D，D的目標式區分一個數據究竟是來自source還是來自target，這可以通過優化以下的loss函數的監督學習過程來實現
step3：通過調整target與source上學得的數據表示，使得上一步學到的domain分類器的分類效果經可能的差，這可以通過交替的優化以下的兩個損失函數來實現：
其中$psi(M_s,M_t)$代表對學得的兩個表示的某些限制條件，體現了人為的假設和先驗知識，比如要求生產這兩個表示的模型結構相同，某些層的參數一致等等。 在此框架之下，網路的設計簡化為三個問題：1）使用生成式的網路來產生數據表示還是分辨式的網路來產生數據表示？2）對target與source上的model之間作什麼樣的限制？3）使用什麼樣的對抗損失函數？ 在本文所提出的具體的模型中，作者認為，1）生成式網路所需要的一些參數本身與分類能力的adaptation無關，所以應當選取分辨式網路。2）不同domain之間的數據結構存在很大差異，不應該對二者的網路參數做任何限制，但二者的網路結構應該一致。但這樣可能會使得target上的模型迅速收斂到退化情況，所以作者先在source上訓練出一個分類能力良好的模型，然後以他的參數作為targte模型的初始值，並在訓練domain discriminator和之後迭代模型時固定source上的模型不變。3）作者最終使用了如下的對抗損失函數：
推薦閱讀：