只有達到 state of the art精度的方法才能發文章嗎？

01-21

本人小碩一枚，最近在研究方向上和導師出了點分歧。
導師的大致意思是只有達到 state of the art精度才能發論文，風險大，我競爭不過別人。所以導師要我引入別的數據。（就像做菜，廚藝拼不過別人，就加入新的食材。。。）
我想請教大家，情況真是這樣嗎？如果精度不是最高，但是有創新點或其他優勢，並且精度比較高，有可能發論文嗎？

看意思題主是搞cs的，很有可能是machine learning相關的。

這個問題跟你paper的主題有關，如果你是做理論（方法或模型的理論分析）的，沒有實驗結果都可以，只要你有令人信服的theorem和proof，並且確實有潛在的理論和應用價值。

但是，如果你的paper主題是發明了某種新的結構，並需要在某些公開資料庫上進行實驗以驗證你的新模型的有效性（比如你設計了某種新的神經網路然後在Imagenet上測試），那麼這種情況下最好是至少在同類模型或方法中達到sota（確如其他答案所說並不需要幹掉所有模型），否則這種新結構或者創新點的意義就會被低估，因為至少在這些公開的衡量標準下，你的模型看起來不具備足夠的競爭力和影響力。

當然除了以上兩種之外還有很多其他類型的paper，但只要是有實驗部分的paper至少應當跟過去最近的類似工作進行適當的比較，保險起見是至少超過某個basline，笑。

有答案提到yoshua在quora的回答指出我們應當避免陷入incremental research的境地，個人認為這裡有個trade off，倘若過分強調paper創新而忽視performance，必然會導致偽創新和投機取巧的泛濫，也會增加論文期刊中同行評審的成本。反之則會讓同行評審偷懶只看結果不看內容。做個不恰當的比喻，這就如同國內的素質教育和高考分數之間的調和，素質教育在長遠看確實十分重要，但高考分數也確實是現階段一個比較公平的人才衡量標準。

補充：

有答案以nlp中 neural machine translation的例子作為說明創新的重要性，個人表示贊同（實際上我曾經就是這其中一個組的。。），但問題是這種可以稱得上較大的挖坑的創新是相對少見的，如果題主認為自己模型的創新真的很大，並且你的結果至少是 comparable的，那如確如這位答主所說。

Yoshua Bengio在這個Quora回答中說到過相關問題，我覺得可以引用一下：

Benchmarks also play an important role to raise our attention to new methods that outperform the earlier state-of-the-art. But they should *not* be used to discard research that does not beat the benchmark. Otherwise we risk getting stuck in incremental research. This mindset has killed innovation in some fields I know. If something works well on a benchmark it probably means that we should pay some attention to it, but the converse is not true. You may have a great idea embodied in a method that is not currently performing great because one pesky detail is hampering it, which might be fixed next year. There is too much importance given to comparative experimental results by machine learning reviewers these days. I believe it is a kind of laziness. It is indeed easier to check the table of results than to actually try to understand the ideas in the paper and project yourself in the potential it opens up.

雖然很有道理，但是你還是得先說服你導師才行╮(╯▽╰)╭

以nlp來說，neural machine translation剛出來的時候，並沒有展現出對SMT在BLEU值上的優勢，但是大家都知道神經網路這東西，只要證明在某個方向可行，效率的提升是遲早的事，自然這種工作會收到歡迎；相反最近word embedding方面的工作，即便去把傳統的similarity，word analogy刷高，這樣的工作已經不會令人興奮。

簡單粗暴地說，paper最大的賣點還是創新。paper出來挖出許多大坑，這是給別人飯碗；單純刷新soa，這是砸別人飯碗。哪種受歡迎，不言自明。(後一句純屬玩笑...)

performance不好容易被challenge。

做Machine Learning我不是很了解，但是如果題主是做Data Mining的，那麼你的model只要能beat其他同類型的model即可，不需要beat掉所有解決相同問題的model。所以如果你的model在理論上有很大創新，沒有同類型的model做相關問題，那麼就不存在打不贏baseline的問題了，那麼你的model就變成了baseline，你的工作就變成了開坑的工作，這是很好的。

舉個例子，做如果你用Random Walk的方法做recommendation，那麼你的model只要比其他用Random Work做recommendation的工作要好就行了，至於其他什麼matrix/tensor factorization有多好你都可以不用管。當然，如果你能beat所有其他model當然是最好了。

根據我看過的頂會論文，一般要麼達到state of art，要麼接近state of art，但是有一些優點(參數少，速度快，模型創新給人啟發，後續有進一步提高的潛力等等)，不能和state of art差太多，當然你也可以換一個數據集，避開那些熱門公開的數據集達到最好結果，但是這樣會影響你論文的可信度。

評分最高的那個答案其實已經說的差不多了，我補充幾句。如果你的paper 是理論性質的，實驗僅僅是驗證理論的可行性，那麼只需要跟baseline 比就行，不需要跟state of the art 比。如果你的paper 是偏應用性質的，那麼跟state of the art 比就避免不了，要不然審稿人會噴你實驗不solid

如果你是做應用，

如果你在公開數據集上，比不過別人同樣task的同樣方法，

那你的創新點在哪裡？

如果真的回答這個問題，那當然可以，但是難度反而更大。

不要說啥，雖然我的方法效果不好，但是我的模型新啊？

那你應該去投理論的會唄...

那是在做數據比賽，不是做研究

說實在的

達不到這水平都能發

只要審稿人夠瞎

雖然你精度不夠但是快啊，雖然你速度慢但是精度高啊，或者你用的標註數據少啊幾個總要佔一個吧

看你論文的主題就行了，還要看你想往哪發