強化學習與自動交易（一）

自從Fama提出有效性市場假說(Efficient Markets Hypothesis, EMH) [1,2]以來，EMH就被奉為經典金融理論，並走過了接近50年的歷程。到上世紀80年代，許多研究者發現並記錄了幾個與有效市場假說相互背離的金融現象，由此形成了關注人類交易心理和行為的行為金融學。在經歷長期的驗證之後，研究者又發現市場也不似行為金融學解釋得那樣持續無效，相反很多金融現象在相關論文公開後出現變小或消失的跡象。這兩大學派的爭論促進了金融學的發展，也說明金融市場的複雜性可以包容不同學派的存在。金融學家Andrew Lo結合進化論和有限理性的概念提出了適應性市場假說(Adaptive Markets Hypothesis，AMH)[3,4]，主要觀點包含：(1)市場中的個體基於自身利益做決策；(2)市場中的個體會犯錯；(3)市場個體會學習和適應；(4)競爭導致個體適應和更新；(5)自然選擇塑造市場生態，進化決定著市場動態。

根據Andrew Lo的理論,金融市場可以被看成一個進化的環境[4]。在這個環境中，包含著不同的參與者，如對沖基金、做市商、退休基金、零售投資商。這些參與者的理性表現並不是即時的，他們對金融產品價格的影響作用也不全是直接發生的，這就促進了金融市場上積極的流動性，流動性則意味著存在套利的機會，這些機會隨時會被參與者吃掉，同時新的機會又會再次出現，這種在進化壓力下的流動性同時改變著交易環境和商業環境。這就意味著一個有效的金融交易系統要能夠隨時根據交易市場的變化進行自我調整，在感知市場變化的同時，採取相應的行動，如：做多、做空、空倉(觀望)。市場會在行動的基礎上給予一定的反饋，如：收益、虧損。評價金融交易系統(Financial Trading System，FTS)的成功與否不在於執行單次交易的回報，而在於一段時間內的交易的總回報，比如：年化回報、季度回報等，總回報往往具有延遲性。基於以上原因Andrew Lo[3]提出如下結論：第一，回報和收益之間關係不太可能一直穩定；第二，相對於經典的EMH, AMH認為套利機會一直存在；第三,投資策略在特定環境表現好，而在其它環境表現差，既有繁榮也有衰敗。針對以上問題，機器學習中的強化學習可以提供很好的解決方案。

目前金融界已經開始將強化學習應用在實際的金融交易中，摩根大通2017年發布的大數據與人工智慧策略的報告顯示出經濟學領域和計算機領域都已經對強化學習構建金融交易系統表示出了濃厚的興趣[5]。報告詳細介紹了近年來大數據和機器學習在金融交易中的應用，指出強化學習非常適合於市場變化頻繁的金融交易。摩根大通設計的強化學習交易系統(A limit order placement module，LOPM)可以在幾個小時的範圍內做出宏觀決策，也可以在幾秒內做出高頻決策。

[1] Fama Eugene F. Random Walks in Stock Market Prices[J]. Financial Analysts Journal, 1965, 21(5):55-59.

[2] Farmer J D. Market force, ecology and evolution[J]. Computing in Economics & Finance, 1998, 11(5):895-953(59). doi:10.1093/icc/11.5.895

[3] Lo, Andrew W. The Adaptive Markets Hypothesis: Market Efficiency from an Evolutionary Perspective[J]. Social Science Electronic Publishing, 2004, 31(1):21--44. doi:10.3905/jpm.2004.442611

[4] Lo, Andrew W. Reconciling Efficient Markets with Behavioral Finance: The Adaptive Markets Hypothesis[J]. Social Science Electronic Publishing, 2005, 31(1):21--44. http://ssrn.com/abstract=728864

[5] Marko Kolanovic, Rajesh T.Krishnamachari. Big Data and AI Strategies-Machine Learning and Alternative Data Approach to Investing. https://www.ravenpack.com/research/jp-morgan-big-data-ai-machine-learning-alternative-data.