如何評價浙江大學發布的全球神經元規模最大的類腦計算機?類腦計算機與普通計算機有何區別 ?

最害怕媒體報道科技成果中出現的『全球最大』『世界首個』之類的辭彙了。

浙江大學類腦計算機的研製,貌似從很早就開始做了,2016年就發布了類腦晶元『達爾文』,號稱是『首款支持脈衝神經網路』的類腦晶元;2019年浙大的腦機介面相關研究被報道,貌似也與此有關。

不過,關於『脈衝神經網路』(SNN)相關研究,IBM、斯坦福大學、arm等貌似進展更勝一籌。感覺浙大這次類腦計算機,也是圍繞支持SNN的產物——達爾文晶元就是瞄準支持SNN開發的,恐怕這也是為何其能耗可以做得這麼低的原因?

我專業非常有限,只能做以上粗淺的理解,求知乎大神或當事人出來說說,這個類腦計算機到底什麼成色?類腦計算時代來了嗎?

附上浙大新聞鏈接:

重磅!我國科學家成功研製全球神經元規模最大的類腦計算機?

mp.weixin.qq.com


謝題主邀請,我認為「類腦計算時代」 遠遠沒有到來。我覺得媒體也不要總是要想搞一個大新聞。不管是神經網路模型,還是TPU/NPU這種神經網路專用處理器,都是由神經科學/認知科學啟發,但是其本質都是由計算機科學/電子工程推動的一項具體計算技術。一味上升到哲學高度,而忽視腳踏實地的技術,只會讓AI泡沫面臨再次破裂的風險。

就拿深度學習來說,神經科學在其中起到的作用僅僅是給出一個靈感,但最終要落實到具體的技術上。確實,深度學習研究者比起其他機器學習領域(貝葉斯,核方法等)更可能引用大腦作為參考,但基礎的推動力仍然是應用數學如線性代數,概率論,資訊理論和數值優化。

對於類腦計算,具體的推動力仍然是計算機體系結構的發展。而只要計算機科學底層基座沒有變動(如量子計算投入使用),從多核CPU,到GPU,到FPGA/TPU/NPU,不管是不是非馮結構,本質上都是人類對於摩爾定律終結的最後的反抗,而最終體系結構的發展總有一個天花板,或者是速度或者是功耗。就目前的體系結構而言,而想達到能夠模擬大腦的計算能力遠遠不夠

GoodFellow在他的著作《Deep Learning》中就談到腦科學/神經科學和深度學習的關係。他認為「如今神經科學在深度學習的研究中作用被削弱,主要原因是我們根本沒有足夠關於大腦的信息做為指導去使用它。要獲得對被大腦使用的演算法的深刻理解,我們需要有能力同時監測(至少是)數千相連的神經元的活動。我們不能夠做到這一點,我們甚至連大腦最簡單、最深入研究的部分都還遠遠沒有理解」。

與之矛盾的是,我國的很多媒體(包括高校的很多專家)經常過分渲染人工智慧與腦科學或認知科學的關係,總喜歡提及「類腦智能」「類腦計算機」。在腦科學沒有得到足夠的發展的情況下,我不認為深度學習模型亦或是TPU/NPU這種專用晶元是在完全模擬大腦,至多算是一種局部的模仿,就像啟發式優化中的智能演算法,或是無人機領域引入仿生學研究,本質上是人類受到智能的啟發,來完成其他的計算目的。

我相信GPU,TPU,NPU,DSP等新型計算機體系結構的發展會加速神經網路模型的訓練和推理,對於工業界的應用無疑是一個福音,但是過分渲染「類腦」「神經元規模最大」只會起到適得其反的效果。我們可以從哲學意義上去欣賞AI,但同樣也需要腳踏實地和實事求是,距離真正的「類腦智能」還有很長的路要走。

參考文獻:

[1]John L.Hermessy. 計算機體系結構:量化研究方法[M]. 北京:機械工業出版社,2012

[2]Ian Goodfellow. 深度學習[M]. 北京:人民郵電出版社,2017


重要結論放前面:給我感覺,業界和這個「類腦」最接近的一個研究方向是存內計算(In-memory computing)

至於題主補充的」首款支持脈衝神經網路(SNN)「的類腦晶元,原文提到用了「792顆浙江大學研製的達爾文2代類腦晶元」,所有我猜這個:

這是個可以跑SNN的採用存內計算結構(或者借鑒了存內計算模式)的計算機。


看到這種新聞,『全球最大』『世界首個』,就感覺有點水深,有點不敢趟。如果有當事人出來答那就好了。我猜測可能寫稿的人和研發的人不一樣,所以稿子寫得有點玄乎其玄了。那麼在當事人出來前,就文中提到的內容,我來分析和猜想下,如果錯誤與遺漏,歡迎指正,大家一起研究與學習。如果報道沒有虛假的成分,那麼這個架構的計算機有幾個討論的點:

存內計算

雖然原文中沒直接提到「存內計算」這個詞,只是說「類腦」,但從他的描述(什麼內存牆限制bla bla bla的),這就是存內計算。原文不直接提這個詞,是否技術上有不一樣的設計?或者只是純粹避開別人造的名詞?(評論區有個補充了達爾文晶元的文獻,感覺並不是簡單的存內計算)

不過稿子里也很誠實,沒有把功勞把自己身上攬

全球科學家們再次將目光瞄準到模仿生物大腦這個最初的夢想,通過模擬人腦結構與運算機制來發展新的計算技術,以期實現高能效與高智能水平的計算。

是「全球科學家」而非「浙大研究員」,說明這個研究還是跟隨著全球研究的方向,並非首創的。

看到這裡應該還有讀者沒懂,存內計算到底是什麼?那就要從我們目前的計算機結構說起。

我們使用的計算機多數是馮諾伊曼架構。馮諾伊曼架構在構建之初的假設就是處理器和內存的速度很接近。

馮諾依曼結構,圖源維基百科

然而,隨著摩爾定律的演進,這一假設早已不再成立。DRAM的性能提升速度遠遠慢於處理器速度,成為了整體計算機性能的瓶頸之一,人稱「內存牆」。

為了打破這個瓶頸,需要把計算存儲放在一起,這就是業內所說的「存內計算(in-memory computing)」。存內計算,顧名思義就是直接在存儲內做計算。其實存內計算也不是浙大首創的,2018年MIT Chandrakasan研究組在ISSCC上也發表過這類研究[1],,就是把computer和memory的部分作為一體了。

圖源參考【1】

當然,並不是把compute模塊和memory打包一起就叫存內計算的。存內計算有著幾個技術挑戰[2],例如硬體資源的復用問題、存算一體化單元的設計問題、模擬量運算的實現問題等,目前還沒取代馮諾依曼計算機的可能,短期內可看到的應用場景主要是物聯網。

除了MIT,浙大,也有其他機構在做相關項目研究,例如IBM[3],斯坦福大學和桑迪亞國家實驗室[4]等等。

功耗低?

我們人腦的功耗是20瓦,350-500瓦的功耗也只是比人腦高一個數量級,在計算機中看似非常低了。根據文中描述, 是通過「休眠部門不活躍神經元」來減低功耗。

但原文說這個功耗是「運行功耗」?是否指的是在推斷過程中的功耗?還是推斷過程中的功耗增量?暴力美學集大成者GPT-3做文本生成時功耗也只是400 瓦,浙大這個計算機如果是推斷過程的功耗增量,那確實感覺沒太大亮點。不過那篇稿件是面向公眾的通告,所以沒寫到這麼細。如果單單機器功耗就只有350-500瓦,那還是不錯的,這麼大的玩意竟然和我們家用電腦功耗差不多。

其他?

」近千億神經突觸,功耗350-500瓦。「

如果你看著描述,還以為在描述前些天發布的GPT-3。當然,GPT-3是個模型,這是個計算機結構,這麼比較可能不太合適。

不過文中一筆帶過但我很感興趣的:

可「意念」打字輸入。

這比馬斯克的腦機晶元還牛???不是我對浙大沒信心,但這個聽起來有點懸。是否誇大其詞了?還是只是打「空氣鍵盤」,然後用神經網路識別了?又或者是霍金用的那種打字方法?可惜,只是一筆帶過了。

不過能看出在架構上,還是做了新嘗試(雖然這個嘗試別人也做過,但目前還是在起步階段)。

參考

  1. ^CONV-SRAM: An Energy-Efficient SRAM With In-Memory Dot-Product Computation for Low-Power Convolutional Neural Networks https://dspace.mit.edu/bitstream/handle/1721.1/122468/JSSC2019_manuscript.pdf?sequence=1isAllowed=y
  2. ^存內計算技術發展趨勢分析 http://tow.cnki.net/kcms/detail/detail.aspx?filename=DXWJ201909025dbcode=CRJT_CJFDdbname=CJFDTEMPv=
  3. ^IBM研究院用「內存內計算」實現腦啟發式的超維計算 http://www.aeroinfo.com.cn/Item/36616.aspx
  4. ^最新Science:類腦「人造突觸」實現運算存儲同步,能耗僅需計算機的十分之一 https://cloud.tencent.com/developer/article/1424715


歷史上的技術革命都出現在泡沫消失之後的幾年內。

比如AI,物聯網之類的商業辭彙,本身就是在吹,吹了就有資本,有了資本就能做事,當然這些資本到底多少用於做事,就不清楚了。不過這個循環是沒錯的,你再有東西,也得有資金支持。

當然搞個大新聞這種事本身,尤其是我們理工科生可能十分厭惡。

取得了60分,吹成100分,和爸媽要了100塊錢,希望用這100塊買點輔導書什麼的,別光吃吃喝喝。


感覺這個規模最大的類腦計算機的意義,遠遠不如清華大學類腦計算研究團隊的 天機芯 。

可能 Darwin Mouse 最大的突破點就是規模最大,至少目前在應用上或者原理上還看不到很里程碑的創新點,所以關於「規模最大」這個點,就說兩句話。

  1. 在 AI 界甚至是 AGI 界應該有個共識——奧卡姆剃刀原理:如無必要,勿增實體。如果是 GPT-3, 在規模巨大的情況下實現了 NLP 的一個大突破,那我們很喜歡它;但如果 Darwin Mouse 在目前這個規模下,所能實現的成果並沒有什麼突破,那麼我們就應該以批判它為主,而不是去讚頌它。(當然,批判不等於拒絕,真正的類腦計算機是需要一步一步地實現的)
  2. 其實 Yann LeCun 在 ISSCC 2019 上說的很有道理:Why we build the chip for the algorithm that dont work ? 在類腦計算 (Neuromorphic Computing) 真正發展成熟之前,我們不應該過多地直接為它設計專用晶元甚至專用計算機 (據我片面的調研,SNN 目前在反向傳播演算法上還有待斟酌 (DAC 2020 ROAD4NN) )。

因此,現在我們離真正的類腦計算機應該還是有很大一段距離的,個人認為研究路徑應該是這樣的:類腦計算原理-&>類腦計算晶元-&>類腦計算機-&>大規模類腦計算機。類腦計算原理的發展不僅僅要靠計算機科學或者人工智慧的發展,還要靠腦科學的發展,而後者相對前者是滯後的,因此更不必說將兩者徹底融合產生突破性類腦計算原理了。當然,我們不拒絕從現在開始發展類腦計算晶元,只是希望不要好高騖遠、步子太大。天機芯就找到了這個平衡,它沒有使用單一的純類腦計算,而是將類腦計算和傳統機器學習兩者進行了異構融合,從而具有更突破性的意義。


別拿外宣軟文當科研。

從運行機制,傳導介質,功能突破3個方面考慮,這玩意都只是有點小創新,沒有什麼劃時代的意義。

至於所謂「規模最大」,更是無機之談。就3個機櫃,神特么規模,還沒有移動公司一個交換機房規模大好不啦?就是能吹。然後那個「最大」……還好外宣不是廣告,不然舉報一下,分分鐘讓他們哭出來。

說實話,具體到遼寧省鐵嶺市蓮花鄉池水溝子一組五號家的洗手間,你站進去你也是「世界上最靚的仔」,因為除了馬桶水箱熱水器,也咩有別的人跟你比啊。

脈衝?沖不沖的,仍舊還是信息的電傳導,並沒有什麼改變。

在人的神經網路中,細胞內信息傳導是電傳導,遵守「全或無」的法則,要麼不發生信息傳導,要麼全部傳導不會有損失。從這一角度上講,啥類腦,都是花頭,在本質上就沒有突破。

如果能解決這個問題,類腦計算機就能變得更加智能。

不得不說,這寫外宣的筆杆子不過硬啊。

首先,解決這個信息丟失損傷問題,不過是在運行機制上更像真的遵守了細胞內「全或無」的法則。而且這個法則不適用於細胞間傳導。

其次,智能什麼時候是由信息損傷不損傷的問題來決定的了?如果這個點站得住腳,無損音樂是不是可以換個名字叫智能音樂,冷軍的油畫是不是可以叫智能油畫,蘭州拉麵切的牛肉片就是智能牛肉片唄?

然而神經網路中,細胞間的神經衝動傳導壓根就不是電傳導,在傳導介質上講,實際是化學傳導

如果從這個角度講,神特么類腦。樂高搭的糖果工廠再逼真,過家家的時候能生產巧克力吃不?就是個便於拓展的模塊化設計,在這吹啥牛AC呢?

最後,類腦計算機與普通計算機有什麼區別?

我就問魔都迪士尼賣的火雞腿跟全家賣的手槍腿有什麼區別

如果真的有區別,最大的區別大概就是這個「達爾文」操作系統了吧。

話說,之前我一直以為ATM機裡面有銀行櫃員來的。後來我知道我錯了。因為站在ATM身後的男人不是銀行櫃員,是程序猿。


推薦閱讀:

欠銀行的錢,下輩子我一定還
唐家三少:「我的木子走了」
揭秘斗圖背後的生意經:90後做表情包兩年賺50萬
王祖賢都退圈14年了,還被罵腰粗?社會對女星的苛責什麼時候能停止...
約過300人的「炮王」聊天記錄曝光:妖獸世界,要佩好自己的劍

TAG:計算機 | 科技 | 社會 | 計算機科學 | 浙江大學 |