很多時(shí)候，做夢(mèng)使我們快樂。在睡眠狀態(tài)中，繁雜的視覺和聽覺片段混雜在一起，構(gòu)成荒誕又情節(jié)豐富的夢(mèng)境。零散的真實(shí)回憶穿插在逼真的虛構(gòu)場(chǎng)景中，有些出場(chǎng)人物我們?cè)揪驼J(rèn)識(shí)，有些是憑空想象。
我們有時(shí)沉浸于夢(mèng)境的美妙，有時(shí)又不得不在夢(mèng)里直面內(nèi)心深層的恐懼。然而，睡眠和夢(mèng)境并不僅僅是為了豐富我們的夜間生活而存在的。
我們睡覺的時(shí)候，大腦正在忙于過濾清醒時(shí)收集到的信息。神經(jīng)活動(dòng)開始進(jìn)入工作狀態(tài)——丟棄無關(guān)信息，加固重要信息，建立和存儲(chǔ)記憶。
這套高效的工作機(jī)制普遍存在于哺乳動(dòng)物之中，近期一個(gè)來自意大利的研究團(tuán)隊(duì)對(duì)它進(jìn)行了數(shù)學(xué)建模，并應(yīng)用在了人工智能領(lǐng)域。
他們創(chuàng)造出了一套可以強(qiáng)制命令人工網(wǎng)絡(luò)進(jìn)入離線睡眠狀態(tài)的算法。在睡眠狀態(tài)的時(shí)候，人工網(wǎng)絡(luò)可以加固重要記憶，抹除無關(guān)信息，從而拓展信息存儲(chǔ)容量。
Adriano Barra 是意大利薩蘭托大學(xué)的一名理論物理學(xué)家。我們?cè)诮徽劦臅r(shí)候，他始終言詞懇切、興致盎然，不停地?cái)[弄著一盒萬寶路香煙，拿它作為一個(gè)臨時(shí)道具跟我說明 A.I。(artificial intelligence，人工智能)的細(xì)節(jié)問題。
Elena Agliari 和 Alberto Fachechi 是 Barra 的同事，他們?nèi)齻€(gè)人一起研究了很多復(fù)雜的生理系統(tǒng)，并將它們的神經(jīng)生物學(xué)過程轉(zhuǎn)換為數(shù)學(xué)模型，例如大腦。
“跟工程師相比，我們搞理論物理學(xué)的有一個(gè)很微弱的優(yōu)勢(shì)，” Barra 說，“數(shù)學(xué)是放之四海而皆準(zhǔn)的，使用它也不怎么花錢，所以我們可以把我們的研究結(jié)果直接應(yīng)用在人工智能領(lǐng)域。我們可以起到在神經(jīng)生物學(xué)和工程學(xué)之間搭建橋梁的作用。”
人工神經(jīng)網(wǎng)絡(luò)的經(jīng)典模型是 Hopfield 模型，由 JohnHopfield 于 1982 年提出，它描述了人工網(wǎng)絡(luò)如何通過模仿真實(shí)的大腦機(jī)制(如模式識(shí)別)來學(xué)習(xí)和檢索信息。
Hopfield 模型運(yùn)用了一個(gè)十分出名的學(xué)習(xí)法則，叫做赫布型學(xué)習(xí)(Hebbian Learning)。赫布型學(xué)習(xí)解釋了神經(jīng)元之間的突觸強(qiáng)度在學(xué)習(xí)過程中是如何增加的。
然而這個(gè)模型是有缺憾的。Hopfield 模型是二十多年前提出來的老模型了，并且它只能儲(chǔ)存有限量的數(shù)據(jù)。用數(shù)學(xué)來表示的話，這個(gè)對(duì)稱網(wǎng)絡(luò)的最大存儲(chǔ)容量?jī)H為 α～0.14。但是理論上，容量最大可以達(dá)到1，或者 α=1。
一個(gè)神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)容量是由它包含的神經(jīng)元數(shù)量 (n) 來決定的。每一比特的信息(比方說一個(gè)數(shù)碼像素)，都是一個(gè)單獨(dú)的信息圖式 (p)。Barra 指出，“這里最多能存儲(chǔ)的信息圖式的數(shù)量，也就是 p，等于0.14倍的 n ”。
那么，為什么實(shí)際能存儲(chǔ)的信息量比理論值少了那么多？為什么系數(shù)是0.14而不是1呢？
神經(jīng)網(wǎng)絡(luò)在喚醒(在線)狀態(tài)時(shí)，始終不停地在接收新的信息圖式。然而除了有用的圖式之外，無關(guān)的、甚至錯(cuò)誤的圖式也會(huì)一并被收集起來。
“你原本是想讓神經(jīng)網(wǎng)絡(luò)去存儲(chǔ)一些重要的信息，但是它會(huì)把錯(cuò)的也給你存起來，”Barra說，“這沒辦法避免。這都是自發(fā)生成的。”
Barra 拿起了萬寶路，又拿了一包駱駝牌香煙來類比，“如果你不停地存儲(chǔ)關(guān)于這兩包香煙的細(xì)節(jié)信息，比如說駱駝牌是藍(lán)色的，萬寶路是紅色的，與此同時(shí)，你實(shí)際上也在接收所有的冗雜無關(guān)信息，最終你的神經(jīng)網(wǎng)絡(luò)就會(huì)卡死。”因?yàn)槌涑庵罅康臒o關(guān)和錯(cuò)誤信息，所以實(shí)際最大容量只能達(dá)到0.14這個(gè)水平。
雖然有限的存儲(chǔ)容量并不會(huì)干擾 A.I。 處理一些具體任務(wù)，但是寶貴的空間就這樣被無效數(shù)據(jù)霸占著，既浪費(fèi)又低效。
為了解決這個(gè)問題，這個(gè)來自意大利的研究團(tuán)隊(duì)提出了一種算法，它可以強(qiáng)制命令神經(jīng)網(wǎng)絡(luò)像哺乳動(dòng)物一樣進(jìn)入睡眠(離線)狀態(tài)，并且在睡眠中穩(wěn)固重要信息，清除無關(guān)信息。
“這跟睡眠是息息相關(guān)的，”Barra說，“因?yàn)槿绻悴辉O(shè)法解決掉這些無效的內(nèi)容，它們?cè)絹碓蕉?，神?jīng)網(wǎng)絡(luò)最終會(huì)失去分辨萬寶路和駱駝香煙的能力。”
哺乳類動(dòng)物的大腦也在時(shí)刻不停地收集信息，但就像只知道一股腦拋網(wǎng)的漁船一樣，有用的和沒用的都會(huì)被撈上來。哺乳動(dòng)物的大腦里也塞滿了無關(guān)緊要的東西。
“醒著的時(shí)候，你會(huì)被動(dòng)地接收很多信息，實(shí)際上你根本不需要，你也不想把它們記在腦子里，”Barra解釋說，“我們同樣會(huì)加工出無效和錯(cuò)誤的信息圖式。我們解決這個(gè)問題的方法，就是睡覺。”
做夢(mèng)一般發(fā)生在快速眼動(dòng)睡眠階段(Rapid Eye Movement， REM)，在這個(gè)階段我們的大腦正忙于抹除無關(guān)的記憶，為存儲(chǔ)新信息騰地方。在慢波睡眠階段(Slow-wave， SW)，重要記憶會(huì)被鞏固強(qiáng)化。
雖然大多數(shù)時(shí)候做夢(mèng)都是發(fā)生在 REM 階段，但是在慢波睡眠階段我們也可能會(huì)做夢(mèng)，只是這些夢(mèng)往往很模糊，也更難回想起來。
研究團(tuán)隊(duì)已經(jīng)知道哺乳動(dòng)物的大腦會(huì)高效地在睡眠期間清除緩存，釋放空間。他們對(duì)這一事實(shí)的分析，是算法誕生的起點(diǎn)。
“我們當(dāng)時(shí)商量說，好，那就過一遍所有對(duì)這個(gè)現(xiàn)象進(jìn)行解釋的神經(jīng)生物學(xué)的文章，然后試試把它用數(shù)學(xué)模型表達(dá)出來吧，”Barra 介紹說，“隨后我們開始想，如果把這個(gè)數(shù)學(xué)結(jié)構(gòu)應(yīng)用在 Hopfied 模型上會(huì)怎么樣？”
他們的成果發(fā)表在了4月份的《神經(jīng)網(wǎng)絡(luò)》NeutralNetworks 雜志上。根據(jù)這個(gè)新的算法框架，人工神經(jīng)網(wǎng)絡(luò)在標(biāo)準(zhǔn)在線(喚醒)模式時(shí)，會(huì)持續(xù)學(xué)習(xí)和存儲(chǔ)信息圖式(即記憶)；但當(dāng)存儲(chǔ)容量到達(dá)0.14的水平時(shí)，神經(jīng)網(wǎng)絡(luò)會(huì)強(qiáng)制進(jìn)入離線(睡眠)模式。
在睡眠模式中，無關(guān)信息會(huì)被刪除，重要信息會(huì)被進(jìn)一步穩(wěn)固，或者用更專業(yè)的話來說，就是“偽圖式移除(spurious-pattern removal)和真圖式強(qiáng)化(pure-pattern reinforcement)。”
研究團(tuán)隊(duì)發(fā)現(xiàn)通過實(shí)施離線模式，存儲(chǔ)空間得到了釋放，并且系數(shù)可以達(dá)到理論值1。
進(jìn)化促使哺乳動(dòng)物的大腦自行發(fā)展出了一套賴以生存的標(biāo)準(zhǔn)，并以這個(gè)標(biāo)準(zhǔn)為依據(jù)來決定什么樣的信息要加強(qiáng)，什么樣的要被剔除。但是人工神經(jīng)網(wǎng)絡(luò)需要人類來規(guī)定這個(gè)標(biāo)準(zhǔn)。
“它們(神經(jīng)網(wǎng)絡(luò))離不開人的授意，所以我們必須得告訴它‘這個(gè)很重要，你要留意；那個(gè)是不重要的’，”Barra說，“它們沒有‘重要’這個(gè)概念。”
此外，還有一些技術(shù)上的差異。舉個(gè)例子，對(duì)于人類的大腦來說，清除信息和加固信息分別發(fā)生在兩個(gè)獨(dú)立的睡眠階段(REM和SW)；然而神經(jīng)網(wǎng)絡(luò)是在睡眠狀態(tài)同時(shí)進(jìn)行這兩項(xiàng)任務(wù)的。
也許人類睡眠和機(jī)器睡眠最重要的區(qū)別，是在于我們有絕對(duì)的自主權(quán)決定要不要睡覺或打個(gè)瞌睡。人工神經(jīng)網(wǎng)絡(luò)睡不睡覺則完全聽命于數(shù)學(xué)算法；當(dāng)然了，它們也不用蓋溫暖的小被子。
既然全新的體系框架已公布于眾，Barra 的工作也就結(jié)束了。“我是一個(gè)理論物理學(xué)家，我的任務(wù)是用數(shù)學(xué)打下基礎(chǔ)，”他這樣講道，“現(xiàn)在該輪到工程師們?nèi)?shí)現(xiàn)它了。”他或許可以安心地睡上一覺了，就像未來的人工神經(jīng)網(wǎng)絡(luò)一樣。
