
神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的靈感來源于大腦的運(yùn)作,但大腦的學(xué)習(xí)方式與深度學(xué)習(xí)的運(yùn)作方式存在根本性的差異。一個(gè)關(guān)鍵區(qū)別在于每種方法所采用的層數(shù)。
深度學(xué)習(xí)系統(tǒng)通常有很多層,有時(shí)多達(dá)數(shù)百層,這使它們能夠有效地學(xué)習(xí)復(fù)雜的分類任務(wù)。相比之下,人腦的結(jié)構(gòu)要簡(jiǎn)單得多,層數(shù)也少得多。盡管大腦的結(jié)構(gòu)相對(duì)較淺,其處理過程也更慢、更噪,但它卻能高效地處理復(fù)雜的分類任務(wù)。
大腦淺層學(xué)習(xí)機(jī)制研究
推動(dòng)新研究的關(guān)鍵問題是大腦高效淺層學(xué)習(xí)的可能機(jī)制--它能使大腦以與深度學(xué)習(xí)相同的準(zhǔn)確性完成分類任務(wù)。以色列巴伊蘭大學(xué)(Bar-Ilan University)的研究人員在發(fā)表于《物理學(xué)報(bào)》(Physica A)的一篇文章中,展示了這種淺層學(xué)習(xí)機(jī)制如何與深度學(xué)習(xí)競(jìng)爭(zhēng)。
資料來源:巴伊蘭大學(xué)伊多-坎特(Ido Kanter)教授
巴伊蘭大學(xué)物理系和Gonda(Goldschmied)多學(xué)科大腦研究中心的伊多-坎特(Ido Kanter)教授領(lǐng)導(dǎo)了這項(xiàng)研究,他說:"與其說大腦是一個(gè)像摩天大樓一樣的深層結(jié)構(gòu),不如說它是由一個(gè)寬廣的淺層結(jié)構(gòu)組成的,更像是一棟非常寬的大樓,只有很少幾層。"
"大腦結(jié)構(gòu)越深,層次越多,正確分類物體的能力就越強(qiáng)。相比之下,大腦的淺層機(jī)制表明,更寬的網(wǎng)絡(luò)能更好地對(duì)物體進(jìn)行分類,"這項(xiàng)研究的主要貢獻(xiàn)者之一、本科生羅尼特-格羅斯(Ronit Gross)說。"更寬和更高的架構(gòu)代表了兩種互補(bǔ)機(jī)制。 不過,要實(shí)現(xiàn)模仿大腦動(dòng)態(tài)的超寬淺層架構(gòu),需要改變先進(jìn) GPU 技術(shù)的特性,因?yàn)樵摷夹g(shù)能夠加速深度架構(gòu),但在實(shí)現(xiàn)寬淺層架構(gòu)時(shí)卻失靈了。
編譯來源:ScitechDaily