深度學習已經(jīng)成為人工智能領域最主要的研究方向，我們熟知的人工智能應用（語音識別、圖像處理和自然語言處理）背后都有深度學習在支撐。深度學習算法通過模擬人腦的神經(jīng)結構來學習處理特定的問題，在各個領域都取得了很驚人的成果，但目前深度學習還面臨著一系列挑戰(zhàn)。今天我們就一同來直面這些挑戰(zhàn)。
一個神經(jīng)網(wǎng)絡架構
Andrew Ng有句名言：“我相信深度學習是實現(xiàn)真正人工智能的最佳途徑。”
如果你用心觀察周圍的世界，你就會明白這句話里包含的重量。從蘋果的Siri到微軟的小娜，從谷歌照片到Facebook的圖像識別，從搜索引擎里的文本自動糾錯到在線音樂平臺的推薦引擎，這些技術為我們的生活帶來了無限的便利，而它們的背后都有深度學習在支撐。當然這僅僅只是深度學習應用的幾個例子，它已經(jīng)深入到我們生活的方方面面并改變著我們的生活。
但是這項偉大的技術同樣面臨著一系列復雜的挑戰(zhàn)，主要包括以下幾個方面：
龐大的數(shù)據(jù)需求
模型的過擬合
模型的優(yōu)化
高性能的硬件需求
神經(jīng)網(wǎng)絡的不可解釋性
缺乏泛化性
接下來讓我們一起逐一分析這些挑戰(zhàn)！
龐大的數(shù)據(jù)需求
深度學習是一種數(shù)據(jù)驅動的算法，大量的數(shù)據(jù)是建立精確模型的前提和保證。就像人類需要從經(jīng)歷中總結經(jīng)驗學習和提取信息一樣，人工神經(jīng)網(wǎng)絡也需要巨量的數(shù)據(jù)來分析、提取和總結。越抽象越強大的模型就需要越多的參數(shù)，同時也意味著需要更多的數(shù)據(jù)來支撐。
舉個栗子，如果我們要訓練一個語音識別程序，我們需要不同方言不同長度的語音數(shù)據(jù)以及人口數(shù)據(jù)，并將這上萬G的數(shù)據(jù)送到算法中，經(jīng)過漫長的訓練和調(diào)優(yōu)后才能得到一種語言的語音識別程序。這是一個十分漫長的過程并且需要巨大的算法處理能力，IBM、微軟、蘋果等等都是經(jīng)過了許多年的技術積累才打到了今天的程度。在一定程度上，可以說利用深度學習解決某一個問題就是一個如何充分利用巨量數(shù)據(jù)的問題。
同時神經(jīng)網(wǎng)絡的復雜性可以通過其中所包含的參數(shù)數(shù)目來表示。在深度神經(jīng)網(wǎng)絡中，參數(shù)的數(shù)目都達到了上百萬甚至上億的量級。如果我們把這個數(shù)字記為P的話，那么訓練出一個較好性能的神經(jīng)網(wǎng)絡所需的數(shù)據(jù)規(guī)模至少是P*P。
神經(jīng)網(wǎng)絡的過擬合問題
有時，訓練數(shù)據(jù)集中出現(xiàn)的錯誤和新的未看到的數(shù)據(jù)集中遇到的錯誤有很大差異。它一般發(fā)生在復雜的模型中，比如對于觀察目標來說有過多的參數(shù)。一個模型是否有效一般是通過事先不可見的數(shù)據(jù)集判斷的，而不是通過對提供給它的訓練數(shù)據(jù)的性能進行評估。
這主要是模型在訓練的過程中為了優(yōu)化在訓練集上的表現(xiàn)不斷調(diào)整參數(shù)，使得模型“記住了”訓練樣本的樣子，但卻失去了對于新情況下樣本和數(shù)據(jù)的適應能力，使得模型使其泛化性。在深度學習中，一般使用正則化方法來處理這一問題，但在一些情況下還面臨著許多尚未解決的問題。
超參數(shù)優(yōu)化
超參數(shù)是那些在訓練和學習過程前預先定義好的神經(jīng)網(wǎng)絡參數(shù)，這些參數(shù)對于神經(jīng)網(wǎng)絡有著巨大的影響，差之毫厘謬以千里。超參數(shù)調(diào)優(yōu)是深度學習中一項重要的工作，一個網(wǎng)絡的性能優(yōu)劣很可能就取決于超參數(shù)的細微差別，這也是深度學習和神經(jīng)網(wǎng)絡中的最需要經(jīng)驗的地方。
高性能計算的需求
為了解決真實世界中的問題，我們的深度學習算法需要巨量的數(shù)據(jù)，同時也需要機器擁有處理龐大數(shù)據(jù)的能力。為了縮短訓練的時間提高效率，深度學習領域一般會使用多卡高性能GPU工作站，甚至是超算中心來進行訓練。這些設備不菲的價值外還會帶了很高的能耗。
工業(yè)界使用的產(chǎn)品級深度學習系統(tǒng)往往會運行在高端的數(shù)據(jù)中心，而智能手機、無人機可穿戴設備等卻需要小型的高效處理單元。在現(xiàn)實世界中部署神經(jīng)網(wǎng)絡需要平衡效率和能耗以及成本的關系。訓練和實現(xiàn)深度學習解決方案是一件耗時耗力耗錢的工作！
神經(jīng)網(wǎng)絡的不可解釋性
對于神經(jīng)網(wǎng)絡，我們知道了模型的參數(shù)、也知道了輸入的數(shù)據(jù)以及如何將這些連接成網(wǎng)絡的方式，但是我們卻還無法知道它是如何實現(xiàn)這一過程的。神經(jīng)網(wǎng)絡就像一個神經(jīng)的黑箱，它有十分神奇的功能但是我們對它如何工作如何推演的過程卻無從知曉。
神經(jīng)網(wǎng)絡的不可解釋性阻礙了這一技術的抽象和總結，限制了高水平認知智能的研究和發(fā)展。同時神經(jīng)網(wǎng)絡的操作對于人類來說太過抽象，我們無法很好的驗證它的工作過程是否合理。
但最近帝國理工的教授Murray Shanahan及其團隊發(fā)表了一篇討論深度符號強化學習的論文，正在致力于解決這一問題。
缺乏靈活性和適應性
深度學習模型一旦訓練完成就可以十分精確和高效的處理特定的問題，然而目前的神經(jīng)網(wǎng)絡具有高度分化的專一性，只能在特定的問題上具有良好的表現(xiàn)。
DeepMind的科學家Raia Hadsell對目前這種狀況進行了精辟的總結：“這個世界上沒有那個神經(jīng)網(wǎng)絡可以同時完成物體識別、音樂識別和玩星際入侵游戲這些任務！”
今天絕大多數(shù)的深度學習系統(tǒng)對于一個特定的問題有令人十分滿意的表現(xiàn)。但只要面臨的任務稍微改變一點，哪怕是相似的任務，它也需要重新進行訓練和評估，更別提不同的任務了。目前研究人員正致力于創(chuàng)造出一種可以適應多種任務的神經(jīng)網(wǎng)絡架構。
目前科學家們在利用進步神經(jīng)網(wǎng)絡（Progressive Neural Networks）獲得了些許的進展。
同時在多任務學習（MTL）同也獲得了重大的突破。
來自谷歌大腦和多倫多大學的研究人員們發(fā)表了一篇關于多模型的論文，通過綜合視覺、語言和語音神經(jīng)網(wǎng)絡的優(yōu)勢可以實現(xiàn)同時解決多種不同任務的深度學習模型，包括圖像識別、翻譯和語音識別等方面。
結 語
深度學習是當今人工智能最為火熱的研究領域，但它并不是無所不能的。但我在拓展認知科學的新邊疆時，勢必會遇到無數(shù)的困難和調(diào)整，這個過程和所有的技術進步一樣在曲折中不斷進步。“深度學習會是實現(xiàn)AI的最好方式嗎？”只有未來才知道答案，作為AI領域的研究人員，我們一起拭目以待！
