同行評審有其缺陷。人類（即便是科學(xué)家）會有偏向性，懶惰和自私。而且即使是科學(xué)工作者，有時候數(shù)學(xué)也會不很靈光。所以不可避免的，一些人想要將人工從同行評審中剔除，以人工智能取而代之。計(jì)算機(jī)以其公正、不知疲倦和無自我身份定位著稱，而且它們在本質(zhì)上精通算數(shù)?？茖W(xué)家并不只是干等著二進(jìn)制大腦來參與科研同行評審，期刊出版商已經(jīng)在著手將之建立。

 

　　最近，一個名為“ScienceIE”的競賽為程序開發(fā)者設(shè)下挑戰(zhàn)。參賽團(tuán)隊(duì)需要開發(fā)程序，要求這些程序能夠從科學(xué)論文的句子中提取基本事實(shí)，并將其同其他論文所提取的基本事實(shí)進(jìn)行比較。“我的項(xiàng)目的大目標(biāo)是幫助科學(xué)家和從業(yè)者更快速地獲得有關(guān)其研究領(lǐng)域的知識。”倫敦大學(xué)學(xué)院博士后AI研究員Isabelle Augenstein說，正是她設(shè)計(jì)了這個競賽。

 

　　競賽涉及到處理自然人類語言，這是諸多人工智能難題中的一個。參賽者設(shè)計(jì)程序來解決三個子任務(wù)：閱讀每篇論文并確定其關(guān)鍵概念，按類型組織關(guān)鍵詞，以及識別不同關(guān)鍵短語之間的關(guān)系。競賽不僅僅是一場學(xué)術(shù)活動：Augenstein與世界最大的科學(xué)出版商之一的Elsevier簽訂了為期兩年的合同，為后者的圖書館開發(fā)計(jì)算機(jī)工具。

 

　　Elsevier出版超過7500種不同期刊。每個期刊的編輯都必須為每份來稿找到合適的審稿人。（2015年，70萬同行評審人員在Elsevier上評審了超過180萬份稿件，其中40萬份最終得到出版。）“能夠評審稿件的人通常僅限于該領(lǐng)域的專家。”數(shù)字地圖公司Descartes的CEO邁克·沃倫（Mike Warren）說。“你將這么一小群擁有博士學(xué)位的專家按學(xué)科和子學(xué)科進(jìn)行細(xì)分，最后，全世界可能只有100人有資格審閱某份來稿。”Augenstein幫助Elsevier使用科技手段為每篇稿件自動尋找合適的審稿人。

 

　　Elsevier開發(fā)了一套名為“Evise”的自動化工具來幫助進(jìn)行同行評審。該程序能夠檢查抄襲（這只是搜索和匹配功能，還談不上AI），為審稿做最基礎(chǔ)的把關(guān)。此外還有處理作者、編輯和審稿人之間的工作流程。另外幾家主要的出版商也都有自動化軟件來幫助進(jìn)行同行評審。Springer-Nature當(dāng)下正在測試一個名為“StatReviewer”的軟件，確保每份來稿具有完整和準(zhǔn)確的統(tǒng)計(jì)數(shù)據(jù)。

 

　　不過這些同行在能力和愿景上都無法同Elsevier相提并論。“我們正在調(diào)查更有抱負(fù)的任務(wù)，”Augenstein說。“當(dāng)你對一篇論文有疑問，機(jī)器學(xué)習(xí)模型能夠通讀論文并回答你的問題。”

 

　　不過并非所有人都被“機(jī)器人博士”的前景所迷惑。上個月，芬蘭赫爾辛基大學(xué)環(huán)境政策教授Janne Hukkinen和Elsevier雜志《生態(tài)經(jīng)濟(jì)學(xué)》的編輯為WIRED撰寫了一篇文章，提醒人們對完全自動的AI同行評審保持警惕：

 

　　“通過查詢出版商審閱著資料的數(shù)據(jù)庫，分析過往評審中審稿人和編輯之間的交流，并識別從提交到最終編輯拍板這一整個流程中的變化模式——學(xué)習(xí)型算法完全可以接管從最初提交到最終決定的整個評審過程。更重要的是，將人工從同行評審之中剔除，能夠減輕力求開放的學(xué)者與反對開放的商業(yè)出版商之間的緊張關(guān)系。”

 

　　按照Hukkinen的邏輯，一個能夠勝任同行評審的AI同樣也可以動筆寫論文。最終，人類將成為科研中的遺留系統(tǒng)——冗余、低效又過時。他最終的觀點(diǎn)是：“不經(jīng)人類產(chǎn)生的新知將會動搖人類文化的基礎(chǔ)。”

 

　　不過Hukkinen的警惕有點(diǎn)憂慮過早。“盡管AI在象棋、圍棋和撲克這樣的游戲中取得巨大成功，但仍然不能理解大多數(shù)普通的英文句子，更別說科學(xué)文本了。”艾倫人工智能研究所（Allen Institute for Artificial Intelligence）首席執(zhí)行官Oren Etzioni說。ScienceIE競賽團(tuán)隊(duì)的實(shí)例或可為其提供佐證：最終獲勝的團(tuán)隊(duì)在三個子任務(wù)挑戰(zhàn)中只達(dá)到43%的分?jǐn)?shù)。

 

　　充斥著被動句式的科學(xué)論文晦澀至極，即便是在人腦看來也很難理解。所描述的對象經(jīng)常隱身于層層前述之后，被動句式在日常語言面前顯得深奧難懂。語言學(xué)家將任何人類所寫的東西稱為“自然語言”，而自然語言在計(jì)算機(jī)科學(xué)家看來實(shí)在是一團(tuán)亂麻。

 

　　“自然語言給AI帶來的一大難題是其模糊性”紐約大學(xué)計(jì)算機(jī)科學(xué)家Ernest Davis說。斯坦福大學(xué)名譽(yù)計(jì)算機(jī)科學(xué)家Terry Winograd有一個經(jīng)典的歧義例子：

 

　　市議會拒絕給示威者許可，因?yàn)樗麄儯〒?dān)心／主張）暴力。

 

　　（The city councilmen refused the demonstrators a permit because they [feared/advocated] violence.）

 

　　這句子你我都能看明白，動詞“擔(dān)心”暗示了“他們”指的是“市議會”而非示威者。我們輕而易舉地明白：示威者“主張”暴力；市議會“擔(dān)心”暴力。但是一個計(jì)算機(jī)大腦可是會在此花費(fèi)經(jīng)年累月的時間最終也還是搞不清楚到底哪個動詞指向哪個代詞。這種類型的歧義只是自然語言纏結(jié)的一個縮影，同形異義詞和敘事邏輯將讓AI更加困擾。

 

　　這還沒涉及科學(xué)論文中的具體問題，比如將文本論點(diǎn)同數(shù)據(jù)模式進(jìn)行連接等。即便在純數(shù)學(xué)論文中這一需求也很常見。“從英語到數(shù)學(xué)中的形式邏輯不是我們可以自動化的。”Davis說。“這是最簡單的工作之一。它是高度限制性的，而我們理解目標(biāo)。”心理學(xué)等同數(shù)學(xué)比較遠(yuǎn)的學(xué)科更是如此。”在心理學(xué)論文中，我們幾乎無法檢查其論證的合理性。”Davis說。“我們不知道如何以計(jì)算機(jī)的方式來表達(dá)一個實(shí)驗(yàn)。”

 

　　當(dāng)然，一個完全自動的AI同行評審不僅需要對人類有所了解，還必須對其進(jìn)行深入思考。“當(dāng)你考慮AI問題時，同行評審可能是最難的一部分。因?yàn)橥性u審最重要的職責(zé)是確保研究是新穎的，沒有重復(fù)前人老路。”沃倫說。計(jì)算機(jī)程序能夠查閱文獻(xiàn)，找出那些問題仍然懸而未決。但是它卻可能無力辨認(rèn)出顛覆性的科學(xué)新發(fā)現(xiàn)。

 

　　俄勒岡州立大學(xué)AI研究員Tom Dietterich說：“也許我么只是需要改變我們做科學(xué)出版的方式。不是將我們的研究用英語寫成一個故事，而是將我們的意見和論據(jù)鏈接到一個正式化的結(jié)構(gòu)中。比如一個涵蓋人類在某主題下所有知識的數(shù)據(jù)庫。”換句話說，將同行評審的程序電腦化，而不是其解決方案。在這一點(diǎn)上，人們所要重新編程的不是計(jì)算機(jī)，而是人類行為。