本周，谷歌在山景城舉辦了第一屆 TensorFlow 開發(fā)者峰會。作為大會的一部分，TensorFlow 1.0 的正式版本被發(fā)布出來。一起來看看它都有哪些新特性：
更快
它運算更快——TensorFlow 1.0 有十分驚人的速度。它快到什么程度呢？據谷歌表示，在使用八個 GPU 的情況下，TensorFlow 1.0 在 Inception v3 的測試中有 7.3 倍的速度提升。在 64 個分布式 GPU 集群上運行，Inception v3 的跑分增加了 58 倍。
不僅如此，XLA（Accelerated Linear Algebra，即加速線性代數） 還為未來進一步的性能提升打下了基礎。TensorFlow 的官方網站 tensorflow.org，也上線了官方使用指南和秘訣，以幫助開發(fā)者對模型進行調參，達到最大的訓練速度。另外，雷鋒網獲知，谷歌將發(fā)布針對幾大主流模型的實踐指導（更新版本），為如何最大化利用 TensorFlow 1.0 提供指導，相信不久之后就可以看到。
更靈活
它更加靈活—— TensorFlow 1.0 加入了新的高級別 API，還有 tf.layers, tf.metrics, and tf.losses 模塊。非常關鍵的是，谷歌宣布 TensorFlow 1.0 內置了新的 tf.keras 模塊——后者使得 TensorFlow 為 Keras 提供“完全”兼容支持。這在之前就傳出過風聲。作為一個在 ML 開發(fā)者當中廣為流傳的神經網絡庫，Keras 的加入無疑讓 Tensorflow 的使用變得更加便利。
更穩(wěn)定
更適合商業(yè)化使用——TensorFlow 加強了 Python API 的穩(wěn)定性。這使得為它加入新特征變得更加容易，而不需要推翻已有的代碼。
MXNet作者李沐：工業(yè)界追求“how”，學術界重在“why”
在舊金山參加 AAAI 期間，經余凱老師的引薦，雷鋒網AI科技評論來到了位于 Palo Alto 的亞馬遜AWS 辦公室與李沐見了一面。
在 AAAI 的演講中，Smola 拿 MXNet 的運行速度與其它開源平臺做對比，而在談話中李沐表示，自己并不愿意這樣簡單粗暴地做對比，他也告訴員工們，如果其它公司邀請你們做分享，一般不要做對比，只談技術就好。
“我很理解大家愛看對比類的文章，但這是一個有偏見（biased）的做法。我們比別人快一兩倍，不是我們想表達的東西，而為什么快，做了哪些優(yōu)化，離我們的理想狀態(tài)還有哪些差距，這樣的總結可能對我來說更有價值一些。”
作為在工業(yè)界與學術界都待過的大牛，李沐雖然現在對于兩個領域的研究側重頗有心得，但在四年前，他在投遞論文時也吃過不少虧，NIPS、IJCAI、JMLR、UAI、KDD連續(xù)被拒絕的他，心情非常郁悶。2013 年 8 月，他在微博上無奈地寫道：
“今年往nips投了篇分布式優(yōu)化的文章，自覺性能和通用性都可以beat掉度廠和谷歌的當家機器學習系統(tǒng)。結果收了滿滿6頁的review 真是rebuttal不能啊，不報希望去nips普及大數據了。轉身投system會議去了....”
后來回顧這段歷程時，李沐感慨道：
“做產品和做學術研究是完全不同的東西。產品的導向是解決問題的 how，效果好、簡單好用、通用性強、資源消耗低、便于實踐，也就是東西要 work（應用）。不同公司的側重點可能有些差異，比如百度對廣告的精準性要求高一些，騰訊可能需要產品簡單一些。而做學術研究時要寫清楚的是 why，最重要的是想法（idea），第二點是洞察（insight）, 也就是你能把這個事情做出深層的解釋，再接下來才是結果好不好。”
他認為亞馬遜看重的是“有與無”的問題，而不是“誰”的問題。
“亞馬遜靠的是機器時間（machine hour）賺錢，而不是靠軟件與平臺。因此，做社區(qū)的目的主要是為了把用戶量積累起來，而上面用的是什么開源平臺，其實并不重要。”
南大教授周志華當選AAAI 2019 程序主席，華人學者第一人
雷鋒網(公眾號：雷鋒網)從AAAI現任主席Subbarao Kambhampati處獲悉了AAAI 2019的程序主席人選，一位是密歇根大學教授Pascal Van Hentenryck，另一位是我們很熟悉的、來自中國南京大學計算機系的教授周志華，其作為華人學者擔任AAAI大會程序主席（Program Chair），這是AAAI創(chuàng)始以來第一次。周志華教授也成為了1980年AAAI大會創(chuàng)辦以來歐美之外國家的學者擔任AAAI大會程序主席的第一人。
周志華分別于1996年6月、1998年6月和2000年12月于南京大學計算機科學與技術系獲學士、碩士和博士學位，學成后一直在南大執(zhí)教。他曾在中國大陸取得所有學位，在海外最多只連續(xù)呆過兩個月，是徹頭徹尾的‘本土學者’。周志華教授是AAAI Fellow、 IEEE Fellow、 IAPR Fellow，2016年又新當選ACM Fellow、AAAS Fellow，涵蓋了人工智能所有重要的學會，堪稱人工智能會士“大滿貫”得主。
最近幾年，AAAI把國際化當成一個重要議題，越來越多來自美國之外的學者進入常務組織機構，而影響力日漸壯大的中國學者也會在AAAI里扮演更重要的角色。2016年，香港科技大學的楊強教授曾當選AAAI Councilor，是華人學者第一次進入AAAI執(zhí)行委員會。
不可否認地，華人學者在大會中擔任越來越重要的角色，除了AAAI本身國際化的需求，也是華人學者在AI領域的影響力日漸提升的結果。Subbarao Kambhampati最后向雷鋒網透露，AAAI正在考慮2021年讓AAAI會議走出北美，雖然尚未有定論，但組委會正在討論深圳作為AAAI 2021主辦地點的可能性。
LipNet與ICLR評委互懟始末
ICLR 2017 4 月份馬上就要召開，OpenReview 的結果也陸續(xù)出來。既然是一項學術會議，自然就涉及到論文的錄取與評審。其中，一篇早在去年就火遍各大媒體的論文遭到了拒絕，并引發(fā)了一場公開辯駁。
去年 11 月的一篇論文——《LipNet: End-to-End Sentence-level Lipreading》，由牛津大學人工智能實驗室、谷歌 DeepMind 和加拿大高等研究院 (CIFAR) 聯合發(fā)布，此文一出，很快便引來了眾多的關注，第一及第二作者 Yannis Assael 和 Breandan Shilingford 也是采訪不斷。
論文火到什么程度呢？Nvidia CEO 黃仁勛在 CES 2017 上提及了他們與牛津大學的 LipNet 團隊有合作，研發(fā)讀唇深度學習網絡模型的應用，并表示這一成果將應用于 Nvidia 的協同駕駛技術上。
然而這篇論文，在今年就遭遇了 ICLR 的無情拒絕。其中與評委爭論得最為激烈的就是導師 Nando de Freitas，作為牛津大學機器學習教授，DeepMind 研究科學家，還是 CIFAR 的 Fellow，他直言評審的意見更新毫無價值，吐槽評審給出的修改意見簡直是居高臨下，站著說話不腰疼，完全是一派胡言！
而評審也是一點不手軟，最后給出的結論依然是拒絕。主要有2點評審意見：
1. 評審們非常重視論文的創(chuàng)新度及研究意義。
2. 經過審閱，論文確實還沒有達到入選 ICLR 的標準。“論文是一篇應用性論文，作者提出了第一個用機器學習實現端到端的語句層面唇讀技術。”
最后又總結了一番：
此文的缺點在于，在研究深度學習的相關應用時，它并沒有做出巨大的技術貢獻，也沒有提出任何超出目前應用領域的新見解。
論文里提及能將唇語的判別能力提升 10%，對于工業(yè)界也是一個很大的突破。不過，好的結果對工業(yè)界有用，但從研究的結果來說，不一定就與突破劃上等號。就像李沐此前所提及的一樣，工業(yè)界追求的是「how」，而學術界看重的是「why」，產品與研究的方向完全不同，前者追求效果，能做出東西來就是勝利，而后者更看重創(chuàng)新。
谷歌工程師懟上Yann LeCun：你對Google Brain的評價完全是錯的
最近，Google Brain的研究工程師Eric Jang在Quora上回答了“IBM、谷歌、Facebook、蘋果和微軟等幾家公司里，誰在領導著AI研究的發(fā)展？”（Who is leading in AI research among big players like IBM, Google, Facebook, Apple and Microsoft?）這一問題，短短時間便獲得了超過4000的閱讀量。之所以獲得這么廣泛的關注，一方面是因為Eric Jang犀利的行文風格，也因為他直接對原本Yann LeCun的回答做出了反駁。
Eric Jang把Deepmind排到第一位，Google Brain 、Facebook FAIR和OpenAI三者并列第二，百度和微軟研究院并列第三、蘋果第四、IBM位列第10位。他認為Deepmind很大程度上是如今的第一名，因為他們發(fā)表的工作成果受到研究圈的高度重視，而且都涉及到了非常頂級的議題，比如深度增強學習、貝葉斯神經網絡、機器人學、遷移學習等；也因他們從牛津大學和劍橋大學吸收了大量人才。
對于之前Yann LeCun對Google Brain在研究領域的評價“但是谷歌主要關注與應用和產品開發(fā)，而不是長期的AI研究工作。”是錯誤的。他說道，Google Brain剛起步時的項目確實比較偏向工程，但是今天，Google Brain有很多員工都是專注于長期的AI研究 ，而且是涉及所有可能的AI次級領域，這跟Facebook FAIR和Deepmind是類似的。
Facebook FAIR有16篇論文被ICLR 2017大會接收，其中有3篇被選為做現場論文展示。而實際上，Google Brain被ICLR 2017大會接收的論文數量還略略超過Facebook FAIR，總共有20篇，其中4篇被選為做現場論文展示。而這并沒有算上Deepmind和其它谷歌內部團隊的工作（比如搜索、VR、圖片）。論文接收數量并非一個很好的衡量尺度，但是他以此想反駁那些暗示Google Brain不善深度學習研究的暗示。
MIT黑科技：全新芯片將語音識別功耗降低99%
日前 ，MIT的研究人員開發(fā)了一款專為自動語音識別設計的低功耗芯片。據悉，他們開發(fā)的芯片最高能將語音識別的功耗降低99%。
不管蘋果的Siri，谷歌的Google Assistant，還是亞馬遜的Alexa，智能語音助手正在越來越普及。但是，這些虛擬助手都需要依靠語音識別，而且需要常駐后臺保持開啟狀態(tài)以隨時檢測語音命令，這必然會減少設備的續(xù)航時間。MIT的研究人員稱，手機上的語音識別功能的功率大約在1瓦特左右，而使用他們開發(fā)的芯片能夠將功率降低至0.2~10毫瓦。
雷鋒網了解到，通常情況下，負責語音識別的芯片會一直在后臺運行神經網絡來檢測周圍所有的聲音，不管是人聲還是噪聲。而MIT的這款芯片增加了一個簡單的“聲音探測”電路，它能夠識別人類的聲音，而且一旦檢測到人聲之后，就會激活更復雜的語音識別電路。這種方式就像給語音識別芯片加了一個協處理器，從而大幅降低了功耗。這意味著，未來就算是小型的電子設備也能用上先進的語音識別系統(tǒng)和AI助手。
OpenAI最新研究：“對抗樣本”能輕易黑掉AI系統(tǒng)，如何抵御？
OpenAI發(fā)表最新研究，論述了AI安全領域的一大隱憂：“對抗樣本”，它可以輕易地讓機器學習系統(tǒng)產生誤判，這會對AI的應用實踐產生影響。在這篇由“GANs”之父Ian Goodfellow領銜撰寫的文章里，OpenAI針對“對抗樣本”進行了防御策略的實驗，其中有兩種方法效果顯著，但也并不能解決根本問題。
“對抗樣本”是攻擊者故意設計的，被用來輸入到機器學習模型里，引發(fā)模型出錯的值，它就像是讓機器在視覺上產生幻覺一樣。
“對抗樣本”很有可能變得危險。比如，攻擊者可以用貼紙或一幅畫制成一個“停止”指示牌的“對抗樣本”，以此來攻擊汽車，讓汽車將原本的“停止”指示牌誤理解“讓行”或其它指示牌，就像論文“Practical Black-Box Attacks against Deep Learning Systems using Adversarial Examples”討論的那樣。
“對抗樣本”展示出，就算是簡單的現代算法，不論是監(jiān)督學習還是增強學習，就已經可以不以設計者的意愿行事了，且是以令人驚訝的方式。
讓機器學習模型更穩(wěn)定的傳統(tǒng)技術，比如與權重衰減（weight decay）和dropout，通常不會對“對抗樣本”造成實際的防御。到目前，只有兩種方法有明顯防御效果：對抗訓練（Adversarial training）和防御凈化（Defensive distillation），然而，如果攻擊者獲得更多的計算力，那么即使是這些特定算法，也會很容易就被攻克。
“對抗樣本”很難抵御，因為很難為“對抗樣本”的制作過程構建一個理論模型，也是因為它們要求機器學習模型為每一個可能的輸入值產生好的輸出結果。設計出抵抗強大、具有適應性攻擊者的防御策略，是非常重要的研究領域。
