當我們在談論人工智能落地,我們在談論什么?
很多時候我們都是基于一個豐滿的理想化前提:這個項目擁有足夠豐富干凈的大數(shù)據。但現(xiàn)實往往很骨感,很多項目拿到的數(shù)據,都是行業(yè)里某個山頭單項的“數(shù)據孤島”,無法得到一份完整全面的“數(shù)據大陸”。
這跟傳統(tǒng)垂直企業(yè)的數(shù)據采集和數(shù)據管理方式有關,整體性調用受到商業(yè)機密、安全和管理因素的掣肘,互聯(lián)互通面臨很大的阻礙,嚴重影響了AI+行業(yè)落地的進度和質量。
5月24--5月25日,在中國計算機學會舉辦的年度盛會“2019 CCF青年精英大會(YEF 2019)”上,由微眾銀行AI團隊提出的“聯(lián)邦遷移學習”新方法和它打造的開源“聯(lián)邦學習”框架FATE(Federated AI Technology Enabler)或引領AI+行業(yè)落地的下一個十年。
打破次元壁,盤活數(shù)據孤島
雖然AI現(xiàn)在非常火爆,但我們以為的“大數(shù)據”時代并未真正來臨。行業(yè)的實際狀況是存在著大量的“數(shù)據孤島”。這些“孤島”大小不一,參差不齊,相互不連通,使得AI落地舉步維艱。
以金融行業(yè)為例,它本身細分為銀行、證券和保險等多個領域,每個領域積淀的數(shù)據方式、數(shù)據特點雖然有相同的部分,但差異更為明顯。在此基礎上,還有更細一層的數(shù)據割據,比如細分到一家銀行下屬的多個部門,都有自己的數(shù)據沉淀,但它們是沒有打通的。
孤島之內,再劃分了N個孤島,就像俄羅斯套娃一樣,對處理數(shù)據的AI團隊來說,困難重重。他們需要說服一家公司的領導調取多個部門的數(shù)據,面臨著繁瑣的審批流程;而想再進一步說服不同的公司拿出自己的數(shù)據,簡直比登天還難。
面對這個問題,AI從業(yè)者一直在努力。微眾銀行AI團隊倡導的“聯(lián)邦學習”(Federated Learning)則提供了一種新的思路。
所謂“聯(lián)邦學習”,顧名思義,就是搭建一個虛擬的“聯(lián)邦國家”,把大大小小的“數(shù)據孤島”聯(lián)合統(tǒng)一進來。他們就像這個“聯(lián)邦國家”里的一個州,既保持一定的獨立自主(比如商業(yè)機密,用戶隱私),又能在數(shù)據不共享出去的情況下,共同建模,提升AI模型效果。
本質上,它是一種加密的分布式機器學習技術,參與各方可以在不披露底層數(shù)據和底層數(shù)據的加密(混淆)形態(tài)的前提下共建模型。這也是一種共贏的機器學習方式,它打破了山頭林立的數(shù)據次元壁,盤活了大大小小的“數(shù)據孤島”,連成一片共贏的AI大陸。
而將“遷移學習”和“聯(lián)邦學習”結合起來,變成“聯(lián)邦遷移學習”,則是CCF青年精英大會上,人工智能行業(yè)的領軍人物、微眾銀行首席人工智能官(CAIO)楊強教授提到的最新研究成果。
在楊強教授看來,“遷移學習”是將大數(shù)據遷移到小數(shù)據,實現(xiàn)舉一反三,而“聯(lián)邦學習”則可以讓多個參與方數(shù)據不出本地進行合作,“聯(lián)邦遷移學習”將“遷移學習”和“聯(lián)邦學習”結合起來,幫助不同機構打破隔閡,聯(lián)合建立AI模型,同時各方數(shù)據不出本地,用戶隱私得到最好保護。
“聯(lián)邦遷移學習”作為一種新的處理數(shù)據方法和能力,它的實用價值和安全性說服了很多企業(yè)將數(shù)據共享出來,打破了數(shù)據孤島壁壘,構建跨領域合作,實現(xiàn)多方共贏。
“聯(lián)邦學習”的引領者
“聯(lián)邦學習”是機器學習的一種新模式,其歷史不過三四年,主要是為了解決“數(shù)據孤島”和數(shù)據隱私保護的兩難問題,目前已經得到業(yè)內主流機構和專家學者的一致認可。
谷歌在2016年提出了基于個人終端設備(C端)的“橫向聯(lián)邦學習”(Horizontal Federated Learning)算法框架。在國內,微眾銀行AI團隊是最早的“聯(lián)邦學習”倡導者,并基于自己的落地實踐,提出了“聯(lián)邦遷移學習”,主要為了解決B端機構間聯(lián)合建模問題,讓“聯(lián)邦學習”更加通用化。
它已經不再是一個概念,而是人工智能+行業(yè)的浪潮中的一把利器。
據介紹,微眾銀行在不侵犯企業(yè)用戶數(shù)據的情況下,用“聯(lián)邦學習”技術,除央行征信數(shù)據、流水數(shù)據外,將能證明企業(yè)經營健康程度的發(fā)票數(shù)據等不同維度數(shù)據納入風控建模,對小微企業(yè)經營狀況和信用能夠進行360度模型評估,對小微企業(yè)風控模型性能提升了7%,大大拓展了可貸企業(yè)的范圍。
效果也非常明顯,68%的小微信貸客戶在獲得授信時無任何企業(yè)類貸款記錄;38%的授信小微信貸客戶在獲得授信時無任何個人經營性貸款記錄。
除此之外,微眾銀行還在包括風險評估、差異定價、精準營銷等多個金融場景進行成功實踐,助推微眾銀行實現(xiàn)業(yè)務創(chuàng)新,使得其金融服務覆蓋面不斷提升,社會價值貢獻得到進一步體現(xiàn)。
推動微眾銀行AI團隊率先進行“聯(lián)邦學習”研究并將其應用于業(yè)務中的,是微眾銀行首席人工智能官(CAIO)楊強教授。資料顯示,楊強教授是最早研究“聯(lián)邦學習”的國際人工智能專家之一,2013年當選國際人工智能協(xié)會(AAAI)院士,2017年被選為國際人工智能聯(lián)合會理事會主席,其400多篇關于人工智能和數(shù)據挖掘方面的論文,曾被引用超過20000次。而微眾銀行AI團隊的成員也多是在人工智能技術方面具有豐富的經驗和深厚的積累的高端人才。
人工智能是一個靠強技術推動的行業(yè),“得技術人才者得天下”,楊強教授領導下的微眾銀行AI團隊,成了國內乃至國際“聯(lián)邦學習”方面的引領者。
去年10月,微眾銀行AI團隊向IEEE標準協(xié)會提交關于建立聯(lián)邦學習標準的提案——“Guide for Architectural Framework and Application of Federated Machine Learning”(聯(lián)邦學習基礎架構與應用標準),并得到了批準。
今年,楊強教授作為AAAI 2019年會上的特邀嘉賓,發(fā)表了主題為“GDPR、數(shù)據短缺和人工智能”的特邀演講(AAAI Invited Talk),全面講述“聯(lián)邦遷移學習”的安全的分布式建模原理和在數(shù)據合規(guī)上的意義,引發(fā)了國際AI圈的強烈關注。
不止金融,打造AI大數(shù)據生態(tài)
由于擁有相對完善的數(shù)據和強烈的場景需求,金融行業(yè)被認為是AI應用落地最成熟的領域之一。但微眾銀行AI團隊的“聯(lián)邦遷移學習”能力,并不僅僅停留在AI+金融行業(yè)。
“數(shù)據孤島”問題,在其他領域,也同樣大面積存在。
比如在法律行業(yè),如果一個AI團隊想得到一個非常好的樣本,需要經歷很長的鏈條。他們得經過相關部門審批、法官、律師的多方參與,才能把一個樣本標注好,這導致有標注的高質量數(shù)據并不多。更困難的是,這些數(shù)據分散在各地的各級法院,需要一個個去收集,面臨的監(jiān)管和流程,煩不勝煩。
幸好,在金融領域得到充分實踐的“聯(lián)邦遷移學習”模式,復制到其他領域效果同樣出眾。對此,微眾銀行AI團隊專門發(fā)布了一個聯(lián)盟AI生態(tài)系統(tǒng)(Federated AI Ecosystem),通過開源聯(lián)盟AI解決方案FATE(Federated AI Technology Enabler)的形式,吸引更多的從業(yè)者參與開發(fā)和推廣數(shù)據安全和用戶隱私保護下的AI技術及其應用。
作為聯(lián)邦學習領域的第一個商用級開源項目,FATE為開發(fā)者提供所必須的多方協(xié)同建模工作流管理、加密機器學習工具庫和并行計算基礎設施抽象三層能力,同時提供了很多開箱即用的“聯(lián)邦學習”算法和“聯(lián)邦遷移學習”算法供開發(fā)者參考,極大簡化了聯(lián)盟AI開發(fā)的流程并降低了部署難度。自推出以來,吸引了不少品牌第一時間加入。
不久前,微眾銀行AI團隊和極視角(Extreme Vision)聯(lián)合打造了城市管理領域的聯(lián)邦學習視覺應用項目。傳統(tǒng)的城市監(jiān)控設備管理面臨標簽數(shù)量少、數(shù)據分散,集中管理成本很高且模型更新和反饋存在離線延遲情況,聯(lián)邦學習讓監(jiān)控終端進行在線模型更新反饋,無需上傳數(shù)據,且對模型提升率高達15%,模型效果無損失。
這只是聯(lián)邦學習應用的其中一個典型的例子?；贔ATE提供的數(shù)據隱私保護的分布式安全計算框架和友好的跨域交互信息管理方案,更多的企業(yè)會陸續(xù)加入,拿出自己的積淀數(shù)據,共同構建一個安全、高效的AI大數(shù)據生態(tài),最終反哺自身的業(yè)務,實現(xiàn)產業(yè)升級。
科技向善,更加安全的AI時代
去年以來,新的國際形勢,對中國的技術界提出了更高的要求:基礎學科的大規(guī)模投入、知識產權的保護和個人隱私安全的重視,到了一個全所未有的高度。
人工智能的落地,伴隨著與各種數(shù)據的“親密接觸”進行。如何保護好隱私和處理好數(shù)據安全問題,一直倍受業(yè)內外關注。法律的日益嚴格,也給AI從業(yè)者提出了新的要求和挑戰(zhàn)。
“史上最嚴厲”的數(shù)據隱私保護法案——歐盟數(shù)據隱私保護法GDPR(The General Data Protection Regulation )近日對谷歌等巨頭就違反數(shù)據隱私法展開調查，使用了數(shù)據隱私的借口。一個事實是,保護隱私是個大趨勢,全世界都在加強數(shù)據隱私保護方面的立法建設。
不久前,科技部部長王志也表示:“我國正在加緊研究起草人工智能治理準則,近期將向全社會發(fā)布。”而就在前兩天,國家互聯(lián)網信息辦公室聯(lián)合相關部門研究起草了《數(shù)據安全管理辦法(征求意見稿)》,目前正在征求意見中,這一被國內業(yè)內人士視為“史上最嚴”的數(shù)據安全管理辦法一旦通過,個人隱私保護成為了AI發(fā)展必
隱私和保障數(shù)據安全,領軍企業(yè)要帶好頭。須解決的問題。
上個月,騰訊的CEO馬化騰表示,騰訊將調整愿景,走“科技向善”路線,這是騰訊提出產業(yè)互聯(lián)網以來,針對行業(yè)著重強調的一個新理念。
科技向善,本質是借助科技的力量,讓世界變得更加美好。比如張小龍說的不能用技術套路用戶,又比如諾獎得主Deaton說的AI技術發(fā)展需要兼顧隱私保護,都是在發(fā)展科技過程中,一種積極“向善”的行為。技術本身就是一把雙刃劍,從業(yè)者應該時刻管好自己的雙手,或者盡量把自己的劍打造得更加友好。畢竟,科技發(fā)展的終極目標是更好地普惠大眾。在這一點上,微眾銀行的理念與騰訊相似,創(chuàng)新性提出“聯(lián)邦遷移學習”技術,就是一個最好的明證。它是針對AI+行業(yè)落地這場科技賦能戰(zhàn),專門打造的一把善良友好的利劍。
“聯(lián)邦遷移學習”的另一個優(yōu)點是保護隱私,確保數(shù)據安全。它克服了從政策上、監(jiān)管上、一直到技術上如何能夠保護用戶,同時能把割裂的數(shù)據孤島拼裝成一個“大聯(lián)邦”,既滿足了隱私的保護,又實現(xiàn)了對數(shù)據的開發(fā)。
此前,埃隆·馬斯克在談到人工智能威脅論時,多次強調隱私保護和數(shù)據安全對人類的重要性。如果方法不對,盲目地使用采集的數(shù)據,可能對人類造成極大的負面影響,間接阻礙人工智能的發(fā)展。“聯(lián)邦遷移學習”兼顧了數(shù)據的開發(fā)和隱私的保護,確保了AI落地的安全推進。
人工智能在B端的落地,已經到了一個歷史關鍵點。微眾銀行AI團隊的努力,旨在利用最新的機器學習技術,集合眾人之力,構建一個“可持續(xù)、和諧、共贏”的AI生態(tài),為接下來的AI立法和監(jiān)管提供更多技術依據,推動產業(yè)進入一個更加安全的AI時代。 作者：張銘陽
