很多人在玩游戲的時(shí)候，都會(huì)感覺(jué)到游戲中的NPC非常“腦殘”。但這一情況將會(huì)發(fā)生改變了。前不久，Unity推出了一個(gè)強(qiáng)大的開(kāi)源軟件Unity Machine Learning Agents，通過(guò)這個(gè)開(kāi)源軟件，能夠?qū)⑵溆螒蛞媾c機(jī)器學(xué)習(xí)程序連接起來(lái)。通過(guò)深度強(qiáng)化學(xué)習(xí)算法，非玩家角色（NPC）可以不斷地進(jìn)行嘗試和犯錯(cuò)，變得更有創(chuàng)造性和策略性，從而增加游戲的對(duì)抗性和可玩性。也就是說(shuō)，游戲中的NPC將會(huì)變得越來(lái)越聰明。更加值得關(guān)注的是，這個(gè)開(kāi)源軟件的適用范圍并不僅限于游戲中的虛擬人物，還可以用來(lái)訓(xùn)練那些用于真實(shí)世界的機(jī)器人。
這些年，視頻游戲開(kāi)發(fā)者已經(jīng)在使用人工智能來(lái)優(yōu)化玩家能夠操縱的游戲角色了。但玩家不能操縱的角色，游戲中的NPC，都是基于人類(lèi)編寫(xiě)的規(guī)則，在游戲體驗(yàn)上并不完美，玩家很容易就能掌握了其中的規(guī)律，從而會(huì)感覺(jué)到游戲非常無(wú)聊。
不過(guò)，這一切都將會(huì)發(fā)生改變。利用人工智能技術(shù)，游戲中的NPC將會(huì)根據(jù)游戲中遇到的情況，對(duì)自己的游戲規(guī)則進(jìn)行編程和重新編程。也就是說(shuō)，他們?cè)谟螒蛑械臅r(shí)間越長(zhǎng)，就會(huì)越聰明。
前不久，Unity推出了一個(gè)強(qiáng)大的開(kāi)源軟件Unity Machine Learning Agents，通過(guò)這個(gè)開(kāi)源軟件，能夠?qū)⑵溆螒蛞媾c機(jī)器學(xué)習(xí)程序（比如谷歌的TensorFlow）連接起來(lái)。Unity是游戲引擎軟件的主要制造商，王者榮耀、紀(jì)念碑谷、神廟逃亡2、Pokémon GO都用的是它提供的游戲引擎。
Unity負(fù)責(zé)人工智能和機(jī)器學(xué)習(xí)的副總裁Danny Lange表示，通過(guò)深度強(qiáng)化學(xué)習(xí)算法，非玩家角色（NPC）可以不斷地進(jìn)行嘗試和犯錯(cuò)，變得更有創(chuàng)造性和策略性，從而增加游戲的對(duì)抗性和可玩性。
不過(guò)，Unity的新AI-linking工具的使用場(chǎng)景并不局限于游戲中的虛擬角色。Lange說(shuō)，這種軟件還可以加速機(jī)器人的發(fā)展，比如自動(dòng)駕駛汽車(chē)，可以讓它們?cè)?ldquo;雜亂無(wú)章的、計(jì)算機(jī)生成的”的場(chǎng)景中不間斷的訓(xùn)練，使其變得更加智能。
Unity利用機(jī)器學(xué)習(xí)技術(shù)，通過(guò)從多個(gè)角度評(píng)估場(chǎng)景——鳥(niǎo)-眼（左）和第一人稱(chēng)視角（右）——在這個(gè)尚未發(fā)布的坦克戰(zhàn)斗游戲中設(shè)計(jì)出了一個(gè)策略。
Unity也坦然表示，他們并沒(méi)有發(fā)明這些技術(shù)，只是讓這些技術(shù)變得更容易使用。比如說(shuō)，谷歌旗下的DeepMind利用深度強(qiáng)化學(xué)習(xí)技術(shù)，教AI玩兒上世紀(jì)80年代的電子游戲，比如“Breakout”。
在游戲式的環(huán)境中，訓(xùn)練自動(dòng)駕駛系統(tǒng)也有很多的例子。比如說(shuō)，MSC Software的虛擬測(cè)試驅(qū)動(dòng)器應(yīng)用程序提供汽車(chē)培訓(xùn)模擬。像The Open Racing Car Simulator和Euro Truck Simulator 2這樣的游戲也被用于自動(dòng)駕駛汽車(chē)的虛擬訓(xùn)練。而Nvidia的New Lsaac Lab則使用競(jìng)爭(zhēng)對(duì)手Epic Games的“虛擬引擎”來(lái)生成逼真的虛擬環(huán)境，用于訓(xùn)練那些控制真實(shí)機(jī)器人的算法。
Lange表示，現(xiàn)在可以在GitHub上使用測(cè)試版的新ML-Agents工具，可以讓游戲引擎和AI軟件之間的鏈接不再動(dòng)輒就要消耗數(shù)天甚至數(shù)周的時(shí)間。他說(shuō)：“我們想做的是在一小時(shí)內(nèi)達(dá)到這一目標(biāo)。”很顯然，這會(huì)讓更多的人更容易嘗試開(kāi)發(fā)出更好的游戲角色，或者把訓(xùn)練機(jī)器人這一枯燥的事情變得更容易。
智能游戲
今年早些時(shí)候，Unity展示了深度強(qiáng)化學(xué)習(xí)的潛力，它在一個(gè)基于Unity的移動(dòng)游戲Crossy Road上做了實(shí)驗(yàn)。在游戲中，一只雞必須穿過(guò)一條無(wú)窮無(wú)盡的道路，每次它撞到一個(gè)禮盒，就能獲得一分，但每次它撞上一輛卡車(chē)，就會(huì)失去一分。在讓分?jǐn)?shù)最大化的任務(wù)的下，就開(kāi)始了學(xué)習(xí)的過(guò)程。
起初，這只雞像一只喝醉了的蛾子一樣四處亂飛，前后移動(dòng)，不斷與禮物和卡車(chē)相撞。
經(jīng)過(guò)幾個(gè)小時(shí)的反復(fù)試驗(yàn)，再加上機(jī)器學(xué)習(xí)識(shí)別出最佳戰(zhàn)術(shù)，這只鳥(niǎo)以“神一般的力量”在游戲中穿行。
更復(fù)雜的NPC可以訓(xùn)練在更微妙的目標(biāo)上，比如在第一人稱(chēng)射擊游戲中最大化玩家的游戲時(shí)間。
Lange說(shuō)：“它可能會(huì)發(fā)展出一些策略，以令人驚訝的方式展示自己。比如說(shuō)，它會(huì)引誘你去追逐它，但你不會(huì)抓住它，它也不會(huì)馬上殺死你。通過(guò)這樣的方式來(lái)提高你在游戲中的時(shí)間。很顯然，這為更有創(chuàng)造性的行為打開(kāi)了一扇門(mén)，這是你可能想象不到的；或者說(shuō)，以傳統(tǒng)的代碼水平而言，讓NPC執(zhí)行這樣的策略會(huì)非常非常費(fèi)力。”
不過(guò)，也不要?jiǎng)e指望這種能夠自學(xué)成才的虛擬對(duì)手很快就會(huì)出現(xiàn)。對(duì)于學(xué)者和科技公司的研究團(tuán)隊(duì)來(lái)說(shuō)，建立具有深度強(qiáng)化學(xué)習(xí)的NPC仍然是一項(xiàng)科學(xué)實(shí)驗(yàn)。但如果Unity的ML-Agents能讓數(shù)百萬(wàn)注冊(cè)開(kāi)發(fā)者（即使是沒(méi)有很多資金的用戶(hù)）更方便地進(jìn)行試驗(yàn)，那么這個(gè)過(guò)程可能會(huì)加快。
智能機(jī)器人
像Unity和Unreal 這樣的視頻游戲引擎現(xiàn)在可以非常精確地模擬現(xiàn)實(shí)世界。從光與景觀的相互作用，到橡膠輪胎與水泥路之間的摩擦，游戲提供的虛擬環(huán)境已經(jīng)非常精確了，可以用來(lái)訓(xùn)練那些用于真實(shí)世界的機(jī)器人。
通過(guò)一種叫做過(guò)程渲染（procedural rendering）的方法，游戲引擎可以動(dòng)態(tài)地合成一條幾乎無(wú)限里程而且非常逼真的道路。通過(guò)機(jī)器學(xué)習(xí)軟件可以從分析游戲中反饋的視頻，并學(xué)習(xí)如何準(zhǔn)確地解釋它所看到的內(nèi)容。
Lange說(shuō)：“這與你在舊金山開(kāi)車(chē)行駛在道路上很像。”他在2016年12月加入U(xiǎn)nity之前，是Uber的機(jī)器學(xué)習(xí)主管。“但Uber的員工，他們需要做的就是回家，然后找外包公司來(lái)給這些視頻數(shù)據(jù)貼上標(biāo)簽。”他們必須對(duì)每棵樹(shù)、汽車(chē)、行人、人行道、車(chē)道分隔器等物體進(jìn)行標(biāo)記，只有這樣，學(xué)習(xí)軟件才能知道它看到了什么，并開(kāi)發(fā)出識(shí)別它們的技術(shù)。在虛擬場(chǎng)景的訓(xùn)練中，因?yàn)橄馯nity或Unreal這樣的軟件是根據(jù)現(xiàn)實(shí)世界生成的非常逼真的場(chǎng)景，其中的每一個(gè)物體都已經(jīng)貼上了標(biāo)簽。
自動(dòng)駕駛汽車(chē)目前是一項(xiàng)巨大的技術(shù)項(xiàng)目，甚至連主要汽車(chē)制造商和硅谷的公司都在往其中投入大量的資源。但隨著Unity等產(chǎn)品的推出，小型游戲開(kāi)發(fā)者更容易上手，Unity的ML-Agents也可以為更多的小型機(jī)器人和機(jī)器人開(kāi)發(fā)者提供支持。
