在測(cè)試中，“阿爾法扣”通過(guò)預(yù)測(cè)代碼段并創(chuàng)建數(shù)百萬(wàn)個(gè)潛在的解決方案，實(shí)現(xiàn)“接近人類(lèi)水平的性能”，還能在競(jìng)爭(zhēng)中解決以往未發(fā)現(xiàn)的自然語(yǔ)言問(wèn)題。在生成了過(guò)多方案后，“阿爾法扣”會(huì)將它們篩選為最多10個(gè)方案，所有這些方案都是在“沒(méi)有任何關(guān)于計(jì)算機(jī)代碼結(jié)構(gòu)的內(nèi)置知識(shí)的情況下”生成的。
在Codeforce競(jìng)爭(zhēng)性編碼平臺(tái)最近的編碼模擬評(píng)估中，“阿爾法扣”在每個(gè)問(wèn)題的第10代解決方案中平均排名前54.3%，而其中66%的問(wèn)題第一次提交就得到了解決。
美國(guó)卡內(nèi)基·梅隆大學(xué)博世人工智能中心教授齊科·科爾特說(shuō)：“無(wú)論‘阿爾法扣’在多大程度上‘真正’理解了這項(xiàng)任務(wù)，它在前所未見(jiàn)的編碼挑戰(zhàn)中表現(xiàn)得非常出色。”
“阿爾法扣”并不是唯一會(huì)編碼的AI模型，但其性能超越了“前輩”Codex——OpenAI研究實(shí)驗(yàn)室于2021年發(fā)布的系統(tǒng)。GitHub也有自己的流行AI編程工具Copilot。然而，在解決復(fù)雜的競(jìng)爭(zhēng)性問(wèn)題方面，這兩款A(yù)I都未表現(xiàn)出與人類(lèi)匹敵能力。
深度思維公司表示，經(jīng)過(guò)培訓(xùn)，“阿爾法扣”解決了約34%的指定問(wèn)題。為進(jìn)一步測(cè)試它的能力，公司讓它參加了在線編碼比賽。在至少有5000人參加的比賽中，“阿爾法扣”的表現(xiàn)超過(guò)了45.7%的程序員。研究人員還將其與訓(xùn)練數(shù)據(jù)庫(kù)中的程序進(jìn)行了比較，發(fā)現(xiàn)它沒(méi)有復(fù)制大段代碼或邏輯，這表明它有驚人的創(chuàng)造力。
除了提高總體生產(chǎn)率外，“阿爾法扣”還可讓新一代開(kāi)發(fā)人員更容易地進(jìn)行編程。其未來(lái)有一天可能會(huì)改變?nèi)藗兊木幊汤砟?，即人?lèi)主要是為了制定問(wèn)題，然后由AI來(lái)解決問(wèn)題。
