在測試中，“阿爾法扣”通過預(yù)測代碼段并創(chuàng)建數(shù)百萬個潛在的解決方案，實現(xiàn)“接近人類水平的性能”，還能在競爭中解決以往未發(fā)現(xiàn)的自然語言問題。在生成了過多方案后，“阿爾法扣”會將它們篩選為最多10個方案，所有這些方案都是在“沒有任何關(guān)于計算機(jī)代碼結(jié)構(gòu)的內(nèi)置知識的情況下”生成的。
在Codeforce競爭性編碼平臺最近的編碼模擬評估中，“阿爾法扣”在每個問題的第10代解決方案中平均排名前54.3%，而其中66%的問題第一次提交就得到了解決。
美國卡內(nèi)基·梅隆大學(xué)博世人工智能中心教授齊科·科爾特說：“無論‘阿爾法扣’在多大程度上‘真正’理解了這項任務(wù)，它在前所未見的編碼挑戰(zhàn)中表現(xiàn)得非常出色。”
“阿爾法扣”并不是唯一會編碼的AI模型，但其性能超越了“前輩”Codex——OpenAI研究實驗室于2021年發(fā)布的系統(tǒng)。GitHub也有自己的流行AI編程工具Copilot。然而，在解決復(fù)雜的競爭性問題方面，這兩款A(yù)I都未表現(xiàn)出與人類匹敵能力。
深度思維公司表示，經(jīng)過培訓(xùn)，“阿爾法扣”解決了約34%的指定問題。為進(jìn)一步測試它的能力，公司讓它參加了在線編碼比賽。在至少有5000人參加的比賽中，“阿爾法扣”的表現(xiàn)超過了45.7%的程序員。研究人員還將其與訓(xùn)練數(shù)據(jù)庫中的程序進(jìn)行了比較，發(fā)現(xiàn)它沒有復(fù)制大段代碼或邏輯，這表明它有驚人的創(chuàng)造力。
除了提高總體生產(chǎn)率外，“阿爾法扣”還可讓新一代開發(fā)人員更容易地進(jìn)行編程。其未來有一天可能會改變?nèi)藗兊木幊汤砟?，即人類主要是為了制定問題，然后由AI來解決問題。
