國產(chǎn)機器人新突破：

兩只各自獨立的機械臂，已經(jīng)可以絲滑地打配合了！

不信你看這雙手擰瓶蓋：

擰完再端起杯子倒水：

活靈活現(xiàn)，如真人。

吶，還能搭把手幫程序員安裝好顯示屏：

甚至接過“同事”手里的大箱子：

可以說是各種幾何和物理特性的物體都能穩(wěn)穩(wěn)hold住。

（下一步還能干啥，不敢想

）

這就是騰訊Robotics X實驗室的最新成果：通用雙臂協(xié)同靈巧操作框架。目前已登上機器人領(lǐng)域頂刊《IEEE Transactions on Robotics》。

既然是干活，抗干擾能力得有：

既然是雙手干活，兩胳膊就不能“攪”一起：

下面這個不明覺厲的“椅子360°翻轉(zhuǎn)操作”，就展現(xiàn)的是它全自主的“雙臂避自碰”能力。

最后，偶爾遇到人類調(diào)皮，它也可以輕松get，完成意圖識別、進行動態(tài)交互：

（給我給我啊喂，算了我收手）

具體技術(shù)細節(jié)，這就揭秘～

人型雙臂系統(tǒng)通用性實現(xiàn)

通用人形機器人無疑是近年來機器人與AI交叉領(lǐng)域的研究熱點。

其中的人形雙臂系統(tǒng)直接承載著這類機器人操作任務(wù)的執(zhí)行能力。

任意抓取和操作具有各種幾何和物理特性的任意物體則是這類系統(tǒng)通用化的技術(shù)體現(xiàn)。

而現(xiàn)有研究工作大多專注解決某一特定層級的問題，例如環(huán)境-物體的感知、推理與策略生成、機器人系統(tǒng)的規(guī)劃或操作控制。

并且方案通常與特定的被操作物體或任務(wù)強相關(guān)，難以遷移和泛化。

騰訊Robotics X實驗室指出，要想實現(xiàn)這樣的通用化雙臂系統(tǒng)，需要解決現(xiàn)有研究工作中三個關(guān)鍵的共性問題。

首先，如何基于視覺感知實現(xiàn)未知物體的雙臂協(xié)同最優(yōu)抓取。

其次，如何確保工作空間高度重疊的雙臂機器人在動態(tài)協(xié)同過程中的系統(tǒng)安全性。

最后，如何將豐富的人類技能轉(zhuǎn)移到僅擁有有限跟蹤接口類型的機器人系統(tǒng)中。

在此，騰訊Robotics X實驗室提出的包含兩個相互耦合關(guān)聯(lián)的子框架：

1、基于學(xué)習(xí)的靈巧可達感知子框架采用端到端評估網(wǎng)絡(luò)和機器人可達性概率化建模，實現(xiàn)對未建模物體的最優(yōu)協(xié)同抓取。

2、基于優(yōu)化的多功能控制子框架則采用層級化的多優(yōu)先級優(yōu)化框架，并通過嵌入基于學(xué)習(xí)生成的輕量級距離代理函數(shù)和黎曼流形上的速度級跟蹤控制技術(shù)。

同時實現(xiàn)了高精度雙臂避自碰和高擬真雙臂操作度橢球跟蹤，保證了雙臂系統(tǒng)的本質(zhì)安全并開放了操作度橢球跟蹤接口。

此外，該研究還首次系統(tǒng)性解決了基于視覺感知的未知物體雙臂協(xié)同最優(yōu)抓取，實現(xiàn)了工作空間高度重疊的雙臂機器人本質(zhì)安全并開放了可用于人機技能遷移學(xué)習(xí)的雙臂協(xié)同操作度橢球跟蹤接口。

最終，該系統(tǒng)在感知層、雙手抓取、協(xié)同操作規(guī)劃和底層控制等方面提供了豐富的接口，具有很高的通用性、可擴展性和兼容性。

技術(shù)細節(jié)如下：

靈巧可達感知子框架

圍繞靈巧可達感知子框架，為實現(xiàn)對未知物體的雙臂協(xié)同抓取，需要為雙臂系統(tǒng)自主生成可執(zhí)行的靈巧最優(yōu)抓取對。

研究人員從數(shù)據(jù)集生成，抓取質(zhì)量評估網(wǎng)絡(luò)和雙臂機器人可達性概率化建模三個層面著手，系統(tǒng)性設(shè)計了靈巧-可達感知雙臂抓取子框架，實現(xiàn)視覺系統(tǒng)感知到的物體3D點云到靈巧-可達最優(yōu)的雙臂6D抓取位姿對之間的端到端映射。

1、雙臂靈巧感知抓取數(shù)據(jù)集

為建立準(zhǔn)確的輸入點云與輸出雙臂抓取質(zhì)量之間的映射關(guān)系并有效訓(xùn)練抓取評估網(wǎng)絡(luò)，研究人員提出了業(yè)界首個大規(guī)模靈巧性感知的雙臂抓取合成數(shù)據(jù)集（DA2 Dataset）。

該數(shù)據(jù)集包含6327個物體的Mesh和超過900萬組抓取對，每一組抓取都采用抓取奇異性-抓取穩(wěn)定性-抓取力兼容性三個指標(biāo)做了標(biāo)注。

2、雙臂協(xié)同抓取質(zhì)量評估網(wǎng)絡(luò)

實際場景中一般可采用例如啟發(fā)式采樣等技術(shù)在感知到的物體3D點云上生成候選抓取對，為實時在線評估這些候選抓取對的質(zhì)量并輸出最優(yōu)解。

研究人員設(shè)計了面向雙臂協(xié)同抓取的質(zhì)量評估網(wǎng)絡(luò)Dual-PointNetGPD，并利用DA2數(shù)據(jù)集進行訓(xùn)練。

相較于基于簡化接觸力模型和依賴精確物體幾何特征的傳統(tǒng)分析方法而言，基于學(xué)習(xí)的Dual-PointNetGPD可以直接處理有噪聲的3D點云并對候選雙臂抓取構(gòu)型的靈巧性和可靠性進行評估。

因而對廣泛存在的視覺感知噪聲具有更高的魯棒性。

3、雙臂可達性建模與最優(yōu)抓取分配

Dual-PointNetGPD從視覺感知的角度輸出抓取對質(zhì)量評估結(jié)構(gòu)，針對特定的雙臂機器人系統(tǒng)，還需要從機器人本體角度考慮候選抓取對在機器人操作空間中的可達性問題和抓取對在雙臂之間的分配問題。

研究人員采用單位四元數(shù)高斯混合模型建模技術(shù)對雙臂6自由度工作空間進行建模并設(shè)計了概率最大化分配策略，實現(xiàn)了雙臂抓取可達性與抓取靈巧性評估的融合統(tǒng)一。

多功能協(xié)同操作控制子框架

針對多功能協(xié)同操作控制子框架，具備協(xié)同抓取未知物體的能力是實現(xiàn)雙臂通用化的第一步，而具備本體安全感知的協(xié)同操作運動規(guī)劃是銜接通用抓取并實現(xiàn)通用操作的第二步。

由于人形雙臂機器人系統(tǒng)的兩條機械臂的工作空間往往高度重疊，對于執(zhí)行雙臂動態(tài)任務(wù)的機器人本體而言，避自碰撞需要放在運動規(guī)劃中的最高優(yōu)先級，在提升避碰精度的同時還需要減小在線計算代價以保證避碰實時性。

此外，作為重要的操作性能指標(biāo)和機器人技能表征之一，雙臂協(xié)同操作度橢球需要被連續(xù)控制以實現(xiàn)對機械臂構(gòu)型的實時優(yōu)化，從而提高雙臂系統(tǒng)的操作靈巧度，避免因操作奇異性導(dǎo)致的任務(wù)失敗。

研究人員為此設(shè)計了一個新型的多功能協(xié)同操作控制子框架。

該框架基于層級化的多目標(biāo)多優(yōu)先級優(yōu)化框架，將學(xué)習(xí)得到的輕量級雙臂最小距離代理函數(shù)和黎曼流形速度跟蹤任務(wù)以不等式約束的形式嵌入到不同的優(yōu)先級中。

從而實現(xiàn)了雙臂操作運動規(guī)劃的本質(zhì)安全性與人機技能遷移學(xué)習(xí)中雙臂構(gòu)型優(yōu)化的高擬真性。

1、雙臂高精度避自碰

△ 工作空間高度交疊的人形雙臂機器人

獲取精確可靠的描述雙臂碰撞邊界的最小距離函數(shù)是將避碰約束嵌入到多優(yōu)先級優(yōu)化框架中并實現(xiàn)雙臂避自碰的關(guān)鍵一步。

由于雙臂構(gòu)型空間維度高且工作空間相互交疊，使得其中的安全子空間與碰撞子空間分布嚴重失衡而難以分割開。

研究人員提出了一種新穎的基于主動學(xué)習(xí)的采樣方法，用以生成大規(guī)模的、平衡的、信息豐富的雙臂碰撞數(shù)據(jù)集。

然后通過機器學(xué)習(xí)的方式對雙臂最小距離關(guān)于雙臂構(gòu)型的映射關(guān)系予以擬合，從而高效獲取高精度的最小距離代理函數(shù)。

△基于主動學(xué)習(xí)的采樣算法示意

2、基于黎曼幾何的雙臂協(xié)同操作度橢球跟蹤

除避自碰以外，操作度橢球跟蹤因其與操作技能和操作構(gòu)型強相關(guān)，也是雙臂系統(tǒng)控制中需要重點處理的問題。

雙臂操作度橢球由對稱正定矩陣（SPD）來描述，研究人員通過設(shè)計流形空間中的速度前饋項并結(jié)合誤差控制原理，實現(xiàn)了雙臂操作度橢球的實時跟蹤以及跟蹤誤差的全局指數(shù)收斂，并給出了完整的理論分析與證明。

雙臂操作度橢球跟蹤任務(wù)以等式約束的形式嵌入到了多優(yōu)先級優(yōu)化框架中并以雙臂操作度橢球跟蹤接口的形式呈現(xiàn)。

3、多優(yōu)先級優(yōu)化與控制器設(shè)計

研究人員采用協(xié)同任務(wù)空間變量（雙臂絕對運動與雙臂相對運動）來描述所有的雙臂協(xié)同-非協(xié)同/同步-異步任務(wù)，并基于多目標(biāo)多優(yōu)先級框架設(shè)計了雙臂通用協(xié)同操作控制的系統(tǒng)框架。

該框架將上述雙臂避自碰，雙臂操作度橢球跟蹤等多任務(wù)進行有機融合在一起，從而在運動規(guī)劃與控制層面為雙臂通用化掃清了障礙。

協(xié)同抓取、避自碰樣樣出色

為驗證雙臂最優(yōu)協(xié)同抓取，雙臂避自碰以及雙臂協(xié)同操作度橢球跟蹤方面的有效性，研究人員就所設(shè)計的Dual-PointNetGPD網(wǎng)絡(luò)、學(xué)習(xí)生成的雙臂最小距離代理函數(shù)以及SPD流形跟蹤誤差進行了定量分析。

1、雙臂最優(yōu)協(xié)同抓取研究人員在物理仿真引擎中開展了大規(guī)模消融實驗，結(jié)果表明所設(shè)計和訓(xùn)練的Dual-PointNetGPD網(wǎng)絡(luò)有效提升了大尺寸未建模物體抓取任務(wù)中的雙臂協(xié)同抓取成功率。

2、雙臂避自碰主要從雙臂碰撞數(shù)據(jù)集生成與雙臂最小距離代理函數(shù)兩個維度做分析，考慮到雙臂構(gòu)型空間是14維，以20-30°為采樣步長進行低精度采樣，每一維分成10等分，需要的數(shù)據(jù)集規(guī)模也達到了1014。

研究人員使用基于主動學(xué)習(xí)的采樣技術(shù)生成雙臂碰撞數(shù)據(jù)集，200萬數(shù)據(jù)規(guī)模的前提下即可實現(xiàn)95%以上的高預(yù)測精度，相較于目前在非平衡數(shù)據(jù)集學(xué)習(xí)中廣泛使用的b-SMOTE等技術(shù)而言具有更高的數(shù)據(jù)效率和預(yù)測精度。

△平均預(yù)測誤差與預(yù)測準(zhǔn)確性分析

此外，基于學(xué)習(xí)訓(xùn)練生成的雙臂最小距離代理函數(shù)計算一次雙臂最小距離的時間約為0.072ms,顯著低于被廣泛使用的FCL算法庫所需的5.36ms，且方差更小。

這極大地提升了該方法在實際部署時的實時性并保證了整個雙臂協(xié)同運動規(guī)劃的穩(wěn)定可預(yù)測。

此外，代理函數(shù)展現(xiàn)了優(yōu)異的連續(xù)性和可微性，這對于將避自碰以不等式約束的形式嵌入到平滑多目標(biāo)優(yōu)化框架中非常重要。

△表計算時間對比分析

△平滑性對比分析

3、雙臂協(xié)同操作度橢球跟蹤

通過消融實驗驗證了所設(shè)計并嵌入到多目標(biāo)優(yōu)化框架中的操作都橢球跟蹤約束有效地降低了雙臂實際構(gòu)型與期望構(gòu)型之間的差異，驗證了SPD流形跟蹤接口的有效性。

4、雙臂協(xié)同翻轉(zhuǎn)實驗：

為驗證自主避自碰能力，研究人員設(shè)計了需要極限扭轉(zhuǎn)的協(xié)同翻轉(zhuǎn)實驗中。

在該實驗中，雙臂系統(tǒng)自主完成了互纏繞無碰軌跡運動規(guī)劃，在不改變抓握構(gòu)型的前提下實現(xiàn)了對椅子360°翻轉(zhuǎn)操作。

物體的絕對運動在回轉(zhuǎn)方向上始終保持高精度跟蹤，在其他自由度上則動態(tài)地自主松弛，雙臂相對運動誤差低于0.003 （m 或rad），避碰安全距離被高效壓縮到了2.5 cm。

同時整個多功能協(xié)同操作控制子框架在采用機械臂高精度網(wǎng)格模型下的典型計算時間為8.318 ms，解決了高精度和高實時性不可同時實現(xiàn)的困境。

以上結(jié)果也表明各級任務(wù)嚴格按照所給定的優(yōu)先級執(zhí)行。

在long-horizon重排實驗中，雙臂機器人系統(tǒng)連續(xù)抓取和操作人居環(huán)境中常見的桌面書架，儲物籃和顯示器支架這3個未建模物體。

實驗結(jié)果表明雙臂機器人在所設(shè)計的通用框架下能協(xié)同抓取大尺寸物體并能在執(zhí)行復(fù)雜協(xié)同操作任務(wù)過程中全自主高精度避自碰。

總結(jié)：

可以看到，該研究首次系統(tǒng)性解決了基于視覺感知的未知物體雙臂協(xié)同最優(yōu)抓取，實現(xiàn)了工作空間高度重疊的雙臂機器人本質(zhì)安全，并開放了可用于人機技能遷移學(xué)習(xí)的雙臂協(xié)同操作度橢球跟蹤接口。

這一自上而下研究具身智能并至下而上研究機器人操作規(guī)劃與控制的工作，有助于彌合AI與Robotics之間的技術(shù)鴻溝，提升基于AI生成的操作策略在物理世界中執(zhí)行的穩(wěn)定性和可靠性，加速雙臂系統(tǒng)全自主通用化的到來。