人工智能行業動態分析-機器人智能化三部曲（二）：Meta及微軟篇.pdf

人工智能行業動態分析-機器人智能化三部曲（二）：Meta及微軟篇。核心觀點：隨著各項人工智能技術的不斷發展，具備與物理世界交互潛力的智能機器人成為學界和業界的重要研究賽道。近年來Meta、微 軟均持續完善其機器人模型領域的布局。2023年8月，Meta推出在少量訓練數據情況下便能取得優異表現的MT-ACT模型。2023年2月微軟 推出基于ChatGPT的機器人控制框架，將ChatGPT的“知識儲備”落實到現實場景中。機器人模型發展百家爭鳴，值得進一步關注。

從R3M到MT-ACT，Meta持續探索如何使用有限的數據集實現更優秀的機器人控制。在2022年3月推出的R3M模型中，Meta首次引入人類 視頻數據作為機器人控制模型的知識來源，提升機器人模型訓練效率。在2022年12月推出的CACTI模型中，使用數據增強技術實現了訓練 數據規模高效擴充。2023年8月推出的MT-ACT模型將數據增強技術（基于SAM視覺模型）和動作序列生成技術結合，在7500個原始訓練數 據的情況下，在不同難度的測試中分別實現了81.67%、65.17%、31.33%的成功率，小規模數據表現優于其他可比模型。

將強化學習與MoE技術融合， Meta推出機器人控制模型新方案ASC。在2023年4月推出的ASC模型中，先通過強化學習分別對單一任務進 行訓練，再通過MoE技術實現不同技能模塊之間的有機協同，在模擬場景和兩個現實場景中分別實現了94.9%和96.7%/100%的成功率，并 且具備較強的抗干擾能力，能夠在環境變化的情況下自動調整完成相關任務的方式。通過將更強的OWL-ViT視覺模型與ASC模型結合，模 型可以根據文本描述來識別更為復雜的物體，有望在更廣泛的場景中處理更為復雜的任務。

Meta：機器人模型與谷歌有所差異。谷歌的技術路線在本系列第一篇中有詳細描述，而Meta目前工作中尚未將大模型與機器人控制所結合， 且相較谷歌嘗試利用大規模的數據集提升機器人模型的表現，Meta的相關工作更加關注如何基于小規模的數據，結合數據增強、人類視頻 數據預訓練等方式實現通用機器人控制模型的構建，即數據效率方面的提升。

微軟：結合自然語言能力，微軟提出面向機器人控制領域的新框架。2022年8月推出的機器人軌跡控制模型LATTE，可以識別用戶的自然 語言輸入調整機器人的運行軌跡。2023年2月發表文章 “ChatGPT for Robotics”，其核心在于通過大語言模型（ChatGPT）來處理用戶指 令，進而調用相應的機器人控制API來完成具體的任務。在演示中，經過進一步學習的ChatGPT模型在僅有自然語言輸入的情況下，可以控 制機器人利用不同顏色的方塊拼接出微軟Logo。