近日，李学龙教授团队在大模型驱动多智能体协作方面取得重大进展，实现了大模型对无人机集群、机器狗、机械臂的真机协同控制。该成果展示了大模型在智能体控制方面的能力，也为智能无人系统的研究提供了无限可能。

在人工智能领域，大模型控制智能体是大势所趋。

智能体赋予大模型物理实体，使其具备与真实物理世界感知交互的能力。同时，借助于大模型，智能体能够获得更强大的感知、决策和执行能力，使其具备更高的自主性和适应性。

这项研究能够推动机器人和自动化行业的发展，从而创造出更多的就业机会和经济增长。

在此背景下，李学龙团队提出了一种大模型驱动的异构智能体协同控制算法框架，利用大模型调度多种智能体自主协作，实现了「机器人总动员」。

所提框架可将一个跨场景、跨智能体的复杂任务，通过语义任务解析拆分成异构智能体协同执行的多个子任务，然后通过无人机集群、机器狗、机械臂的联合控制，共同完成指定任务，具备高层语义理解能力、自身技能认知能力和复杂任务执行能力。

懂所思、知所能、行所意 ， 是大模型驱动多智能体协作的主要能力。

懂所思：高层语义理解能力

如何充分发挥大模型的语义理解能力，让无人机、机器狗、机械臂等人造智能体能够根据输入的自然语言分工合作，是智能体在现实场景中执行复杂任务的前提条件。

针对该问题，团队利用国产大模型作为语义理解底座，以无人机集群、机器狗、机械臂三种异构智能体作为协同控制平台，设计了融合环境信息与自身状态的多模态大模型交互框架，实现了对任务理解、硬件控制、协调合作等复杂需求的语义解析。