电子游戏已经成为如今现实世界的模拟舞台，展现出无限可能。以游戏《侠盗猎车手》（GTA）为例，在 GTA 的世界里，玩家可以以第一人称视角，在洛圣都（游戏虚拟城市）当中经历丰富多彩的生活。然而，既然人类玩家能够在洛圣都里尽情遨游完成若干任务，我们是否也能有一个 AI 视觉模型，操控 GTA 中的角色，成为执行任务的 “玩家” 呢？GTA 的 AI 玩家又是否能够扮演一个五星好市民，遵守交通规则，帮助警方抓捕罪犯，甚至做个热心肠的路人，帮助流浪汉找到合适的住所？

目前的视觉 - 语言模型（VLMs）在多模态感知和推理方面取得了实质性的进步，但它们往往基于较为简单的视觉问答（VQA）或者视觉标注（Caption）任务。这些任务设定显然无法使 VLM 真正完成现实世界当中的任务。因为实际任务不仅需要对于视觉信息的理解，更需要模型具有规划推理以及根据实时更新的环境信息做出反馈的能力。同时生成的规划也需要能够操纵环境中的实体来真实地完成任务。

尽管已有的语言模型（LLMs）能够根据所提供的信息进行任务规划，但其无法理解视觉输入，极大的限制了语言模型在执行现实世界的具体任务时的应用范围，尤其是对于一些具身智能任务，基于文本的输入往往很难详尽或过于复杂，从而使得语言模型无法从中高效地提取信息从而完成任务。而当前的语言模型对于程序生成已经进行了若干探索，但是根据视觉输入来生成结构化，可执行，且稳健的代码的探索还尚未深入。

为了解决如何使大模型具身智能化的问题，创建能够准确制定计划并执行命令的自主和情境感知系统，来自新加坡南洋理工大学，清华大学等的学者提出了 Octopus。Octopus 是一种基于视觉的可编程智能体，它的目的是通过视觉输入学习，理解真实世界，并以生成可执行代码的方式完成各种实际任务。通过在大量视觉输入和可执行代码的数据对的训练，Octopus学会了如何操控电子游戏的角色完成游戏任务，或者完成复杂的家务活动。