
过去我们在用大模型时,它顶多算个“高知聊天搭子”,你问它答,它帮你写代码、改文章。但随着 Anthropic 推出 Claude 3.5 Sonnet 的 Computer Use(计算机操作)功能,事情变了——大模型不仅能看懂屏幕,还能像人类一样移动鼠标、点击、输入文字、甚至截图反思。
这意味着,AI 正在从“生成内容”走向“执行动作”。今天我们就来拆解一下,智能体(Agent)到底是如何通过提示词规划,实现像人类一样操作电脑的?这背后的技术逻辑、提示词设计和实操踩坑点到底有哪些。
一、 核心原理:Claude 是怎么“看见”并“操作”电脑的?
很多人以为 Claude 内部运行了一个虚拟机,把整个 Windows 或 macOS 装了进去。其实不是。Computer Use 的本质是一个多模态闭环循环系统。
这个过程拆解下来,其实就是四个标准步骤:
1.截屏(Screenshot):系统定期(或按指令)对当前桌面进行截图,并把图片传给 Claude 3.5 Sonnet。
2.视觉解析(Vision):Claude 收到图片后,利用其强大的视觉能力,识别出屏幕上的元素(比如“提交”按钮在哪、输入框在什么位置)。
3.坐标映射(Coordinates):大模型通过输出特定的工具调用(Tool Use)指令,返回具体的动作和坐标,例如 `mouse_move(x=500, y=300)` 或 `left_click()`。
4.系统执行(Execution):底层的 API 环境接收到这些指令,转化为操作系统的实际键盘鼠标事件。
这里有一个关键事实:Claude 本身并没有手,它只是在看图说话,并输出结构化的操作坐标。 整个过程成败的关键,在于你给它的系统提示词(System Prompt)和工具定义是否足够精准。
二、 提示词工程:如何给 Claude 下达“桌面操作指令”?
普通的提示词是让大模型写一段文本,而 Computer Use 的提示词则是一套操作规范与安全边界。Anthropic 官方在开放这个功能时,并没有把提示词藏着掖着,其核心逻辑非常值得我们借鉴。
在实际配置中,一个合格的 Computer Use 系统提示词,通常包含以下几个核心模块:
你是一个运行在 Linux/Windows 环境中的桌面助手。你可以通过截图观察屏幕,并使用提供的工具来控制鼠标和键盘,以完成用户交办的任务。
【操作铁律】
1. 每次行动前,必须先观察最新的截图,确认当前界面状态。
2. 鼠标点击的坐标必须精确落在目标元素的中心区域。
3. 如果遇到弹窗、验证码或未预期的错误页面,严禁盲目点击,必须停止并向用户汇报。
4. 严禁执行任何删除系统文件、格式化磁盘或涉及敏感隐私的操作。
【可用工具集】
- screenshot(): 获取当前屏幕截图。
- mouse_move(x, y): 将鼠标移动到绝对坐标 (x, y)。
- left_click(): 在当前位置点击鼠标左键。
- type_text(text): 输入指定的文本内容。
- key_press(key): 按下某个功能键(如 Return、Tab)。
在编写这类提示词时,有几个参数和配置细节必须注意:
•Temperature(温度值)设置为 0:在计算机操作这种需要极高确定性的任务中,绝对不能让大模型发挥“创造力”。温度必须设为 0,确保每次输出的坐标和逻辑都是最稳妥的计算结果。
•分辨率对齐:截图的分辨率必须与模型理解的坐标系严格一致。如果你的屏幕是 1920×1080,但缩放比例不对,大模型计算出的坐标就会产生偏移,导致点错地方。
三、 实操工作流:构建一个自动化网页填表 Agent
光看理论没用,我们来看一个真实的业务场景:让 Claude 自动登录后台,提取数据并填写表格。
这是一个典型的多步骤闭环工作流(SOP):
[用户输入任务]
↓
[第1步:调用 screenshot 获取桌面]
↓
[第2步:Claude 视觉识别浏览器图标并点击]
↓
[第3步:截图确认浏览器已打开]
↓
[第4步:在地址栏输入网址并回车]
↓
[第5步:识别账号密码输入框并完成登录]
↓
[第6步:循环截图 -> 找数据 -> 复制 -> 填入目标表单]
在实际编写这个工作流的代码时,你需要用 Python 搭建一个持续循环的 Agent 框架。以下是核心的逻辑骨架:
import anthropic
client = anthropic.Anthropic()
def run_computer_agent(goal_prompt):
messages = [{"role": "user", "content": goal_prompt}]
while True:
response = client.beta.messages.create(
model="claude-3-5-sonnet-20241022",
max_tokens=1024,
temperature=0, # 必须为0保证稳定性
tools=[
{
"type": "computer_20241022",
"name": "computer",
"display_width_px": 1024,
"display_height_px": 768,
"display_number": 1,
}
],
messages=messages,
)
# 检查大模型是否完成了任务或需要调用工具
if response.stop_reason == "end_turn":
print("任务执行完毕。")
break
# 处理工具调用(截图、点击、输入等)
for content_block in response.content:
if content_block.type == "tool_use":
# 执行底层的操作系统控制代码
result = execute_os_action(content_block.input)
# 将操作结果和最新截图反馈给大模型
messages.append({"role": "assistant", "content": response.content})
messages.append(
{
"role": "user",
"content": [
{
"type": "tool_result",
"tool_use_id": content_block.id,
"content": result,
}
],
}
)
四、 主流大模型计算机操作能力横向对比
目前支持或在探索类似功能的模型并不少,但各家的侧重点和成熟度有明显差异。我们可以从以下几个维度进行横向对比:
| 评估维度 | Claude 3.5 Sonnet (Computer Use) | GPT-4o (结合视觉与第三方框架) | Gemini 1.5 Pro / 2.0 |
|---|---|---|---|
| 原生支持度 | 官方原生支持 Tool Use + 屏幕坐标映射,开箱即用。 | 需通过 API 结合 PyAutoGUI 等第三方库二次开发,非原生。 | 具备极强的长文本与视觉能力,但官方原生桌面代理生态仍在建设中。 |
| 视觉定位精度 | 高。对网页布局、UI 按钮的像素级识别准确率行业领先。 | 中高。依赖外挂截图工具,坐标换算有时会出现偏差。 | 高。长上下文能记住更长的操作历史步骤。 |
| 安全性与沙箱 | 严格。Anthropic 官方加入了多层安全护栏,防止恶意指令。 | 视开发者自己搭建的沙箱环境而定,风险把控成本高。 | 视具体的集成框架而定,多模态解析能力强。 |
| 实操落地门槛 | 较低。API 文档清晰,官方提供了标准的参考实现容器。 | 中等。需要自己写很多胶水代码来对齐鼠标和键盘事件。 | 中等。需要自己编写控制逻辑。 |
从目前的实际测试来看,如果你想快速落地一个能稳定点击屏幕的桌面 Agent,Claude 3.5 Sonnet 是当前最省心的选择。
五、 避坑指南:当前计算机操作 Agent 的致命局限
虽然听起来很酷,但在实际业务中部署这类智能体时,你必须清醒地认识到它的局限性,千万不要盲目上生产环境。
1.“迷路”与无限循环(Infinite Loop)
如果网页加载变慢,或者弹出一个广告遮挡了目标按钮,Claude 截图时发现找不到按钮,它可能会在原地反复点击同一个无效坐标,甚至不断刷新页面。对策:必须在代码层设置最大循环次数(比如单任务最多 30 步),并设定异常中断机制。
2.高昂的 Token 消耗
因为每一步操作都需要把一张甚至多张高清截图发给大模型,这会产生大量的视觉 Token。运行一个复杂的桌面任务,其 API 成本远高于普通的文本对话。对策:尽量裁剪截图尺寸,只保留操作区域,不要传全屏。
3.安全风险与权限过大
让 AI 控制鼠标键盘,等同于把电脑的控制权交出去了。如果提示词没有做好边界限制,大模型在处理“清理电脑垃圾”这种模糊指令时,可能会误删重要文件。对策:所有的计算机操作必须在独立的 Docker 沙箱或云端虚拟机(VM)中运行,绝对不能在本地主力办公电脑上直接跑。
把大模型当成一个“数字打工人”的时代已经真正开始了。掌握了坐标映射的提示词逻辑和安全沙箱的搭建方法,你就能用这套工作流帮你搞定那些枯燥、重复的桌面点击和数据搬运工作。

评论前必须登录!
立即登录 注册