最近我在X平台上看到了许多关于GPT-6 Astra在电脑操作方面表现出色的讨论，尤其是它如何利用blender制作多种3D模型，实在让我感到惊艳。然而，我完全同意在当前阶段，要解决办公中的问题，除了编程能力，最重要的还是要掌握电脑和浏览器的操作能力，因为大部分白领的工作都依赖于电脑，而且现在许多网站和软件的开放程度仍然不足。因此，赋予智能助手在电脑上进行操作，以便获取更多上下文信息，帮助任务完成至关重要，简直就像是实现智能办公的最后一公里。

过去半个月里，我持续尝试改进智能助手的电脑操作能力。通过让Claude Code操控blender创建出巧克力甜甜圈模型，我想让大家感受一下它的实力。我们可以先来看一艘船的模型，这是同一天使用同一个技能制作的。我的指令非常简单：“请用codex生成多张高清、细节丰富的10万吨级邮轮照片，并利用技能操控Blender生成与照片极为相似的3D模型。”Claude Code首先生成了一张正侧视图，然后借助此图逐步生成右前45度、左后45度以及航拍俯视图，以确保四幅图展示的是同一艘船。接着，它根据照片的尺寸在Blender中编写了大约400行的参数化建模脚本，按照片像素对应米逐层定义层数以及船体结构，成功创建了具有真实感的各个细节，最后对四张图片进行了渲染，交付的时间是33分钟。对比图中，左侧是生成的照片，右侧是渲染结果。在8轮的参数迭代中，每轮预览仅需3到30秒，虽然差异依然明显，比如驾驶舱前端流线型外壳缺失、船尾阶梯露台栏杆没有制作等，这些都是Claude Code在完成汇报中列出的。

再来看甜甜圈模型，哪怕是面团上的气孔、油炸时浮出的油圈、巧克力的淋挂、三百颗随意颜色的糖针以及盘子上的碎屑和虚化的第二个甜甜圈，都是Claude Code自己构建的。最后，我还让它在Blender中设置了120帧的相机关键帧，生成了一条完整的动画。这就是它在Blender中的样子，右侧的物品列表中，数以百计的糖针就都是那些闪亮的细节。这个项目今天正式开源，名为huashu-mac-use，项目仓库链接是：https://github.com/alchaincyf/huashu-mac-use。任何可以读取技能的智能助手都能安装，包括Claude Code、Codex、Kimi Code、Cursor以及一些国内办公客户端，安装方法也很简单，只需将仓库链接告诉你的助手，并说：“帮我安装这个技能”即可。

接下来，我要详细解释它的工作原理，以及这半个月我们所经历的调整与探索。首先需要澄清的是，Astra的演示是通过模型一步步点击Blender的界面，而上面提到的两个案例则采用了不同的方法。Blender自带的Python接口和无头命令行功能，使得建模、材质、灯光和渲染都可以通过脚本实现，真正做到无鼠标操作，只有在最后打开GUI截图作为结果展示时才算是“应用操作”。这并非是投机取巧，而是这个技能的首要原则：能不看图就不看图，能不点鼠标就不点鼠标。

在撰写关于GPT-6 Astra的文章时我曾提到，模型的更新构成了我们的相对劣势，这句话现在我依旧坚信，但经过这半个月的实践，我意识到即便模型再强大，也需要有人来切实处理三件事情：首先是明确一个应用的切入点；其次是在工作过程中不干扰用户窗口；最后是每一步都留下可复现的证据。这个技能正是致力于这三方面的实现。

它具体是如何工作的呢？简单概括就是这三件事。首先是“探测”，在决定从哪里下手之前，智能助手会对目标应用进行初步探索。MacOS上的应用可以从四个层面进行操作：是否具备命令行或脚本接口、是否具备辅助功能树、窗口坐标是否可以点击，最后才是查看截图。越靠上层越简单稳妥，越靠下层则像人一样进行点击。因此，在动手前，这个技能首先会运行一段探测脚本，用30秒把应用的基本情况摸清楚。比如在处理邮轮模型时发现Blender没有接口，辅助功能树也是空的，但因为它内置Python接口，于是选择全部通过脚本完成，根本不需要点鼠标。这一条出自实践，第一天我因为没有探测就直接尝试，浪费了20分钟。

最大的问题是，不同内核的应用，其可操控方式完全不一样。我尝试过三个国内的AI办公客户端，都是基于Chromium的包装，优点是允许带有调试端口重启，能像操作网页一样进行控制，不会干扰焦点、不切换桌面，多个人工助手同时使用也不会冲突。而在使用豆包工作时，我因为误判为原生应用，进行了多次点击，直到第三天才发现它实际上隐藏了Chromium的底层架构，让我大为震惊。千问办公的使用也相当复杂，虽说辅助功能树中显示输入成功，但发送按钮却灰显，它的编辑器根本无法正常工作。