Key Takeaway
用AI操作iPhone的核心难点不是技术连接，而是国内App的检测：微信等App会主动识别AI操作并闪退甚至影响账号，所以常规接入方案行不通。
目前最稳妥的方案是硬件外设模拟（NanoKVM Go）：通过USB-C连接iPhone，用外接显示+鼠标键盘输入的方式操作。对iPhone来说这只是官方支持的外设，App无法识别为AI，再通过MCP让Codex等Agent控制。
真正的瓶颈在Agent的操作能力：需要完成“看画面→判断UI→执行操作→再验证”的闭环。官方MCP初期很慢，作者已做批量操作、减少截图等优化并开源强化版MCP。Computer Use之后，iPhone Use是必然趋势。
对咱们中国人来说，有一个刚需一直没有被满足：用AI操作iPhone。
这里边的难点，其实并不是把iPhone跟你电脑上的AI连在一起，而是国内的App不允许AI接入。
国内那些App，它们会自动检测，判断是人在操作，还是AI在操作。一旦发现有风险，就会自动闪退，甚至可能对你的账号造成一些不可描述的影响。
这个话题之前我在星球里说过。比如微信，一旦放开AI接入，整个生态就完蛋了。所以它们是绝对不会允许别家AI进来的。要接也只能接自家的。
那么，经过这段时间的尝试，我发现，目前比较稳妥的方式，是“硬件外设模拟”。比如我正在测试的NanoKVM Go。
你看，这个小盒子有两个USB-C口：一个供电，一个跟iPhone连接。把它连上WiFi之后，你在电脑上打开网页，就能看到iPhone的屏幕了。这个时候，你在电脑上的操作，iPhone那边会同步。
那么，怎么让AI操作呢？
很简单，通过MCP。官方知道有这个需求，于是他们做了MCP。把链接发给Agent，比如Codex，让它自己完成配置。然后，你的iPhone就是AI的iPhone了。
你看，现在是Codex在操作微信。我让它总结群里的聊天内容。它会用鼠标做出滑动的操作，一屏一屏看过去，然后把识别到的信息都记下来。
有了这套东西，iPhone就向Agent彻底敞开大门了。那么，它究竟是什么原理，能够避开App的检查？
在显示方面，iPhone里边本来就有外接显示能力。NanoKVM Go只需要接收视频信号，再通过网络把画面传给控制端就可以了。
在控制方面，iPhone的辅助触控支持鼠标之类的设备。所以，NanoKVM Go把操作转换成iPhone能够接收的外设输入。那站在iPhone的角度来看，就相当于接入了键盘和鼠标，一切就完全符合规定了。
我觉得，这种硬件方案是最稳妥的。因为外接显示和接入外设本来就是官方系统支持的。没有任何歪门邪道的搞法。所以国产App也挑不出什么刺来。
不过，这个解决方案也有短板，就是它非常考验Agent能力。因为Agent至少要做这四个步骤：
第一，获取当前手机的画面。
第二，判断按钮、输入框和页面的状态。
第三，点击、拖动或者键盘输入。
第四，再次查看画面，检查操作结果。
这里边需要多模态，需要操作工具，等等。说实话，我刚开始用官方MCP的时候发现，Codex执行速度非常非常慢。我让它做了好多轮优化，才把速度提上来。
你看，最开始的时候，一次操作加截图需要10秒钟。这肯定是无法忍受的。于是我把模型开到Ultra，让Codex自己研究怎么优化。比如，可以增加批量操作，这样就不用每动一下就想一下。以及，也不需要每次都截图。因为截图、识别都很费时间。
在这个过程中，我甚至还让Codex判断是否需要使用Jev模型。它测试之后发现，收益有限。最根本的，还是得自己去优化操作的逻辑。
我把目前所有的优化都封装进MCP里，公开发布到GitHub上。大家可以直接搜，或者去我的知识星球newtype里获取链接。这个算是对官方MCP的强化。后续如果还有优化，我也会更新仓库。
今天，AI已经可以随意操控电脑了。Computer Use之后，下一步一定是iPhone Use，让AI也能操控手机。这就是大趋势，不是哪个厂商能阻挡的。
当这一步也成熟之后，AI就彻底融入甚至接管大部分场景了。到哪个时候，很多格局都会发生变化。我是非常期待的。
OK，以上就是本期内容。想了解AI，想夺回个体主权，想找到志同道合的人，就来newtype社群。那咱们下期见！