AI编程助手真实评测,我用四个跑同一个需求

我给四个 AI 编程助手下了同一道题:一个能跑的登录接口,带参数校验和错误返回。 我没测跑分,我看的是它们各自在哪一步停下来。AI编程助手真实评测的差别,几乎全在这些停下来的地方。

一张表:四个助手在我的活上表现如何

| 维度 | 助手 A | 助手 B | 助手 C | 助手 D |

|------|--------|--------|--------|--------|

| 一次给全文件 | 是 | 是 | 只给片段 | 是 |

| 边界条件 | 基本都写 | 漏一处 | 漏得多 | 基本都写 |

| 会不会问你 | 很少问 | 会反问 | 很少问 | 会反问 |

| 改到第三轮 | 还稳定 | 开始丢上下文 | 前后矛盾 | 还稳定 |

| 我那天的实际耗时 | 最短 | 中等 | 最长 | 中等 |

最后一行不是跑分,是我自己的体感。 同一道题,耗时能差出一截,差的就是反复补漏的轮次。

AI编程助手真实评测,差距主要在三处

第一处:边界条件。 空值、超长输入、重复提交,这类东西写不写,直接决定你后面要补多少。

第二处:上下文记忆。 到第三轮修改时,有的助手还记得前面定过的命名和结构,有的已经开始自己发明新的。

第三处:会不会反问。 反问的助手看起来慢,但它把「需求里没写清的部分」提前暴露了,反而省时间。

我后来越来越看重第三处。 一个会问「这里的失败要不要记日志」的助手,比一个默默猜的助手值钱。

跟我踩过的业务逻辑坑对上

我复盘过 AI 写业务逻辑总漏的原因,写在 AI 写业务逻辑为什么总漏,我找到 3 个原因。

那次结论在这次测试里又验证了一遍:漏的从来不是语法,是那些「文档里没写但业务上必须有」的分支。

四个助手在这件事上的表现差异,比它们在写循环和函数上的差异大得多。

我怎么选的

我最后留了两个,不是因为它们排名高,是因为它们的分工不重叠。

一个用来从零起结构,它一次给全文件、命名统一,省掉最早的骨架时间。

一个用来改和审,它话多、爱反问,适合在我拿不准的地方挑刺。

两个都是月付,随时能换。这个决策逻辑我写在 AI工具按年付还是月付划算,我按用量算。

顺带说一句,这四个我都是先用免费额度跑的,够不够用看 AI工具先用免费版够不够,我拿两个月的活试。

所以AI编程助手真实评测该看什么,我的答案是看它在哪一步停下来。

常见问题

Q:AI编程助手真实评测里最该看什么?

A:看它在你真实项目里的边界条件写得全不全,以及改到第三轮时上下文还稳不稳。

Q:几个AI编程助手差别大吗?

A:在简单函数上差别不大;在有历史包袱、有隐含业务规则的项目里差别很明显。

Q:需要同时订阅多个吗?

A:不一定。如果两个工具的分工确实不重叠,可以各留一个;否则留一个就够,先月付。

相关阅读


本文作者西米,37 岁程序员,一个人加五个 AI 员工在跑一家公司。踩过的坑和真实账本都写在公众号「西米分享」。

完整代码、踩坑清单与最新进展,都在公众号。

📱 关注公众号「西米分享」