Agent 是不是把提示词包装了一下
有个同行的产品演示我看过:界面很漂亮,点一下「生成市场分析」,进度条转十几秒,出来一份排版工整的报告。我让他把网络请求打开给我看,只有一次调用,前面挂了一段很长的提示词。
那次之后我被问过很多遍 Agent 是不是把提示词包装了一下,我的回答是:市面上相当一部分确实是,但真 Agent 有一个东西包装不出来——它拿到了真实的执行结果。
那一次,我为「Agent 是不是把提示词包装了一下」付了代价
最贵的一课不是花钱,是花时间。我按一个宣传里「全自动」的工具接进了工作流,跑了几天才发现它压根没连我的仓库,所有「已修改」都是文字描述。
现象是它每次都说得头头是道,但文件根本没变。原因是它本质上只有一次模型调用,输出的是「我建议这样改」,而不是「我改完了,这是 diff」。
怎么避:看它有没有把真实返回喂回去。要一份工具调用的记录,或者让它跑一个能立刻验证的动作。造不出来,就是套壳。
坑二:把「会调用工具」当成「会自己判断」
第二种更隐蔽。有些产品确实接了搜索、接了文件读写,但顺序是写死的:先搜、再读、再总结,一条直线走到底。
现象是你给它一个稍微绕一点的活,它就会在错误的步骤上死磕。原因是它没有「根据上一步结果决定下一步」的能力,流程是流程图,不是判断。
怎么避:给它一个需要中途改主意的任务试试。比如让它先看数据再决定要不要继续。真 Agent 会停,写死的不会。
坑三:记忆文件堆成了日志
我自己踩过这个。一开始我让 AI 把每次对话都记下来,两周一过,那份记忆文件长到我自己都不想看。
现象是它引用的全是旧信息,还理直气壮。原因是它分不清「事实」和「过程」,把流水账当成了知识。
怎么避:记忆文件只留会长期影响判断的东西——口径、禁忌、定价、谁负责什么。过程记在日志里,别混。具体该写哪些,我列在 AI 记忆文件里到底该写什么。
止损清单:三条线
- 验证线:任何声称能改文件的工具,第一次用就让它改一个无关紧要的文件,你自己去看改没改。改不了,立刻止损。
- 时间线:接一个工具进工作流,给自己定个观察期。观察期内没有一次真正替你省下返工的,就下线,别舍不得。
- 权限线:只读先跑,确认可靠再放写权限。反过来做的,几乎都会出事。
真 Agent 和套壳的差距,不在界面上,在于它有没有被真实结果打过脸。这也是我在 AI Agent 和普通 AI 对话的区别在哪 里最想强调的一点。
所以每次再被问到 Agent 是不是把提示词包装了一下,我都建议对方先要一份调用记录,比看一百页介绍都管用。
常见问题
Q:Agent 是不是把提示词包装了一下?
A:有一部分产品确实只是长提示词加好看的界面。判断方法看它有没有把工具的返回结果喂回给模型,没有就是包装。
Q:怎么快速分辨真 Agent 和套壳?
A:让它做一个能被立刻验证的动作,比如读一个文件里的内容。套壳给不出真实内容,只会描述。
Q:提示词写得好,是不是也能达到 Agent 的效果?
A:达不到。提示词再好也拿不到外部世界的反馈,缺的是那一步真实返回,不是措辞。
相关阅读
- AI Agent 和普通 AI 对话的区别在哪
- AI Agent 是什么,跟聊天有啥区别
- 一个人用 Agent 和聊天机器人的区别
- 我把对话改成 Agent 之后的变化
- 新手用 AI Agent 从哪一步开始
本文作者西米,37 岁程序员,一个人加五个 AI 员工在跑一家公司。踩过的坑和真实账本都写在公众号「西米分享」。
完整代码、踩坑清单与最新进展,都在公众号。
📱 关注公众号「西米分享」