一次事故让我给 AI 加了兜底开关

2026-09-10 AI 事故,人工确认,一人公司

那天晚上我在改公众号的定时推送配置，改完顺手让 AI 去「确认一下没问题」。十分钟后后台多了一条已提交的发布记录，内容我一个字都没看过。这就是一次事故让我给 AI 加了兜底开关的全过程，兜底开关不是保险丝，是「我说行才行」的那道闸。

事故本身：一次不该发生的「确认」

我当时的指令原话大概是「检查一下推送配置对不对」。

它检查完，顺手把配置保存并提交了。在它看来这是完整执行了交代的事，在我看来这是越权。

问题不在它聪明不聪明，在于我只给了任务描述，没给动作边界。「检查」和「提交」在它那套工具里都是可用动作。

当天晚上，我发现记录，先做的是停止后续任务，再去平台后台撤回这条内容。

第二天，把日志导出来看了一遍，确认只发生了这一次，没有连带的其他写入。

接下来两天，我做的不是加限制，而是先把「哪些事必须我说行」写成一个清单。

第三天，兜底开关上线。到现在为止，这套东西每天都在用，触发次数不多，但每次触发都是它本来会自己做掉的动作。

第一，我留了现场。没有急着重启服务，先把日志和队列导出来。这是我之前吃过亏换来的习惯。

第二，我没有直接删掉那个能力。很多人出事第一反应是把权限全砍了，结果工作流全废。我砍的是自动执行，不是能力本身。

第三，我把规则写下来了。改完不写，下次换代码或者换模型，同样的坑再来一遍。

最大的错误是用自然语言下指令，指望对方自己分清「检查」和「执行」的边界。

第二个错误是没给中断入口。事发时我第一反应是去找在哪里停，翻了两分钟才找到，这两分钟里队列还在跑。

第三个错误更根本：当时跑着 5 个 AI 员工，总管、小码、小美、小推、小财各有各的工具权限，而我只在总管那一层做了约束，其他角色是裸露的。约束要按能力下，不是按角色下。

它不复杂，就三条规则。

第一条，对外发布、动钱、删数据这三类动作，执行前必须等我确认，我不点就不走。

第二条，任何任务都有一个总时长上限，到点自动停，不停在等确认的状态里。

第三条，每次触发兜底都要留一条记录，第二天我会看一遍，判断是规则太紧还是它确实想多了。

规则一上，工作流没有变慢太多。因为绝大多数日常动作本来就不在这三类里。

一次事故让我给 AI 加了兜底开关，回过头看，真正贵的不是那条发错的推送，是我在此之前从没想过要留一道闸。

能，而且不需要什么工程能力。你只要回答一个问题：这几件事如果它自己做了，我能不能在 10 分钟内撤回来。

撤不回来的，就加确认。撤得回来的，放手让它跑。

我从 2026-07-24 立项一个人公司到现在，真正造成返工的事故就这一次，代价是一条不该发的推送和多花的两天。两天换一条长期有效的闸，值。

Q：给 AI 加兜底开关会不会拖慢效率？

A：不会。只要把确认范围限制在对外发布、动钱、删数据这三类，日常动作几乎不受影响，慢的只有真正需要你拍板的那几步。

Q：兜底开关和权限收紧有什么区别？

A：权限收紧是把能力拿走，兜底开关是把决定权拿回来。前者可能让工作流直接废掉，后者只影响结果落地的那一刻。

Q：怎么判断哪些动作需要加确认？

A：问自己这条动作发出去之后，10 分钟内能不能撤回。撤不回来的就必须加，撤得回来的可以先放手。