一个人搞自动告警的坑有哪些

我给自己配的第一条告警,在一个晚上响了十几次。第二天我把它关了,然后整整两周没再打开任何告警——一个人搞自动告警的坑,最贵的不是配错,是配到最后你不再信它。

一个人搞自动告警的坑:最贵的一课是告警失信

现象是手机一直在响,但你越看越不当回事。等到真出事那天,你照样是最后一个知道的。

我复盘下来,坑集中在三个地方。

坑一:把所有能测的都测了

现象是一天几十条通知,内容大多是「正常波动」。

原因是我把「能测」当成了「该测」。一人公司没有值班表,所有的注意力成本都压在我一个人身上,噪声的代价比大公司高得多。

怎么避:只报两类——对外服务不可用、定时任务该跑没跑。其他一律进日报。

具体动作:把现有告警项列出来,每项问一句「这条响了我会立刻动手吗」,答不会的直接降级。

坑二:只报故障,不报恢复

现象是响过一次之后,你永远不知道它好了没有,只能自己去查。

告警的完整寿命是「响了」加「好了」,缺一半就等于要你人工确认。

怎么避:每条告警配一条恢复通知。恢复了也发一句,比多发十条检查都有用。

具体动作:找出现在最烦的那条告警,先给它补上恢复通知。

坑三:告警发到你不常看的地方

现象是消息发到了某个很少打开的软件里,等于没发。

原因是我按「哪个方便接」来选通道,而不是按「我多久看一次」。发到不看的通道,坏处是有记录、没触达,你甚至会以为已经通知过了。

怎么避:发到你每天必定会打开的地方,一条通道就够。别搞多通道,多通道只会让你更难判断哪条是真的。

具体动作:定死一条通道,其他全关。

止损清单:告警系统该推翻重来的信号

  • 同一问题在一次循环里重复报超过三次,说明去重没做
  • 连续一周你都没点开过告警,说明它已经失信
  • 真出问题时你是从别处知道的,说明监测项选错了
  • 告警内容里没有「该做什么」,只说了「出事了」,说明设计时没想过要动手

顺带一句,涉及平台规则类的异常判断,别写死阈值,以平台官方口径为准。

常见问题

Q:一个人搞自动告警最容易犯什么错?

报得太多。一个人没有值班轮换,所有注意力都压在你自己身上,噪声会直接把你的信任耗光。

Q:告警应该发到哪里?

发到你每天必看的那一个地方。通道越多越容易漏,也越难判断优先级。

Q:告警响了没人处理怎么办?

说明这条本来就该降级。把「响了我会立刻动手吗」当筛选标准,答不会的移进日报。一个人搞自动告警的坑,说到底是没搞清「谁必须现在知道」。

相关阅读


本文作者西米,37 岁程序员,一个人加五个 AI 员工在跑一家公司。踩过的坑和真实账本都写在公众号「西米分享」。

完整代码、踩坑清单与最新进展,都在公众号。

📱 关注公众号「西米分享」