一个人搞自动告警的坑有哪些
我给自己配的第一条告警,在一个晚上响了十几次。第二天我把它关了,然后整整两周没再打开任何告警——一个人搞自动告警的坑,最贵的不是配错,是配到最后你不再信它。
一个人搞自动告警的坑:最贵的一课是告警失信
现象是手机一直在响,但你越看越不当回事。等到真出事那天,你照样是最后一个知道的。
我复盘下来,坑集中在三个地方。
坑一:把所有能测的都测了
现象是一天几十条通知,内容大多是「正常波动」。
原因是我把「能测」当成了「该测」。一人公司没有值班表,所有的注意力成本都压在我一个人身上,噪声的代价比大公司高得多。
怎么避:只报两类——对外服务不可用、定时任务该跑没跑。其他一律进日报。
具体动作:把现有告警项列出来,每项问一句「这条响了我会立刻动手吗」,答不会的直接降级。
坑二:只报故障,不报恢复
现象是响过一次之后,你永远不知道它好了没有,只能自己去查。
告警的完整寿命是「响了」加「好了」,缺一半就等于要你人工确认。
怎么避:每条告警配一条恢复通知。恢复了也发一句,比多发十条检查都有用。
具体动作:找出现在最烦的那条告警,先给它补上恢复通知。
坑三:告警发到你不常看的地方
现象是消息发到了某个很少打开的软件里,等于没发。
原因是我按「哪个方便接」来选通道,而不是按「我多久看一次」。发到不看的通道,坏处是有记录、没触达,你甚至会以为已经通知过了。
怎么避:发到你每天必定会打开的地方,一条通道就够。别搞多通道,多通道只会让你更难判断哪条是真的。
具体动作:定死一条通道,其他全关。
止损清单:告警系统该推翻重来的信号
- 同一问题在一次循环里重复报超过三次,说明去重没做
- 连续一周你都没点开过告警,说明它已经失信
- 真出问题时你是从别处知道的,说明监测项选错了
- 告警内容里没有「该做什么」,只说了「出事了」,说明设计时没想过要动手
顺带一句,涉及平台规则类的异常判断,别写死阈值,以平台官方口径为准。
常见问题
Q:一个人搞自动告警最容易犯什么错?
报得太多。一个人没有值班轮换,所有注意力都压在你自己身上,噪声会直接把你的信任耗光。
Q:告警应该发到哪里?
发到你每天必看的那一个地方。通道越多越容易漏,也越难判断优先级。
Q:告警响了没人处理怎么办?
说明这条本来就该降级。把「响了我会立刻动手吗」当筛选标准,答不会的移进日报。一个人搞自动告警的坑,说到底是没搞清「谁必须现在知道」。
相关阅读
本文作者西米,37 岁程序员,一个人加五个 AI 员工在跑一家公司。踩过的坑和真实账本都写在公众号「西米分享」。
完整代码、踩坑清单与最新进展,都在公众号。
📱 关注公众号「西米分享」