告警太多不想看了怎么办
手机屏幕上排着一列红色小圆点，我一个都没点开。那阵子我甚至开始盼着它坏掉。告警太多不想看了怎么办，我把告警砍到只剩两条。
告警太多不想看了怎么办：不是清告警，是砍监测项
我一开始的做法是调阈值、改频率、加分组——折腾了一周，还是在响。
问题不在告警本身，在于我监测了太多本来就不该叫我起床的东西。判断标准只有一个：这条响了我会不会立刻放下手里的事。答不会的，就不该是告警。
坑一：把「想知道」当成「必须立刻知道」
现象是各种日报数据也走告警通道，一天下来十几条。
原因是我没区分「需要知道」和「需要立刻知道」。数据涨跌我早上看就行，服务挂了我必须马上知道。
这两类混在一条通道里，通道就废了。
怎么避：告警只留不可用和该跑没跑，其余进日报。日报你不看也没关系，告警不看会出事。
具体动作：把现有告警分成两堆，一堆是「立刻动手」，一堆是「有空看看」，第二堆全部移走。
坑二：同一件事重复报
现象是一个服务重启过程中，同一条告警连响五次。
重复报的坏处不是烦，是它会训练你忽略。三次之后你就形成了「这条又来了」的条件反射，真出问题时同样的通知你也跳过。
怎么避：加去重规则，同一问题在一次循环里只说一次。同时补一条恢复通知，让你知道它好了。
具体动作：这周只做一件事——给你最烦的那条告警加去重。
坑三：告警只说「出事了」，不说「怎么办」
现象是收到通知你知道坏了，但不知道下一步做什么，于是选择先放着。
告警的正文应该包含：哪里、什么时候、现在能做什么。没有第三项，你就是在给自己出题。
怎么避：每条告警写一句处置提示，哪怕只是「先看日志」或「先重启」。
具体动作：挑三条最常响的，给它们各补一句下一步。
止损清单：什么时候该清空重来
- 一整天收到超过十条，先别调阈值，直接砍监测项
- 连续一周没点开过任何告警，说明整套已经失信
- 真出问题时你是从别的地方知道的，说明该监测的没监测
- 涉及平台规则和审核结果的判断，不信历史阈值，以平台官方口径为准
常见问题
Q：告警太多不想看了怎么办？
先砍监测项，不要先调阈值。只保留「服务不可用」和「定时任务该跑没跑」两类，其余全部移进日报。
Q：一天几条告警算合理？
我的标准不是条数，是「每一条我都会立刻动手」。做不到这一条，哪怕一天一条也是多的。
Q：砍完之后会不会漏掉真问题？
漏掉的多半是「知道了也没用」的信息。真会带来损失的，通常就是那两类，砍不到它们身上。告警太多不想看了怎么办，答案不在告警，在你当初监测了什么。
相关阅读
本文作者西米，37 岁程序员，一个人加五个 AI 员工在跑一家公司。踩过的坑和真实账本都写在公众号「西米分享」。
完整代码、踩坑清单与最新进展，都在公众号。
📱 关注公众号「西米分享」