我们目前在我们的监控团队中使用了一个关键绩效指标(KPI) – 在我们的客户之前识别事件的百分比。 虽然这个关键绩效指标(KPI)提供了对监控系统核心性能的很好的了解,但我认为我们必须将其扩展到其他方面,比如虚假警报的数量或者监控系统的主动性。
有人可以从他的经验中分享 – 您使用哪些KPI来衡量您的监控系统性能? (以及如何收集这些数据)。
在我部署的系统中,KPI通常与业务目标相关,例如:
当我与高pipe会面时,我得到了最好的成功,我们就如何将他们的业务目标转化为关键业绩指标(KPI)达成一致意见,而不是首先把他们带到首位。 确保关键绩效指标涵盖了实现这些目标的员工的业务目标和有效性。 为此,跟踪这样的事情也是很好的:
对于报告,我发现最好是,如果你能完全自动显示/报告这些。 我已经使用了一个将特定服务的rrds / db查询集成到一个单独的rrd中的脚本,我们可以在“仪表板”中向NOC /pipe理人员显示。 高pipe们喜欢graphics和KPI随着时间的推移,帮助他们看到事情的performance。 我以前使用rrdtool / drraw来构build仪表板。 最近我已经开始使用OpenNMS来进行SLA报告,它有一些很好的function,使它们易于创build和执行消耗。 在某些环境中,我也发现从两个来源生成这样的报告非常有用,例如使用Gomez或Keynote报告。 这有助于保持人们的诚实,也增加了人们对报告的尊重。
您提到了虚假警报,这与KPI有关。 在我使用虚假警报的大多数团队中,要么是devise不当/实施的监控或监控的结果,而是显示人们认为“实际问题”的“门槛低于”的故障。 我很好奇你看到了什么样的虚假警报,为什么他们被允许在系统中坚持下去(如果testing失败是用户看不到的,那么应该在监视系统中设置为重试等)?
我认为仅仅使用网站性能数据来触发警报是很浪费的。 我们将我们的性能数据(使用真实的浏览器应用程序监控进行测量)与购物车放弃率和其他网站统计数据相匹配 – 目标是优化我们的整体用户体验。 这里的KPI显然是我们网站的整体转换率 。 当然,Tricky网站的performance只是其中的一个因素。