Troubleshooting: расследование инцидентов

«Методология важнее инструментов»

• Какие сервисы затронуты?
• Какие пользователи?
• Какие регионы?

• Когда началось?
• Какие изменения были (деплои, конфиги)?
• Когда обнаружили?

• Latency — выросла ли задержка?
• Traffic — изменился ли трафик?
• Errors — вырос ли error rate?
• Saturation — хватает ли ресурсов?

• Что изменилось перед инцидентом?
• Какие зависимости у сервиса?

• Что пошло не так?
• Как предотвратить в будущем?
• Какие алерты добавить?

1. Scope — какие сервисы/пользователи затронуты.
2. Timeline — хронология событий.
3. Golden signals — Latency, Traffic, Errors, Saturation.
4. Корреляция — метрики + логи.
5. Post-mortem — выводы и действия.