Справочник по сигналу и шуму в разработке

devnoize — практическое руководство о том, как сделать так, чтобы инженерные системы сообщали людям только то, что требует внимания. Логи, алерты, метрики, CI и рабочие уведомления рассматриваются с одной точки зрения: сколько в них сигнала и сколько шума.

Шум — это любое сообщение, которое отнимает внимание и не приводит к действию. Сработавший ночью алерт, после которого дежурный ничего не сделал. Тысяча строк лога, среди которых нужно найти одну. Красная сборка, которую перезапускают, не читая. Двадцать комментариев линтера в код-ревью, из которых важен один. По отдельности каждое такое сообщение стоит немного. Вместе они приучают людей не смотреть — и тогда пропускается то единственное сообщение, которое было важным.

Воронка: миллионы сырых событий сужаются до записей в логах, затем до уведомлений и до единичных действий человека — Каждый слой системы наблюдения — фильтр. Задача справочника — помочь настроить эти фильтры.

Разделы справочника

1. Что такое шумОпределения, цена ложных срабатываний и способы измерить шум в своей команде. 2. ЛогиУровни, структурированное логирование, семплинг и ротация. 3. АлертыСимптомы и причины, алерты от SLO, дедупликация и эскалация. 4. Метрики и дашбордыКардинальность меток, агрегаты и то, что мерить не нужно. 5. CI и нестабильные тестыОбнаружение, карантин и политика повторных запусков. 6. Уведомления и ревьюЛинтеры, автоформатирование, pre-commit и дайджесты.

Для кого этот справочник

Справочник написан для разработчиков, SRE и руководителей команд, которые отвечают за работающую систему, а не только за написанный код. Предполагается знакомство с основами: вы писали логи, настраивали хотя бы одно правило алерта и видели CI-конвейер изнутри. Специальные знания конкретных продуктов не нужны — примеры приводятся на распространённых открытых инструментах, но принципы переносятся на любые.

Разработчику пригодятся главы о логах и уведомлениях: что писать в лог, чтобы через полгода в нём можно было разобраться, и как убрать из ревью то, что может проверить машина.
Дежурному инженеру — главы об алертах и метриках: как добиться, чтобы каждый звонок ночью был оправдан.
Руководителю команды — вводная глава и чек-листы: как измерить шум и регулярно проводить ревизию.

Как читать

Главы можно читать в любом порядке, но вводная глава задаёт термины, на которые опираются остальные. Каждая глава заканчивается кратким итогом. Для быстрой работы есть таблица уровней логирования, чек-листы для ревизии и глоссарий.

Справочник не привязан к вендорам и не предлагает купить инструмент. Если совет требует конкретной программы, он приводится вместе с принципом, который за ним стоит, чтобы его можно было воспроизвести в другом окружении.