Мониторинг Linux-сервера: что отслеживать
Большинство проблем с сервером не возникают внезапно. Диск заполняется неделями, потребление памяти растёт днями, а сертификат истекает в определённый день. Проблема в том, что никто не смотрит. И первым сигналом становится звонок клиента: «у вас не открывается сайт».
Мониторинг означает, что сервер сам сообщает о проблеме до того, как что-то сломается. Хороший мониторинг не присылает вам сотни сообщений в день — только те, после которых нужно что-то сделать.
Что отслеживать
Доступность снаружи
Самый важный вопрос простой: открывается ли сайт? Проверять это нужно снаружи сервера, потому что если сервер упал, он сам об этом сообщить не сможет. Проверка запрашивает страницу каждые несколько минут и поднимает тревогу, если ответа нет или он приходит с кодом ошибки.
Проверяйте не только главную страницу, но и то, что важно для бизнеса: оформление заказа в интернет-магазине, вход в систему, отправку формы. Главная может отдаваться из кеша, даже когда база данных недоступна.
Место на диске
Заполненный диск — одна из самых частых причин, по которым сервер внезапно перестаёт работать. База данных не может записывать, логи не помещаются, резервная копия обрывается. Обычно диск заполняется не за ночь, а постепенно — из-за логов, резервных копий и загруженных файлов.
Хорошие пороги — предупреждение на 80% и тревога на 90%. Ещё лучше следить за скоростью роста: если при нынешнем темпе диск заполнится через две недели, это предупреждение уже сегодня.
Память и процессор
Кратковременный пик нагрузки на процессор — это нормально. Беспокоиться стоит, когда нагрузка долго остаётся высокой или когда потребление памяти постоянно растёт и никогда не снижается. Последнее часто указывает на утечку памяти в приложении, из-за которой в итоге система начинает завершать процессы.
Сервисы
Веб-сервер (Nginx или Apache), база данных (PostgreSQL, MySQL, MariaDB), сервер приложений, контейнеры Docker. Работают ли все нужные сервисы и поднялись ли они сами после перезагрузки?
Сертификаты и домен
Истёкший SSL-сертификат делает сайт в браузере бесполезным, даже если сервер работает. Автоматическое продление может незаметно сломаться. Следите за датой истечения и поднимайте тревогу минимум за две недели. То же касается домена.
Резервные копии
Мониторинг должен сообщать не только о том, что копия была сделана, но и о том, что у неё разумный размер и она дошла до места назначения. Копия, которая последние три месяца была пустым файлом, хуже, чем её отсутствие, потому что даёт ложное чувство безопасности. Почему резервную копию нужно проверять и восстановлением, подробнее в статье резервное копирование сервера и проверка восстановления.
Безопасность
Число неудачных попыток входа, пропущенные обновления безопасности, неожиданно открытые порты. Обычно это не требует немедленной реакции ночью, но должно попадать в ежедневный обзор.
Тревога или предупреждение?
Самая частая ошибка мониторинга — слишком много сообщений. Если телефон пищит двадцать раз в день, человек перестаёт читать уведомления и пропускает то единственное важное.
Поэтому делите сообщения на три группы:
- Тревога: сервис недоступен или станет недоступен в ближайшие часы. Нужны немедленные действия.
- Предупреждение: что-то движется в плохую сторону (диск на 80%, сертификат истекает через 14 дней). Заняться в рабочее время.
- Обзор: тренды и статистика. Смотреть раз в неделю.
Для каждой тревоги должно быть ясно, что делать. Если после тревоги никогда ничего делать не нужно, её следует удалить или превратить в предупреждение.
Автоматический мониторинг — не то же, что дежурный телефон
Важное различие, о котором стоит спросить при покупке услуги: автоматический мониторинг работает круглосуточно, но это не значит, что кто-то круглосуточно реагирует. Мониторинг заметит проблему в 3 часа ночи, но будет ли кто-то её исправлять в 3 часа, — вопрос договорённости.
В мой пакет администрирования входят автоматический круглосуточный мониторинг и оповещения. Сбои устраняются в рабочие дни, а время реакции прописано в договоре. Если компании нужно круглосуточное дежурство, договариваемся об этом отдельно. Так обеим сторонам ясно, чего ожидать. Что ещё входит в договор на администрирование, описано в статье обслуживание Linux-сервера.
Итог
Хороший мониторинг следит за доступностью снаружи, местом на диске, сервисами, сертификатами и резервными копиями и поднимает тревогу, только когда нужно действовать. Всё остальное идёт в предупреждения или в обзор.
Если на вашем сервере нет мониторинга или он сводит с ума оповещениями, посмотрите администрирование Linux-серверов или опишите свой сервер. Я налажу мониторинг и резервные копии и задокументирую, что отслеживается.
