Серверы

Мониторинг Linux-сервера: что отслеживать

Большинство проблем с сервером не возникают внезапно. Диск заполняется неделями, потребление памяти растёт днями, а сертификат истекает в определённый день. Проблема в том, что никто не смотрит. И первым сигналом становится звонок клиента: «у вас не открывается сайт».

Мониторинг означает, что сервер сам сообщает о проблеме до того, как что-то сломается. Хороший мониторинг не присылает вам сотни сообщений в день — только те, после которых нужно что-то сделать.

Что отслеживать

Доступность снаружи

Самый важный вопрос простой: открывается ли сайт? Проверять это нужно снаружи сервера, потому что если сервер упал, он сам об этом сообщить не сможет. Проверка запрашивает страницу каждые несколько минут и поднимает тревогу, если ответа нет или он приходит с кодом ошибки.

Проверяйте не только главную страницу, но и то, что важно для бизнеса: оформление заказа в интернет-магазине, вход в систему, отправку формы. Главная может отдаваться из кеша, даже когда база данных недоступна.

Место на диске

Заполненный диск — одна из самых частых причин, по которым сервер внезапно перестаёт работать. База данных не может записывать, логи не помещаются, резервная копия обрывается. Обычно диск заполняется не за ночь, а постепенно — из-за логов, резервных копий и загруженных файлов.

Хорошие пороги — предупреждение на 80% и тревога на 90%. Ещё лучше следить за скоростью роста: если при нынешнем темпе диск заполнится через две недели, это предупреждение уже сегодня.

Память и процессор

Кратковременный пик нагрузки на процессор — это нормально. Беспокоиться стоит, когда нагрузка долго остаётся высокой или когда потребление памяти постоянно растёт и никогда не снижается. Последнее часто указывает на утечку памяти в приложении, из-за которой в итоге система начинает завершать процессы.

Сервисы

Веб-сервер (Nginx или Apache), база данных (PostgreSQL, MySQL, MariaDB), сервер приложений, контейнеры Docker. Работают ли все нужные сервисы и поднялись ли они сами после перезагрузки?

Сертификаты и домен

Истёкший SSL-сертификат делает сайт в браузере бесполезным, даже если сервер работает. Автоматическое продление может незаметно сломаться. Следите за датой истечения и поднимайте тревогу минимум за две недели. То же касается домена.

Резервные копии

Мониторинг должен сообщать не только о том, что копия была сделана, но и о том, что у неё разумный размер и она дошла до места назначения. Копия, которая последние три месяца была пустым файлом, хуже, чем её отсутствие, потому что даёт ложное чувство безопасности. Почему резервную копию нужно проверять и восстановлением, подробнее в статье резервное копирование сервера и проверка восстановления.

Безопасность

Число неудачных попыток входа, пропущенные обновления безопасности, неожиданно открытые порты. Обычно это не требует немедленной реакции ночью, но должно попадать в ежедневный обзор.

Тревога или предупреждение?

Самая частая ошибка мониторинга — слишком много сообщений. Если телефон пищит двадцать раз в день, человек перестаёт читать уведомления и пропускает то единственное важное.

Поэтому делите сообщения на три группы:

  • Тревога: сервис недоступен или станет недоступен в ближайшие часы. Нужны немедленные действия.
  • Предупреждение: что-то движется в плохую сторону (диск на 80%, сертификат истекает через 14 дней). Заняться в рабочее время.
  • Обзор: тренды и статистика. Смотреть раз в неделю.

Для каждой тревоги должно быть ясно, что делать. Если после тревоги никогда ничего делать не нужно, её следует удалить или превратить в предупреждение.

Автоматический мониторинг — не то же, что дежурный телефон

Важное различие, о котором стоит спросить при покупке услуги: автоматический мониторинг работает круглосуточно, но это не значит, что кто-то круглосуточно реагирует. Мониторинг заметит проблему в 3 часа ночи, но будет ли кто-то её исправлять в 3 часа, — вопрос договорённости.

В мой пакет администрирования входят автоматический круглосуточный мониторинг и оповещения. Сбои устраняются в рабочие дни, а время реакции прописано в договоре. Если компании нужно круглосуточное дежурство, договариваемся об этом отдельно. Так обеим сторонам ясно, чего ожидать. Что ещё входит в договор на администрирование, описано в статье обслуживание Linux-сервера.

Итог

Хороший мониторинг следит за доступностью снаружи, местом на диске, сервисами, сертификатами и резервными копиями и поднимает тревогу, только когда нужно действовать. Всё остальное идёт в предупреждения или в обзор.

Если на вашем сервере нет мониторинга или он сводит с ума оповещениями, посмотрите администрирование Linux-серверов или опишите свой сервер. Я налажу мониторинг и резервные копии и задокументирую, что отслеживается.

Читайте также

Связанные услуги

Кто следит за вашим сервером?

Установка, обновления, резервные копии и мониторинг — Linux-сервер, за которым стоит человек, которому можно позвонить.