Строим систему мониторинга, сбора логов и алертинга для домашней инфраструктуры с несколькими серверами

Habr ·

Строим систему мониторинга, сбора логов и алертинга для домашней инфраструктуры с несколькими серве…

В предыдущих статьях я уже рассказывал о своей домашней инфраструктуре ServeHub-2 . Это проект, который позволяет развернуть окружение из двух серверов: VPS и домашнего сервера, объединённых в общую закрытую сеть. У каждого узла своя роль. Edge (VPS) отвечает за сетевую инфраструктуру, DNS-фильтрацию, мониторинг и служебные компоненты. Workload (домашний сервер) используется для размещения пользовательских приложений, баз данных и личных файлов. Далее я буду использовать названия Edge и Workload для обозначения этих серверов. Когда инфраструктура состоит из нескольких серверов и множества контейнеров, проверять каждый узел вручную становится неудобно. Для диагностики приходится подключаться по SSH, проверять состояние контейнеров и просматривать журналы. Кроме того, ручная диагностика ненадёжна: можно легко пропустить кратковременные сбои. Поэтому я решил собрать единую систему наблюдения, которая собирает метрики с обоих серверов, централизованно хранит Docker-логи, проверяет доступность основных сервисов и отправляет уведомления о проблемах. В этой статье разберу архитектуру своего решения, роль каждого компонента, конфигурацию Prometheus и Grafana Alloy, сбор логов в Loki, правила алертинга и доставку уведомлений в Telegram. Читать далее

Источник: Habr