Мониторинг
Функционал мониторинга доступен при установке в системе модуля «САКУРА». Функционал обеспечивает опрос сетевых элементов (оборудования) по ICMP и SNMP, снятие основных метрик с оборудования и формирование аварийных событий на основе заранее сконфигурированных правил обнаружения проблемы. Аварийные события затем можно сгруппировать и привязать к инциденту. Обобщённо взаимодействие сущностей модуля мониторинга представлено на рисунке:
Для того чтобы запустить мониторинг оборудования, необходимо выполнить следующие шаги:
Шаг 1. Назначение шаблонов мониторинга
На карточке оборудования навесить на оборудование шаблоны мониторинга.
В базовом варианте доступны шаблоны:
| Шаблон | Описание |
|---|---|
| not monitor | Оборудование не будет мониториться |
| ping | Опрос по ICMP (ping) |
| snmp v1 32 bit counter | Опрос по SNMP v1. Порты имеют 32-битные счётчики. Используется ifDescr |
| snmp v2 64 bit counter | Опрос по SNMP v2. Порты имеют 64-битные счётчики. Используется ifAlias |
После активации шаблонов сетевой элемент начнёт опрашиваться в течение часа. Будут опрошены все порты, сформируется база алертов. В базовом варианте на каждый порт будут сформированы алерты:
| Название | Параметр мониторинга | Опрос, сек | Триггер | Название триггера | Срочность |
|---|---|---|---|---|---|
| Опрос статуса интерфейса up/down | ifOperStatus |
60 | Если 2 последних значения = down (2) | Interface {#IFNAME} is down | Average |
| Опрос ошибок физической среды на приёме | ifInErrors |
120 | Если за 10 минут возникло более 10 ошибок | Interface {#IFNAME} ingress error threshold crossed | Warning |
| Опрос ошибок физической среды при передаче | ifOutErrors |
120 | Если за 10 минут возникло более 10 ошибок | Interface {#IFNAME} egress error threshold crossed | Warning |
| Отброшенные входные пакеты | ifInDiscards |
120 | Если процент отброшенных пакетов за 15 минут > 1% | Interface {#IFNAME} ingress discard threshold crossed | Warning |
Шаг 2. Привязка триггеров
К оборудованию привязываются триггеры. То есть определяются алерты (аварийные состояния), за которыми нужно следить. Если коммутатор имеет 24 порта, а следить нужно только за четырьмя портами, то нужно активировать триггеры, связанные с этими интересующими нас портами. Остальные алерты, хоть и будут срабатывать, но не будут мешать слежению за нужными портами.
Просмотр сетевых элементов с навешенными триггерами доступен в разделе «Мониторинг» → «Триггеры». Пример отображения триггеров:
В этом разделе приводится сводная информация по всем триггерам в системе. Около каждого триггера обозначен его текущий статус (OK или PROBLEM). Если есть связка триггера с инцидентом — она приведена справа. Каждый триггер может быть привязан только к одному инциденту. Голубая круглая кнопка «+», расположенная справа, предназначена для добавления выделенных триггеров к открытому инциденту. Более подробно этот процесс будет описан далее.
Просмотр событий
После постановки оборудования на мониторинг и активации триггеров СМАРТС-ТУЛС начнёт следить за состоянием выбранных триггеров. Как только модуль alertmanager из системы Prometheus зафиксирует аварийную ситуацию, значение триггера в СМАРТС-ТУЛС изменится. Для онлайн-просмотра аварий служит раздел «Мониторинг» → «События».
Сверху на странице расположена панель-фильтр, которая позволяет следить только за определёнными единицами оборудования. Доступна фильтрация по собственнику, по функционалу, по населённому пункту, по типу оборудования.
Ниже фильтра идут три таблицы состояний.
Первая таблица — это список новых триггеров. В примере выше — это 4 триггера по одному и тому же коммутатору в Похвистнево. Если в этой таблице есть хотя бы одна строка (то есть новые, необработанные события), на странице включается звуковой сигнал. Звук можно отключить на вкладке браузера. Появление записей в этой таблице говорит о том, что произошла авария и необходимо что-то с этим делать. Можно просто подтвердить событие без открытия инцидента, можно открыть инцидент или привязать эти события к уже открытому инциденту. Для того чтобы сделать любое из этих действий, необходимо активировать галочки у триггеров справа (1).
При этом обновление страницы остановится, чтобы не стереть активированные галочки. После этого есть возможность просто подтвердить событие (2). При подтверждении события мы как бы говорим: «О проблеме знаю, это не авария». При подтверждении события откроется модальное окно, в котором можно вписать любой комментарий и нажать кнопку «Подтвердить». Подтверждённые события перенесутся в третью нижнюю таблицу и исчезнут из первой аварийной таблицы.
Также есть возможность нажать на кнопку (3), осуществляющую привязку событий к инциденту. В открывшемся модальном окне можно создать новый инцидент (1) или привязать триггеры к инцидентам, находящимся в статусе «Активный» (2). После этого события пропадут из первой таблицы неразобранных событий. В инциденте триггеры будут записаны в раздел «Ресурсы сети».
Вторая таблица страницы мониторинга представляет собой список активных инцидентов. Справа показано количество триггеров, связанных с этим инцидентом. Зелёным цветом — количество триггеров, которые уже имеют нормальный статус. Красным — количество триггеров, которые ещё имеют аварийное состояние. Если в каком-либо инциденте все триггеры уже имеют нормальный статус — проблему пора закрывать. При закрытии инцидента триггеры будут отвязаны от инцидента. И если какой-то триггер снова станет проблемным, он появится в первой таблице страницы мониторинга событий.