netdata

Introduction

Netdata-это инструмент с открытым исходным кодом, предназначенный для сбора показателей в реальном времени, таких как:

• загрузка процессора
• активность диска
• использование полосы пропускания
• посещение веб-сайтов

и так далее, а затем отображения их в легко интерпретируемых диаграммах обновляющихся в реальном времени.

Инструмент предназначен для визуализации деятельности в максимально возможной детализации, позволяя пользователю получить общее представление о том, что происходит и что только что произошло в его системе или приложении.

Я стал использовать netdata как более продвинутую альтернативу своему самописному скрипту для мониторинга потребления CPU и RAM

Обзор

Netdata состоит из демона, который при выполнении отвечает за сбор и отображение информации в режиме реального времени.

Это легкий инструмент, в основном написанный на C , Python и JavaScript , который использует минимальные ресурсы: около 2% на однопроцессорной системе.

Он может быть запущен в любом ядре GNU / Linux для мониторинга любой системы или приложения и способен работать на ПК, серверах и встроенных устройствах Linux.

Особенности

Netdata предназначена для установки в систему, не прерывая ни одного из запущенных на ней приложений.

Он работает в соответствии с требованиями к памяти, указанными пользователем, используя только холостые циклы процессора.

Как только приложение запустится, оно не будет выполнять дисковый ввод-вывод, кроме ведения журнала. Инструмент сохраняется на диск в конце своего выполнения и перезагружается при запуске.

По умолчанию он содержит определенные плагины, которые собирают ключевые системные метрики, но его поведение расширяется с помощью API плагинов.

Netdata может работать практически на любом устройстве, использующем ядро Linux, а его графика может быть встроена в веб-страницы.

Он имеет интерфейс с настраиваемыми темами и может быть настроен пользователем вручную с помощью простого HTML.

Здесь нет никаких зависимостей, так как он работает как собственный веб-сервер со статическими веб-файлами.

Начиная с версии v1.12, Netdata по умолчанию собирает анонимную информацию об использовании и отправляет ее в Google Analytics, функцию, которую можно отключить с помощью ручной настройки.

Разработка

В настоящее время Netdata поддерживается почти 400 участниками, которые помогают (на различных уровнях) обслуживать тысячи отдельных пользователей и компаний, использующих этот инструмент.

Пользователь с наибольшим вкладом в настоящее время является Коста Цаусисом (Costa Tsaousis), генеральным директором и основателем Netdata, с более чем 600 000 добавлениями к коду.

Второй по активности пользователь - Илья Мащенко.

Самым популярным дополнением к Netdata, по-видимому, является добавление поддержки сбора данных из Vnstat, pull-запроса Ноя Троя (Noah Troy) с почти 200 отдельными комментариями (больше, чем любой другой pull-запрос).

Самый популярный за все время запрос функции, по-видимому, добавляет поддержку запуска нескольких заданий freeipmi из той же Netdata.

Установка

learn.netdata.cloud

get

Перед установкой нужно убедиться, что у вас есть curl и другие утилиты

netdata предупредит вас о том, что нужно обновить систему.

>> IMPORTANT <<
Please make sure your system is up to date
by running: yum update

Советую сделать это заранее.

В .rpm Linux

Если вы устанавливаете netdata на CentOS или RedHat:

Как вариант - установите заранее следующее:

sudo yum upadte
sudo yum install epel-release
sudo yum install zlib-devel libuuid-devel libmnl-devel gcc make git autoconf autogen automake pkgconfig
sudo yum install autoconf-archive cmake elfutils-libelf-devel json-c-devel libuv-devel lz4-devel openssl-devel
sudo yum install curl jq nodejs

Теперь можно воспользоваться скриптом с официального сайта. Я выбрал получать только стабильные обновления и отключил телеметрию.

bash <(curl -Ss https://my-netdata.io/kickstart.sh) --stable-channel --disable-telemetry

Если вы получили ошибку

bash: /dev/fd/63: No such file or directory

Убедитесь что вы выполняете команду без sudo. sudo делать не нужно

В процессе установки нужно будет пару раз нажать ENTER и ввести пароль для sudo. Если вы не будете следить за установкой - есть шанс пропустить этот момент и тогда она закончится фейлом.

Процесс установки довольно долгий - на virtual CentOS 7 с 4 Gb RAM он занял у меня более 20 минут

После успешной установке появится сообщение:

В браузере введите 127.0.0.1:19999

Файлы с настройками netdata появляются в

/etc/netdata

sudo ls -la /etc/netdata

netdata.conf

Файл netdata.conf с текущими настройками можно изучить также и через веб интерфейс

В браузере введите

localhost:19999/netdata.conf

Остановить netdata

service netdata stop
systemctl stop netdata
/etc/init.d/netdata stop

Запустить netdata

systemctl start netdata
systemctl start netdata
/etc/init.d/netdata start

Перезапустить netdata

systemctl restart netdata
systemctl restart netdata
/etc/init.d/netdata restart

Доступ с удалённого компьютера

Допустим у вас netdata на хосте 192.168.56.104 а вы хотите мониторить её с 192.168.56.1

Откройте на нём порт 19999 ( инструкция для CentOS/RedHat )

Введите на хосте 192.168.56.1 в браузере

http://192.168.56.104:19999

Следите за тем, чтобы было http а не https иначе может не подсоединитсья

Запросы к API

Документация лежит в github

Пример запроса на Python

Рассмотрим скрипт sys_monitor.py

import urllib.request import json def main(): r = urllib.request.urlopen('http://10.1.102.209:19999/api/v1/data?chart=system.cpu&points=5&after=-10&options=seconds') rr = r.read() rj = json.loads(rr) print(json.dumps(rj)) if __name__ == '__main__': main()

Разберём этот пример

Запросы можно делать на один из двух ресурсов:

1. /api/v1/data
2. /api/v1/badge.svg

Я сделал на /api/v1/data поэтому EndPoint выглядит так

http://10.1.102.209:19999/api/v1/data + параметры

По своей сути этот запрос является просто обращением к базе уже собранных данных.

Подробнее обо всех запросах читайте в главе параметры запросов

Запустить скрипт можно командой

python3 sys_monitor.py

time: Получено пять точек, как и было указано в points время дано в формате Epoch Time

"guest_nice", "guest", "steal" пусты

softirq:

"irq" пуст

user: показано CPU потреблённое пользователем

system: показано CPU потреблённое системой

"nice" пуст

iowait: показано CPU потреблённое iowait