Установка, настройка и использование Graylog Community Edition в Proxmox

Graylog — это мощная платформа для управления журналами (логами), которая позволяет собирать, хранить и анализировать данные с разных источников.

В этой статье мы рассмотрим, как установить и настроить Graylog Community Edition в виртуальной машине Proxmox, а также как использовать базовые функции системы для мониторинга и анализа логов.

1. Описание Graylog

Graylog — это система с открытым исходным кодом для агрегации и анализа логов, которая позволяет пользователям собирать логи с разных источников, фильтровать, обрабатывать и визуализировать их в удобном интерфейсе. Она поддерживает такие протоколы как Syslog, GELF, и другие. Веб-интерфейс системы позволяет быстро искать и фильтровать данные, что помогает в аналитике и расследовании инцидентов.

Компоненты Graylog:

• Graylog Server: основная серверная часть, которая обрабатывает и хранит логи.
• Elasticsearch: используется для хранения и индексации данных.
• MongoDB: база данных для хранения метаданных и конфигурации.
• Graylog Web Interface: веб-интерфейс для управления системой и анализа логов.

2. Установка Proxmox

Proxmox — это популярная платформа для виртуализации с открытым исходным кодом, которая позволяет удобно управлять виртуальными машинами и контейнерами. Если у вас еще не установлен Proxmox, следуйте этим шагам:

2.1. Установка Proxmox

1. Скачайте образ Proxmox с официального сайта (https://www.proxmox.com).
2. Запишите образ на USB-накопитель с помощью инструментов вроде Rufus или balenaEtcher.
3. Загрузите сервер с USB-устройства и следуйте инструкциям на экране, чтобы установить Proxmox на сервер или машину.

2.2. Конфигурация сети и интерфейса

После установки Proxmox, настройте его через веб-интерфейс:

1. Перейдите в браузер и введите IP-адрес Proxmox (например, http://192.168.1.100:8006).
2. Введите логин и пароль администратора (по умолчанию: root и пароль, который вы указали во время установки).

Теперь Proxmox готов к использованию. Переходим к следующему этапу — установке Graylog.

3. Создание виртуальной машины для установки Graylog

Для установки Graylog мы будем использовать виртуальную машину (VM) в Proxmox.

3.1. Создание новой виртуальной машины

1. В веб-интерфейсе Proxmox нажмите на Create VM.
2. Укажите параметры:
   • Node: выберите хост (если их несколько).
   • VM ID: уникальный идентификатор виртуальной машины.
   • Name: имя виртуальной машины (например, graylog-server).
   • OS Type: выберите операционную систему. В нашем случае это будет Linux (например, Ubuntu).
3. В настройках диска выберите тип и размер (например, 20 ГБ).
4. В разделе CPU выберите количество ядер (минимум 2).
5. В разделе Memory выберите объем оперативной памяти (минимум 4 ГБ).
6. Настройте сеть (оставьте в режиме Bridge Mode).

3.2. Установка операционной системы на VM

1. Скачайте ISO-образ операционной системы, например, Ubuntu Server с официального сайта.
2. В настройках виртуальной машины загрузите ISO-образ как CD/DVD.
3. Запустите виртуальную машину и следуйте стандартным шагам установки Ubuntu.

4. Установка Graylog

После того как виртуальная машина будет готова, приступаем к установке Graylog.

4.1. Установка зависимостей

Graylog требует для работы Java, Elasticsearch и MongoDB. Для начала установим все необходимые компоненты:

1. Обновим систему:

   bash

   Копировать

   sudo apt-get update && sudo apt-get upgrade -y

2. Установим Java (версии 11):

   bash

   Копировать

   sudo apt-get install openjdk-11-jre-headless -y

3. Установим MongoDB:

   bash

   Копировать

   sudo apt-get install -y mongodb sudo systemctl start mongodb sudo systemctl enable mongodb

4. Установим Elasticsearch:

   Для установки Elasticsearch добавим репозиторий:

   bash

   Копировать

   wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-amd64.deb sudo dpkg -i elasticsearch-7.10.0-amd64.deb sudo systemctl start elasticsearch sudo systemctl enable elasticsearch

5. Установим Graylog:

   Скачиваем репозиторий и устанавливаем Graylog:

   bash

   Копировать

   wget https://packages.graylog2.org/repo/packages/graylog-4.0-repository_latest.deb sudo dpkg -i graylog-4.0-repository_latest.deb sudo apt-get update sudo apt-get install graylog-server -y

4.2. Настройка Graylog

1. Настроим конфигурационный файл Graylog: Откройте файл /etc/graylog/server/server.conf:

   bash

   Копировать

   sudo nano /etc/graylog/server/server.conf

   Измените следующее:

   • Установите секретный ключ:
     bash

     Копировать

     password_secret = some_random_secret
   • Установите админский пароль:
     bash

     Копировать

     root_password_sha2 = <hashed_password>
     Для получения хеша пароля можно использовать команду:
     bash

     Копировать

     echo -n your_password | sha256sum

2. Запустите сервер Graylog:

   bash

   Копировать

   sudo systemctl start graylog-server sudo systemctl enable graylog-server  

5. Доступ к веб-интерфейсу Graylog

После запуска сервера Graylog можно подключиться к веб-интерфейсу.

1. Откройте браузер и перейдите по адресу: http://<ip-адрес-сервера>:9000

2. Войдите с использованием логина admin и пароля, который вы установили в конфиге.

6. Настройка источников логов и использование Graylog

Теперь, когда Graylog установлен, можно настроить источники логов. В этом разделе мы подробно разберем, как настроить Graylog для сбора логов с различных серверов, как добавлять и управлять входными данными, а также как использовать Graylog для анализа и мониторинга.

6.1. Основные понятия

Inputs (входы) — это способ получения логов в Graylog. Вы можете настроить различные types of inputs (например, Syslog, GELF, и другие). В зависимости от того, какие сервисы или приложения вы хотите мониторить, вам нужно будет настроить соответствующий input.

Streams (потоки) — это способ фильтрации и сортировки логов. Каждый поток определяет правила, по которым логи будут распределяться в Graylog. Это позволяет вам отделить важные события от менее критичных и организовать логи по различным категориям (например, ошибки, предупреждения, информация и т.д.).

Dashboards (приборные панели) — это графические представления данных, собранных Graylog. Они позволяют вам визуализировать данные, полученные в реальном времени, что помогает в анализе состояния системы.

6.2. Создание и настройка Input

Для того чтобы Graylog начал собирать логи, нужно настроить входящий поток данных (input). Рассмотрим настройку базового Syslog input, который часто используется для получения логов с серверов и устройств.

6.2.1. Создание нового входа для Syslog

1. Перейдите в веб-интерфейс Graylog.
2. В верхнем меню выберите System и затем выберите Inputs.
3. На странице Inputs нажмите кнопку Launch new input.
4. В выпадающем списке выберите тип input, например, Syslog UDP или Syslog TCP, в зависимости от того, какой протокол будет использоваться для получения логов.
5. Введите название для input (например, Syslog-Input), выберите порт (например, 514) и задайте другие параметры, такие как хост и интерфейс, на который будет слушать Graylog.
6. После этого нажмите Save.

6.2.2. Проверка работы входа

После настройки входа убедитесь, что он работает корректно:

• Отправьте несколько тестовых логов с другого устройства или сервера.
• На странице Inputs вы должны увидеть, что новый input начинает получать логи. В случае успешного подключения будет отображаться статистика о полученных и обработанных сообщениях.

6.3. Добавление источников логов

После настройки входа вам нужно будет настроить устройства или серверы для отправки логов на Graylog. Рассмотрим, как настроить разные источники логов.

6.3.1. Настройка Syslog на сервере Linux

На сервере Linux для отправки логов в Graylog через Syslog используйте утилиту rsyslog. Вам нужно будет настроить файл конфигурации, чтобы он отправлял логи на сервер Graylog.

1. Откройте файл конфигурации rsyslog:

   bash

   Копировать

   sudo nano /etc/rsyslog.conf

2. Добавьте строку, указывающую на сервер Graylog, и порт, на котором слушает ваш input (например, порт 514):

   markdown

   Копировать

   *.* @<IP-адрес-Graylog>:514

3. Перезапустите службу rsyslog:

   bash

   Копировать

   sudo systemctl restart rsyslog

Теперь все логи, генерируемые сервером, будут отправляться на сервер Graylog.

6.3.2. Настройка отправки логов с Windows

Для отправки логов с Windows-системы в Graylog через Syslog, вам нужно будет установить специальное приложение, такое как NXLog.

1. Скачайте и установите NXLog с официального сайта.

2. Откройте конфигурационный файл nxlog.conf и добавьте настройки для отправки логов на сервер Graylog:

   bash

   Копировать

   <Input in> Module im_msvistalog </Input> <Output out> Module om_udp Host <IP-адрес-Graylog> Port 514 </Output> <Route 1> Path in => out </Route>

3. Перезапустите сервис NXLog:

   bash

   Копировать

   net stop nxlog net start nxlog

Теперь логи с Windows-сервера будут отправляться на сервер Graylog.

6.4. Создание Streams (потоков)

Потоки помогают фильтровать и сортировать логи, направленные в Graylog. Это позволяет вам эффективно организовывать данные и получать уведомления о важных событиях.

6.4.1. Создание нового потока

1. Перейдите в Streams в меню System.

2. Нажмите Create Stream.

3. Введите имя потока (например, ErrorLogs для логов ошибок) и описание.

4. После создания потока можно задать фильтры. Например, если вы хотите, чтобы только ошибки попадали в этот поток, добавьте фильтр, который будет ловить все сообщения с уровнем ошибки:

   • Поле: level
   • Операция: equals
   • Значение: 3 (что соответствует уровню ошибки в Graylog)

5. Нажмите Save.

Теперь все логи, соответствующие фильтру, будут направляться в поток ErrorLogs.

6.5. Создание Dashboards (приборных панелей)

Для эффективного анализа логов Graylog позволяет создать приборные панели, которые визуализируют данные из разных потоков. Вы можете настроить графики, таблицы и другие элементы, чтобы отслеживать важные метрики в реальном времени.

6.5.1. Создание новой панели

1. Перейдите в раздел Dashboards.
2. Нажмите Create new dashboard.
3. Дайте панели имя (например, Server Monitoring).
4. После создания панели можно добавить виджеты, которые будут отображать различные метрики (например, количество ошибок, объем логов, и т.д.).
5. Нажмите Save.

Теперь у вас есть приборная панель, которая будет отображать данные в реальном времени. Вы можете адаптировать и настроить виджеты в зависимости от ваших потребностей.

6.6. Анализ логов и поисковые запросы

Одной из ключевых возможностей Graylog является мощный механизм поиска. Вы можете использовать поисковые запросы для нахождения конкретных событий или информации в логах.

6.6.1. Поиск по логам

1. Перейдите в раздел Search в меню.

2. Введите запрос для поиска, например:

   bash

   Копировать

   level:3 AND source:server1

   Это найдет все ошибки, отправленные с сервера server1.

3. Вы можете использовать более сложные операторы для создания продвинутых запросов.

6.6.2. Сохранение запросов

Если вам нужно часто выполнять одни и те же поисковые запросы, вы можете их сохранить для быстрого доступа. Для этого просто нажмите Save Search и дайте запросу имя.

6.7. Настройка алертов

Для того чтобы оперативно реагировать на критические события, можно настроить алерты (уведомления) в Graylog. Это поможет вам быть в курсе любых важных событий в реальном времени.

1. Перейдите в раздел Alerts.
2. Нажмите Create Alert Condition.
3. Выберите поток (например, ErrorLogs) и задайте условие (например, если количество ошибок за последние 5 минут больше 10).
4. Настройте способ уведомления (например, по электронной почте).
5. Нажмите Save.

Теперь Graylog будет отправлять вам уведомления при возникновении критических ситуаций.

Заключение

В этой статье мы подробно рассмотрели процесс установки, настройки и использования Graylog Community Edition в Proxmox. Вы узнали, как создавать виртуальные машины, устанавливать и настраивать Graylog, а также как настроить сбор логов, фильтрацию и анализ. С помощью Graylog вы сможете эффективно отслеживать и анализировать логи с ваших серверов и приложений, а также оперативно реагировать на возникающие инциденты.

Надеюсь, это руководство было полезным! Если у вас возникнут дополнительные вопросы или нужна помощь, не стесняйтесь обращаться!