Logstash — бұл логтарды өңдеу және талдау үшін қуатты құрал, ол ELK экожүйесіне (Elasticsearch, Logstash, Kibana) кіреді. Ол логтық деректерді жинау, өңдеу, сүзу және оларды жүйелерге жіберу үшін пайдаланылады. Proxmox жүйесімен бірге пайдаланылғанда, Logstash инфрақұрылымның логтарын тиімді түрде жинауға және талдауға мүмкіндік береді, бұл мониторинг пен диагностикада үлкен көмек көрсетеді.
Бұл мақалада біз Proxmox жүйесінде Logstash-ты орнату, баптау және пайдалану бойынша терең талдау жүргіземіз. Біз оның жұмысын және Proxmox инфрақұрылымымен интеграциясын қадамдық нұсқаулықпен қарастырамыз.
1. Неліктен Logstash-ты Proxmox-қа қолдану керек?
Proxmox көптеген логтарды генерирует, оның ішінде:
- Виртуалдық машиналар мен контейнерлердің логтары.
- Хосттармен операциялар, мысалы, виртуалдық машиналарды жасау, жою, іске қосу және тоқтату.
- Желі операциялары, қателер және сәтсіздіктер.
Logstash бұл деректерді жинауға, өңдеуге және талдауға, содан кейін оларды Elasticsearch сияқты сақтау және талдау жүйелеріне жіберуге мүмкіндік береді. Бұл келесі мүмкіндіктерді ұсынады:
- Инфрақұрылымдағы қателіктерді жылдам анықтау.
- Өнімділікті бақылау және тар жерлерді анықтау.
- Аномалиялар мен қауіпсіздік қатерлерін табу.
- Барлық инфрақұрылым үшін орталықтандырылған журналды сақтау.
2. Logstash-ты Proxmox серверіне орнату
Logstash-ты Proxmox серверіне орнату үшін бірнеше қарапайым қадамды орындау қажет.
2.1. Окружение дайындау
Logstash орнатпас бұрын, Proxmox серверінің жаңартылғанын тексеріңіз:
apt update && apt upgrade -y
Содан кейін Elastic репозиторияларын қосыңыз:
- Қажетті тәуелділіктерді орнатыңыз:
apt install -y apt-transport-https wget
- Elastic репозиториясының GPG кілтін қосыңыз:
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
- Elastic репозиториясын тізімге қосыңыз:
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-7.x.list
2.2. Logstash орнату
Репозиторий қосылғаннан кейін, пакеттердің тізімін жаңартып, Logstash-ты орнатыңыз:
apt update
apt install logstash -y
2.3. Орнатуды тексеру
Logstash орнатылғаннан кейін, оның нұсқасын тексеріп, орнатудың дұрыс екенін тексеріңіз:
logstash --version
Шығыс мынадай болуы керек:
logstash 7.x.x
Енді Logstash Proxmox серверіңізде қолдануға дайын.
3. Logstash-ты Proxmox логтарын жинауға баптау
Орнатылғаннан кейін, Logstash-ты Proxmox логтарын жинау, өңдеу және оларды жүйеге жіберу үшін баптау қажет. Бұл үшін конфигурациялық файлдарды жасау қажет, олар деректерді қалай жинау, өңдеу және қайда жіберу керектігін анықтайды.
3.1. Конфигурациялық файлды жасау
Logstash конфигурациялық файлдары үш негізгі бөліктен тұрады:
- Input (дереккөз) — Logstash деректерді қайдан алады.
- Filter (сүзгілеу) — деректерді қалай өңдеу керектігін анықтайды.
- Output (шығару) — өңделген деректер қайда жіберіледі.
Proxmox серверінің логтарын жинау үшін конфигурациялық файлды жасайық.
- Logstash конфигурациялық файлдарын сақтау үшін каталогқа өтіңіз:
cd /etc/logstash/conf.d/
- Жаңа конфигурациялық файлды, мысалы,
proxmox-logs.conf, жасаңыз:
nano proxmox-logs.conf
Бұл файлға келесі мазмұнды енгіземіз:
input {
file {
path => "/var/log/pve/*log"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
grok {
match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{DATA:loglevel} %{GREEDYDATA:logmessage}" }
}
date {
match => [ "timestamp", "ISO8601" ]
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "proxmox-logs-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug }
}
3.2. Конфигурацияны түсіндіру
- Input: Бұл мысалда біз
fileплагинін қолдана отырып, логтарды/var/log/pve/каталогынан оқимыз, онда Proxmox өзінің лог файлдарын сақтайды.start_positionпараметрі Logstash-қа файлды бастан бастауға нұсқайды. - Filter: Біз
grokсүзгісін қолдана отырып, лог жолдарын талдаймыз. Бұл жағдайда біз уақыт белгісін, лог деңгейін және хабарламаны бөліп алуға тырысамыз. Сонымен қатар, уақыт белгілерін дұрыс өңдеу үшінdateсүзгісін қосамыз. - Output: Біз өңделген деректерді Elasticsearch-ке (локалды серверде порт
9200) жібереміз және индексті күндермен бірге жасауды сұраймыз. Сонымен қатар, деректерді консольға шығаруға арналғанstdoutплагинін қосамыз.
3.3. Конфигурацияны тексеру
Logstash-ты жаңа конфигурациямен іске қоспас бұрын, оның дұрыс жазылғанын тексеріңіз:
logstash --config.test_and_exit -f /etc/logstash/conf.d/proxmox-logs.conf
Егер қателер болмаса, конфигурация дұрыс екендігі туралы хабарлама аласыз.
4. Logstash-ты іске қосу
Конфигурация дайын болғаннан кейін, Logstash-ты іске қосуға болады:
systemctl start logstash
Logstash-тың дұрыс жұмыс істеп тұрғанын тексеру үшін, оның күйін тексеріңіз:
systemctl status logstash
Logstash жүйенің іске қосылу кезінде автоматты түрде басталуы үшін:
systemctl enable logstash 5. Logstash-тың жұмысын тексеру
Logstash-тың дұрыс жұмыс істеп тұрғанын тексеру үшін Kibana-ға өтіп, Elasticsearch-ке қосылыңыз. Discover бөлімінде proxmox-logs-* индексін таңдаңыз. Сіз барлық жинақталған логтарды көре аласыз.
Егер консольға шығару бапталған болса, келесі команданы орындап, деректерді нақты уақыт режимінде тексеруге болады:
tail -f /var/log/syslog | grep logstash
6. Оптимизация және қосымша баптаулар
- Логтардың айналымы: Логтардың көлемін басқару үшін, жүйені немесе Logrotate арқылы логтардың айналымын орнатуға болады.
- Сүзгілер мен парсинг: Proxmox логтарының форматына және талаптарға байланысты, деректерді дұрыс өңдеу үшін қосымша сүзгілер қосу қажет болуы мүмкін.
- Плагиндерді пайдалану: Logstash түрлі плагиндерді қолдайды (мысалы,
csv,json,geoip), олар деректердің әртүрлі форматтарын өңдеуге көмектеседі.
Қорытынды
Logstash-ты Proxmox жүйесінде қолдану логтарды орталықтандырылған түрде жинап, өңдеуге мүмкіндік береді, бұл мониторингті, диагностика мен қауіпсіздікті едәуір жақсартады. Бұл мақалада біз Logstash-ты орнату, баптау және пайдалану процесін қарастырдық, сондай-ақ оның Proxmox инфрақұрылымымен интеграциясын қадамдық нұсқаулық арқылы түсіндірдік. Дұрыс бапталған және тұрақты түрде мониторинг жасалған жүйе Proxmox инфрақұрылымында туындайтын мәселелерді жылдам анықтап, оларды тиімді шешуге мүмкіндік береді.
| Реклама Google |
 |
Назар аударыңыз! Бұл мақала ресми құжат емес.Ақпаратты сақтықпен және сынақ ортасында пайдалану керек.
Заманауи сақтық көшірме жасау, репликациялау, деректерді синхрондау және төлемдік бағдарламадан қорғау жүйелерін құру туралы сұрақтарыңыз болса, қазіргі заманғы деректердің сақтық көшірмесін жасау және қалпына келтіру технологиялары бойынша кеңес алу үшін біздің компанияға хабарласыңыз . Біздің компанияның осы салада 20 жылдан астам тәжірибесі бар. |
||||
Қазақстандағы резервтік көшірудің ең жақсы он тәжірибесі
- Proxmox гипервизорын жаңа физикалық серверге көшіру
- OpenShift қолдану арқылы Docker контейнерлерін пайдалану — терең талдау
- Wazuh-ты Proxmox қауіпсіздігін бақылау үшін пайдалану - Терең талдау Кіріспе
- Fail2Ban-ды zVirt-те орнату, баптау және пайдалану
- Graylog Community Edition-ді Proxmox-қа орнату, баптау және пайдалану
- Elasticsearch-ті Proxmox жүйесіне орнату, баптау және пайдалану
- Kibana-ны Proxmox-қа орнату, баптау және пайдалану
- Logstash-ты Proxmox-қа орнату, баптау және пайдалану
- Proxmox логтарын талдау үшін ИИ мүмкіндіктері
- Ceph-ті OpenStack-те орнату, баптау және пайдалану
