Bu makalede Huawei OceanStor storage cihazı Pool Havuzları içinde oluşturulan File System objelerinin monitör edilmesini anlatıyor olacağım.

Öncelikle File System alanlarının neler olduğunu teknik olarak kısaca anlamaya çalışalım. Storage cihazları en temelinde üzerine fiziksel ve adet olarak yüksek kapasitede disklerin bulunduğu depolama cihazlarıdır.

İzleme yapacağımız cihaz üzerindeki mimariyi de 2 yönden ele alarak tanıyabiliriz.

• Fiziksel Katman (Raid + Blok Sanallaştırma)
  Bu katman teknik olarak Disk Domaini, CK(Chunk), CKG(ChunkGroup), Extent, Grain gibi bileşenlerden oluşmaktadır. Bizim izlemeye çalışacağımız File System yapısına bu katmandan bakarsak aşağıdaki gibi görebiliriz.
  
  Bu bakışı fiziksel katmandan mantıksal katmana doğru bir yaklaşım olarak düşünebilirsiniz.

Disk Domain
└──> CK (Chunk)
    └──> CKG (Chunk Group)
        └──> Extent
            └──> Grain
                └──>> File System

• NAS (File System Servis Objeleri) Katmanı
  Bu katmanda Pool Havuzu, File System, Dtree(Directory Tree), Quota, Share(NFS,CIFS), Snapshot gibi mantıksal dosya sistemi objelerini görebilirsiniz.
  Pool Havuzu; Bir önceki maddede açıkladığımız Disk Domain objeleri üzerinde oluşturulan mantıksal alanlarken, File System ise; Pool içinde oluşturulabilen depolama alanlarıdır.
  
  Yine burada izlemek istediğimiz File System yapısına bu katmandan bakarsak aşağıdaki gibi hiyerarşi görebiliriz.

Disk Domain
└──> Storage Pool
    └──>> File System
        └──> Dtree
            ├──> Quota
            ├──> Share
            └──> Snapshot

Özetle izleyeceğimiz File System objeleri storage üzerindeki Pool Havuzu içinde oluşturulabilen ve kapasiteleri belli olan mantıksal depolama alanlarıdır.

Bu izlemeyi teknik olarak Pull Metodu + Rest API + Zabbix Discovery kullanarak dinamik bir şekilde gerçekleştireceğiz. Yeni bir File System objesi oluşturulduğunda tasarladığımız izleme kurgusu bunu otomatik olarak keşfederek izlemeye dahil edecek.

1-REST API Doküman Analizi

Storage üreticisinden temin ettiğimiz OceanStor REST Interface Reference dokümanını analiz ederek başlıyoruz. İzleyeceğimiz storage cihazının marka, model ve yazılım + API versiyonu bu doküman ile tam uyumlu olmalıdır ve üreticiden official olarak temin edilmesi önemlidir.

Bu doküman oldukça uzun ve detaylı (3.504 sayfa) olduğundan analizimizde zaman kazanmak için Prompt Engineering yöntemini kullanıyoruz. Siz de kullandığınız bir AI Tool’undan destek alabilirsiniz ben makale boyunca Anthropic / Claude kullanıyor olacağım. Dokümanı analiz etmesi için AI Tool’a upload ediyorum.

Buradaki en önemli kısım AI ile konuşurken izlemeye çalıştığınız hedef cihaza ve yönettiğiniz monitoring tool’una ne kadar hakim olursanız sonuca çok daha kısa yoldan ve optimize şekilde ulaşmış olursunuz.

• İzleme Ürünü : Zabbix (Versiyon 7 LTS)

• İzleme Yöntemi: Rest API (User, Password, Token+SessionID)

• İzlenecek Storage Cihazı: Huawei OceanStor 5XXX Serisi

Bağlantı yöntemi olarak Huawei Storage cihazı dataları doğrudan (Basic User + Password) erişimine açık değildir. Bu nedenle Rest API ile doğrudan HTTP item ile data çekip kullanamıyoruz.

Her sorguda Raw Data’ya erişebilmek için User ve Şifre kullanarak elde ettiğimiz SessionID ve Token’ı kullanacak bir Script item’a ihtiyacımız olduğunu API dokümanından anlıyoruz.

Buna benzer item örneklerini Zabbix Official Template ve dokümanlar içerisinde sıkça görebilirsiniz ve inceleyebilirsiniz.

2-File System Raw Data Script Item

Rest API dokümanı analiz ettirdiğimiz AI ajanından bize File System objelerine ait dataları JSON formatında döndüren bir Script item hazırlamasını istiyorum.

Bu item’ı ekleyebilmek için de Zabbix’e Huawei Storage’i bir host olarak ekliyorum.

Host eklerken interface olarak doğrudan Storage IP adresini yazıp ICMP Template ile ekleyebilirsiniz ancak ben sadece API Call adımlarına odaklanmak için Zabbix Local Host’u interface olarak kabul ediyorum.

Host Macros alanına API içerisinde kullanacağım credential bilgilerini Zabbix’in Macro formatında yazıyorum ve yanlarına da kısa açıklamalarını ekliyorum.

Ardından bu Host içine Scritp tipinde bir item tanımı yapıyorum. Bu item içindeki alanların tanımları aşağıdaki gibidir.

• Name : Huawei FS Inventory Raw
• Type : Script
• Key : huawei.fs.inventory.raw
• Type of information : Text
• Script : AI Tarafından oluşturulan Script item
• Update interval : 15m

* Doğru Script AI ile birkaç konuşma ve deneme sonrası mümkün olmaktadır.

Bu item bizim File System data objelerini JSON formatında 15 dakika aralıklar ile çekeceğimiz ana item objemizdir. Şimdi Test ve ardından Get value butonuna basarak sonucuna bakalım.

Value alanında gelen Raw datayı JSON görüntüleme alanına alıp kontrol ediyorum. 59 adet veri içeren bir data seti elde etmiş olduk. Şimdi bunların içeriğini anlamaya çalışalım.

Bu data içeriklerinin ne anlama geldiğini dokümanı okuyan AI Agent’a sorup yanıtlarını yanına yazmasını istiyorum. Dokümana göre tüm detayları bana aşağıdaki gibi bir tabloda sunuyor.

Ancak bu dataları Storage üzerinden de kontrol ederek emin olmakta fayda var ve buradaki “test” isimli File System objesinin kapasitesini JSON ile dönen datalarını Storage üzerindeki veriler ile de karşılaştırıyorum. Ardından kullanacağım alanları netleştiriyorum.

Aşağıdaki 4 alan benim izlemek istediğim durum için yeterli olacak.

“CAPACITY_BYTES” => Toplam Kapasite Alanını (B) gösteriyor, Storage üzerinden teyit edildi ✔
“AVAILABLECAPCITY_BYTES” => Free Kapasite Alanını (B) gösteriyor, Storage üzerinden teyit edildi ✔
“PARENTNAME” => File System objesinin bağlı olduğu Pool Havuz adı
“NAME” => File System Objesinin Adı
“ID” => File System Objesinin benzersiz ID’si (item create ederken kullanacağız)

3-Dependent Discovery Rule Tanımlama

Şimdi Huawei FS Inventory Raw item’ından bir Dependent Discovery kuralı oluşturalım ve bu data seti her geldiğinde otomatik olarak keşif yöntemi ile dataları ayrıştırarak zahmetsizce alalım.

Raw data item’ın solundaki 3 noktaya tıklıyorum ve Create dependent discovery rule diyerek tanımlamaya başlıyorum.

Açılan ekranda Master item Huawei FS Inventory Raw master item’a bağlı olduğundan otomatik olarak geliyor. (Yanındaki … nokta kısmından create ettiğimiz için)

LLD macros alanına JSON içinde kullanmaya karar verdiğim 2 kapasite parametresi için Macro’ları tanımlıyorum. Bu tanımlar bizim JSON içindeki verileri çekmemizi kolaylaştırmış olacak ve item prototype oluştururken kullanabilmemizi sağlayacak parametre ve JSON eşleşmeleri alanıdır.

Aslında Raw olarak gelen data setindeki bir data’yı Zabbix içinde kullanabileceğim formada map’liyorum veya convert ediyorum gibi düşünebilirsiniz.

Ardından Add diyerek tanımladığım Discovery kuralını ekliyorum.

4-Item Prototype (Total Capacity)

Şimdi Item Prototype kısmına geçelim ve bu Discovery Rule’a bir prototype item ekleyelim.

Ekranın sağ üst kısmından Create item prototype kısmından ekleyelim.

Oluşturacağımız Item; Dependent tipinde olup Huawei FS Inventory Raw olan ana item’a bağlı olacak. Key alanı ise her File System objesi’nin benzersiz ID’si ile unique bir şekilde oluşacak. Zabbix’de kural gereği item key’lerin benzersiz olması gereklidir.

Bizde bu benzersizliği Key alanına yazdığımız String tanımlama ve içindeki [{#ID}] dinamik parametresi ile sağlıyoruz.

Tags kısmına Latest Data ekranında File System objelerini kolay bulabilmek için bir Tag ekliyorum.

Preprocessing adımında ID ile CAPACITY_BYTES alanını JSON Path üzerinde eşleştiriyorum ve $[0] ile bu eşleşmenin ilk elemanının datasını alıyorum.

$.data[?(@.ID == ‘{#ID}’)].CAPACITY_BYTES

Preprocessing alanında JSON Path veya Java Script kodu ile esnek bir şekilde gelen datayı item’a ait ID ile eşleştirebilirsiniz. JS kodu için AI zaten öneride bulunacaktır ben burada JSONPath ile ilerliyorum.

Item prototype eklendi.

Şimdi Discovery Rule Execute edelim ve dataların gelip gelmediğini kontrol edelim.

Latest Data ekranına geçip kontrol ettiğimde Storage üzerindeki File System objelerini doğru bir şekilde geldiğini görüyorum. Oluşturduğum Tag ve Item isimlendirmesi de olması gerektiği gibi.

Örnek olması için Test isimli File System verilerini görebilirsiniz. Bu Storage üzerinde oluşturulmuş 3 adet Test isimli File System objesi mevcut ve Total Capacity bilgileri de Storage üzerinden teyit edilerek doğrulandı.

5-Item Prototype (Free Available Capacity)

Şimdi aynı şekilde Available Capacity File System item’ını da ekleyelim. İlk item’dan bir Clone alarak hızlıca yapabilirsiniz sadece Key alanının adını ve preprocessing içindeki JSONPath‘i güncellemeyi unutmayın.

JSON işleme alanını da güncelliyoruz.

$.data[?(@.ID == ‘{#ID}’)].AVAILABLECAPCITY_BYTES

Toplamda 2 tane item prototype ekledik. Key alanlarının benzersiz olduğunu görebilirsiniz kontrol etmeyi unutmayın.

Latest data ekranından kontrol ettiğimde Available kapasite bilgisinin de Bytes cinsinden geldiğini görüntülüyorum.

6-Calculated Item Prototype (Used Capacity)

Şimdi elimizdeki Total ve Free kapasite data’ları ile Calculated Used kapasite item oluşturalım. Elimizdeki iki datayı matematiksel işleme dahil ederek yeni bir item oluşturacağız.

Used = Total – Free

7-Calculated Item Prototype (Utilization %)

Yine elimizdeki Total ve Free kapasite bilgileri ile Calculated Utilization % olacak bir item oluşturalım. Elimizdeki iki datayı matematiksel işlem (formula alanındaki gibi) ile kullanarak yeni bir item oluşturmaya devam ediyoruz.

Used Utilizasyon % = Used / Total * 100

Latest data ekranından hem normal hem de calculated tipindeki tüm item’ları görüntülüyorum. Calculated olanların Tag alanına Type=Calculated olarak ayrıca bir Tag de ekledim.

Item detaylarına da aşağıdaki gibi göz atabilirsiniz.

Artık Utilization item prototype’ına solundaki (…) nokta alanından Create Trigger Prototype diyerek bir Trigger tanımlayıp File System objelerinin Utilizasyon alarmlarını tanımlayabilirsiniz. Bloğumda bununla ilgili çok fazla örnek olduğu için Trigger tanımlamasını detaylarına inerek uzun uzadıya anlatmadan bu makalenin ana konusunu burada tamamlıyorum.

8-Sonuç

Aşağıdaki hiyeraşik yapıda nasıl bir kurgulama ile izleme yaptığımızı analiz edebilirsiniz. Raw Data, Discovery Rule, Item Prototype ve Calculated item gibi kavramlar Zabbix üzerinde birbirine doğrudan bağlı ve mantığı oldukça basit bir kurgudur. Bunları olması gerektiği kadar kullanarak hem izlediğimiz cihaza minimum API Call yapmış oluyoruz hem de daha az karmaşık tanımlamaları olan bir izleme kurgusu tasarlamış oluyoruz.

Huawei FS Inventory Raw Item (huawei.fs.inventory.raw)
│   Type: Script
│   Output: {"data":[...]}
│
└── Discovery Rule (huawei.fs.discovery)
    │   Type: Dependent item
    │   Master: huawei.fs.inventory.raw
    │
    ├── {#PARENTNAME} / File System : [{#NAME}] - Available Capacity (Bytes)
    │       Key: huawei.fs.available.gb[{#ID}]
    │       Type: Dependent item
    │       Master: huawei.fs.inventory.raw
    │
    ├── {#PARENTNAME} / File System : [{#NAME}] - Total Capacity (Bytes)
    │       Key: huawei.fs.capacity.gb[{#ID}]
    │       Type: Dependent item
    │       Master: huawei.fs.inventory.raw
    │
    ├── {#PARENTNAME} / File System : [{#NAME}] - Used Capacity (Bytes)
    │       Key: huawei.fs.used.gb[{#ID}]
    │       Type: Calculated
    │       Formula: last(capacity) - last(available)
    │
    └── {#PARENTNAME} / File System : [{#NAME}] - Used Utilization %
            Key: huawei.fs.util.pct[{#ID}]
            Type: Calculated
            Formula: last(used) / last(capacity) * 100

Yeni yazılarda görüşmek dileği ile hoşça kalın.

Huawei OceanStor File System Objects Monitoring yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

Yılın son teknik makalesi ile karşınızdayım.

Bu makalede Zabbix ile izlediğimiz Postgresql Database üzerinden Custom SQL Sorguları kullanarak sorgu metriklerini nasıl izleriz ve bunları kullanarak anlamlı KPI Dashboard tasarlarız konusunu adım adım anlatıyor olacağım.

Öncelikle gereksinimlerimizi kısa özet olarak listeliyorum.

• Postgresql DB / Monitored by Zabbix Agent 2
• Custom SQL Queries
• Right Permissions
• Item Value Widgets

4 adımda sıraladığım yetenekleri bir araya getirerek Zabbix Global View Dashboard üzerinde yukarıdaki gibi Günlük, Haftalık ve Aylık Toplam Alarm sayılarını veren bir görsel KPI takip ekranı oluşturacağız.

Peki buna neden ihtiyaç duyarız kısaca onu da açıklayalım.

Yeni kurulan bir izleme sisteminde yaygınlaştırma yapılırken ve yapı büyürken gerekli Alert Tuning işlemleri yapılmadığında çok fazla false positive alarm alınır.

Eğer bunları takip etmek isterseniz.

Reports > Top 100 triggers

Sayfasından Host ve Trigger bazlı Count değerini görebilirsiniz. Bu sayfa size tuning yaparken hangi host ve trigger’a odaklanmanız gerektiğini nokta atışı ifade edecek ve işinizi kolaylaştıracaktır.

Ancak günlük, haftalık veya aylık olarak kaç tane alarm oluşmuş bunu rakamsal olarak görmek isterseniz bunun bir cevabı direkt olarak maalesef yok.

Uzun yoldan Problem ekranından yukarıdaki gibi seçimleri yaparak 1 günlük geçmiş alarm sayısını görmeniz mümkün.

Bu şeçimin ardından ekranın en altına indiğinizde seçtiğiniz zaman dilimindeki toplam alarm sayısını rakamsal olarak görebilirsiniz.

Ancak her seferinde günlük kaç adet alarm gelmiş bu şekilde kontrol etmek zor olacaktır.

Tabiki bu rakam haftalık ve aylık seçimlerde Zabbix tarafından 1000+ şeklinde gösterildiğinde net bir sonuç göremeyeceksiniz. Günlük ve saatlik dilimlerde alarm sayısı az iken işinizi görecektir ve net rakamı görebileceksiniz.

İşte bu durumda toplam alarm rakamlarını nasıl izleriz sorusunun cevabını bu makalede bulacaksınız. Şimdi 4 adımdan oluşan işlemler serisine geçelim.

Step-1 / Postgresql DB Monitored by Zabbix Agent 2

Burada Zabbix tarafından Agent2 kullanılarak izlenen bir Postgresql Database ihtiyacımız bulunuyor. Biz Zabbix’in kendi Postgresql Database’ini Agent2 ile izliyoruz burada onu kullanacağız.

Postgresql Database Monitoring Zabbix Agent2 dokümanına buradan ulaşabilirsiniz.

Ayrıca Udemy Eğitimimde detaylı olarak işlediğim bir konudur. Eğitimden de takip edebilirsiniz.

ls -l /etc/zabbix/zabbix_agent2.d/plugins.d/

Zabbix Agent2 ile Postgresql Database izleme yapmak için ilgili plugin‘in kurulduğundan yukarıdaki gibi emin olunuz.

Step-2 / Custom SQL Queries

Bu template içinde Custom Queries özelliğini bulup kullanacağız.

cat /etc/zabbix/zabbix_agent2.conf | grep CustomQueriesPath

Dokümanda CustomQueriesPath olarak belirtilen yolun Agent2 Configurasyon dosyasında olduğundan bahsediliyor bunu kontrol etmek için yukarıdaki komutu uyguluyorum.

Herhangi bir sonuç döndürmediği için bu tanımın Agent2 Configurasyon doyasında olmadığını anlıyorum.

cat /etc/zabbix/zabbix_agent2.d/plugins.d/postgresql.conf | grep CustomQueriesPath

Ardından Plugin Configurasyon dosyasında olup olmadığını yukarıdaki komut ile kontrol ediyorum.

CustomQueriesPath parametresinin bu dosyada tanımlı olduğunu görüyorum ve herhangi bir tanımlama ve path belirtilmemiş default olarak duruyor.

Herhangi gibi bir editör ile ilgili dosyayı açıyorum ve path tanımı yapıyorum.

nano /etc/zabbix/zabbix_agent2.d/plugins.d/postgresql.conf

Tanımını yaptığım /var/lib/zabbix path var olmadığı için dizin oluşturuyorum.

nano /var/lib/zabbix/daily_alert_count.sql

Ardından yukarıdaki komut ile ilk Custom SQL Query tanımlamamı bu dizin altına yapıyorum.

SELECT COUNT(*)
FROM events
WHERE clock >= extract(epoch from date_trunc('day', now()))
AND value = 1;

Bu query için kısa bir bilgilendirme yapmak gerekirse;

Zabbix alarmlarını “events” tablosunda tutar. Bir alarm olduğunda Value değeri 1 olur ve oluşan event tabloya kaydedilir.

Aynı event Clear veya Resolved olduğunda yeni bir kayıt açılarak bu sefer Value değeri 0 olarak kayıt edilir. Herbir event için unique bir eventid değeri mevcuttur. Tek bir event için Problem ve Resolved durumunu objectid değerinden takip etmek mümkündür.

Bizim 1 değerlerini saymamız aslında events tablosuna problem olarak yazılmış tüm olayları saymamız anlamına gelmektedir.

Eğer derinlemesine kontrol etmek isterseniz Zabbix Database üzerinden events tablosunu inceleyebilirsiniz.

Tanımlamamız bittiğinde Zabbix Agent2 servisini restart ediyoruz.

Ardından Zabbix üzerindeki Host ekranına geçiyorum. Agent2 ile izlediğim Database sunucusunun item‘larında Name kısmına Custom yazdığımda disable olarak gelen Template üzerinde tanımlanmış Custom queries item‘ını görüyorum. Kullanacağımız item bu olacak.

Bu item’dan bir tane Clone alıyorum.

Ardından Name kısmında isimlendirmesini yapıyorum ve Key yazan parametreyi düzenlemek için bir notepad üzerine alıyorum ve düzenliyorum.

“{$PG.DATABASE}” = Bizim query’mizin sorgu yapacağı DB olduğu için zabbix olarak değiştiriyorum.

“” = Sondaki boş çift tırnak alanına ise /var/lib/zabbix dizini altında oluşturduğumuz daily_alert_count.sql query’e verdiğimiz ismi veriyorum.

Daha net anlaşılması için yukarıdaki görseli de ekliyorum.

Şimdi bu Item için test vakti !

Postgresql monitoring kullanıcısı olan “zabbix_monitor” user’ı events tablosunda query çalıştırmaya yetkili değil. Bu yüzden yukarıdaki gibi hata alıyorum.

Step-3 / Right Permissions

Gerekli izinleri vermek için Postgresql konsola bağlanıyorum. “zabbix_monitor” kullanıcısına events tablosunda SELECT izni tanımlıyorum.

Tekrar test ettiğimde count değerinin database üzerinden yazdığım query ile okuyabiliyorum.

Devamında gelen datanın Type türünü Numeric olarak değiştiriyorum. Bu ilerde numeric alarm yazmak için işimizi kolaylaştıracaktır. (Örnek 15dk içinde 500+ alarm oluşması gibi)

.*"count":([^?<=}]*).*

Gelen ham data “[{“count”:554}]” şeklinde olduğu için bunun içerisinden sadece rakamı parse etmek için bir Regex tanımı yapıyorum ve bunu Preprocessing alanına ekliyorum.

Tekrar test ediyorum.

Her şeyin çalıştığını gördükten sonra Daily Alert Count item’ı ekliyorum.

Enable olarak ilk Custom Query eklemiş olduk.

Şimdi Lates data ekranına gidiyorum ve gelen data‘yı kontrol ediyorum.

Data akışının başarılı bir şekilde geldiğini gözlemliyorum.

Buraya kadar başarılı bir şekilde geldiğimize göre yine bu yöntemi kullanarak oluşturduğumuz farklı Custom SQL Query‘leri de ekleyerek istediğimiz sorguları Postgresql DB üzerinden çekip monitor edebiliriz.

Ben 2 tane daha ekliyorum. Haftalık ve Aylık alarm sayılarını da başka query’ler ile count ediyorum.

Step-4 / Item Value Widgets

Monitor ettiğim bu dataları Zabbix Item Widget üzerinde görselleştiriyorum ve ana ekrana ekliyorum.

Birkaç gün kontrol ediyorum ve günlük gelen alarm sayısı ile karşılaştırıyorum. Tespitlerim sırasında monitor edilen alert count sayılarında herhangi bir anormallik gözlemlemedim.

Alert Count KPI değerlerini bu şekilde ana ekrana alarak yapının ürettiği alarm sayılarını göz önüne almış ve farkedilir olmasını sağlamış olduk.

Bu sayede monitoring uzmanları bu rakamları sürekli göreceği için alarm sayısını azaltmak için gerekli tuning çalışmalarını yapmak isteyecektir.

Sağlıklı bir izleme sisteminde en önemli unsur Alarm Gürültüsü dediğimiz durumun azaltılmasıdır. Ne kadar az ve doğru alarm alabilirsek yapımızı o kadar rahat izleriz.

Kimse izleme sisteminin “Yalancı Çoban” olmasını istemez 😊

Yeni yılın herkese gönlündeki istekleri ile birlikte sağlık ve huzur getirmesi dileği ile. 🎄 🎄 🎄

Hoşça kalın.

Custom SQL Queries for Counted Alert KPI Dashboard on Zabbix yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

Zabbix Summit 2024 dün itibari ile kapılarını açtı ve dünyanın her yerinden bu ürünü destekleyen gönüller ve danışmanlar bir araya geldi.

Sahne tasarımı ve en önde her yerde Zabbix logosunun yanında artık bir Cloud işareti görüyoruz ve yeni ürün olan Zabbix Cloud lanse ediliyor.

Şüphesiz ki açılış konuşmasına Alexei Vladishev de girişi Zabbix Cloud ile yaptı ve sanırım artık Zabbix ürününü SaaS (Software as a Service) modelinde kullanabileceğiz.

Zabbix Cloud Amazon AWS altyapısını kullanarak hizmet verecek ve bunu 5 bölyeyi kullanarak kullanıcılarına ulaştırmayı hedefliyor.

Yıllardır Zabbix ile uğraşanların en büyük sorunları genellikle büyüyen yapılarında mücadele etmek zorunda kaldıkları performans ve hız problemiydi.

Zabbix Cloud ile benim gördüğüm hedeflenen nokta şu olmuş gibi duruyor;

“Siz performansı düşünmeyin onunla biz ilgileneceğiz siz sadece ürünün kullanımına odaklanın” gibi bir nokta oluşturmak ve ürünün kullanım portföyünü arttırmak.

Güzel bir yaklaşım olduğunu söylemek lazım.

Peki Zabbix burada maaliyet hesabını neye göre ve nasıl yapıyor olacak ?

Alexei Vladishev‘in konuşmasında bunu NVPS ve Disk boyutuna endeksli bir hesap ile yaptıklarını görmek mümkün ki zaten üye olduğunuzda da karşınıza çıkan seçeneklerde bu 2 parametre ile ödemeniz şekil alıyor.

Nedir bu maaliyetler kısaca bakalım;

NVPS (Number of Values Per Second) / Zabbix’in saniyede işlediği ve aldığı data miktarı

Disk (NVPS ile doğru orantılı olarak Zabbix’in geçmişte tutacağı data ve buna bağlı ihtiyaç olan disk kapasitesi)

NVPS için maalesef elimizde net bir formulasyon bulunmuyor ancak System information alanında bunu hızlıca kontrol etmeniz mümkün.

Burada bu değeri optimize etmek için iyi bir Zabbix bilgisi ve bununla beraber template, item ve trigger optimizasyonu yapmanız gerekiyor.

Yani kısaca ” ihtiyacın kadar izle ve o kadar NVPS ile sistemi çalıştır diski büyütme ! ” diyebiliriz.

Tabi ki geçmiş de ne kadar trend ve history datası tutacaksınız onun da net olması mümkünse kısa tutulması ödemenizi düşürecek en büyük etkenlerden olacaktır.

1 yıllık bir geçmiş data yerine bunu 3 ay gibi bir süreye indirmek ciddi avantaj sağlayacaktır.

Şimdi gelin Zabbix Cloud sisteminin 5 günlük ücretsiz sürümünü birlikte deneyelim.

Try Zabbix Cloud yazan kısımdan bilgilerinizi girerek aboneliğinizi başlatabilirsiniz. Abone olduktan sonra bir süre bekletiyor ve sonunda size erişiminizin aktif olduğu mail geldiğinde giriş yapabiliyorsunuz.

Create new node diyerek yeni bir Zabbix sistemi kurulumuna başlıyorum.

1-Name: Zabbix erişim url si olarak kullanılacak DNS tanımının yapıldığı kısım aynı zamanda Create ettiğimiz Node adımız oluyor. Ben suleymank.zabbix.cloud olarak tercih ettim.

2-Region: Zabbix’in 5 bölgede sunduğu datacenter lokasyonu oluyor, bize en yakın Frankfurt olduğu için onu seçerek devam ettim.

3-Compute: Oluşturacağımız sunucunun büyüklüğünü seçtiğimiz kısım. En küçük olan sunucuyu Nano olanı seçiyorum.

4-Disk Size: Sunucunun disk kapasitesini belirlediğiniz kısım.

Sağdaki “I’ll try the 5-day free trial” tikini seçiyorum ve ücretsiz olan ürünü test etmek için başlatıyorum.

Create işleminden sonra Node oluşturma işleminin başlaması biraz zaman alıyor. Bunu aşağıdaki progress bar ile takip edebilirsiniz. Ekranın üst kısmında ise Zabbix frontend erişim IP adresi ile şifrenizi görebilirsiniz.

Kısa bir süre sonra sunucu kurulumu tamamlanıyor ve suleymank.zabbix.cloud adresine erişim sağladığımda karşıma Zabbix Cloud izleme sisteminin login ekranı geliyor.

Kurulum ekranındaki şifre ile giriş yapıyorum. Karşımda LTS 7.0.3 sürüm bir Zabbix sistemi hazır bir şekilde beni bekliyor ve kurulum sanırım 3 dk kadar sürdü. 😊

Host ekranından Zabbix host’una göz atıyorum ve normalde alışkın olduğumuz şekilde ekli olmadığını görüyorum.

Zabbix burada kendi sunucusunu sadece 1 item ile izlemenize müsade etmiş ve herhangi bir interface kullanmadan eklemiş.

Bunu latest data ekranından da kontrol ettiğimde sadece NVPS item ile data monitor edebiliyoruz. Yani kısaca bu yapı kendi sunucusunun kapasitesini NVPS değeri ve Cloud paneldeki disk boyutu ile analiz edebiliyor.

Bunun dışındaki tüm risk ve sorumluluk Zabbix Cloud ekibinde demektir. Bu sistemin tüm health ve performans işlemlerinden son kullanıcı sorumlu değil. Bu operasyon tamamen Zabbix Cloud ekibinde demektir.

Şimdi Zabbix Cloud sistemime evdeki lab ortamında oluşturduğum 1 tane Proxy sunucuyu Active Mod‘da ekliyorum. İletişimin güvenli olması için PSK kullanıyorum.

Devamında ise bu Proxy sunucuyu izlemeye alıyorum.

Proxy sunucu restart olduğunda alarmlarını alıyorum ve saat farkı olduğunu fark ediyorum.

Administration sekmesinden Time Zone ayarlarımı düzenliyorum.

Alarm saat bilgisinin düzeldiğini gözlemliyorum.

Zabbix Cloud panel ekranında solda FAQ kısmında bu sistem ile ilgili merak edilen sorular ve cevaplarını görebilirsiniz.

Örneğin Zabbix Cloud sisteminin direkt olarak

• External checks
• ODBC monitoring
• SNMP Trap

İzleme yöntemlerini desteklemediğiniz görüyorum. Zaten Cloud bir sistemde bunların direkt olarak izlenmesi performans kayıplarına sebep olacaktır. Böyle izlemeler için mutlaka bir Proxy kullanarak datanın orada toplanıp ana sunucuya Proxy üzerinden gönderilmesi daha yerinde bir yöntem olacaktır.

Nodes ekranında kurulumunu yaptığınız Zabbix sisteminin ihtiyaç olacak tüm kısımlarını görebilirsiniz.

Zabbix Cloud sunucusuna Local Proxy sunucusundan dig komutu ile sorgu attığımızda gelen cevap yukarıdaki gibidir. Ayrıca sunucunun TCP/10051 portu da açık ve cevap vermektedir. Bu durumda direkt olarak Agent ve Agent2 Active Mode izlemeleri yapabilirsiniz.

Aynı cloud panel üzerinde dakikalar içinde yeni bir Zabbix izleme sistemi aktif etmeniz de mümkün.

Özet olarak;

• Zabbix Cloud Panel Erişimi OTP (One Time Password) ile MFA ektin bir şekilde sunulmuş ve bunu beğendim.
  
• Zabbix Frontend erişiminde default login işlemlerinde mutlaka TOTP kullanmak yerinde bir güvenlik sıkılaştırması olacaktır. Nasıl yapılır makalesi burada.
  
• Ücretlendirme politikası bütçe ve almak istediğiniz hizmet kalitesine göre değişir ancak böyle bir ürünü yönetecek seviyede bilginiz yoksa performance ayarlarını Zabbix Cloud ekibine emanet ederek yolunuza devam edebilmek hiç bilmeyenler için güzel bir alternatif olacaktır.
  
• Ayıca büyük bir yapınızı Zabbix Cloud sistemine taşırken mutlaka optimizasyon yapmanızı ve yüksek ücretler ödememek için profesyonel kişilerden destek almanızı öneririm.
  
• Ürün ile ilgili geri bildirimler kullanıcı sayısı arttıkça community üzerinde yazılacak ve bizler de gerekli + ve – değerlendirmelerimizi o zaman daha net yapmış olabileceğiz.

Zabbix 7 Monitoring Eğitimi (16+ Saat) ile pratik yapmak ve yeteneklerinizi geliştirmek isterseniz bloğumdaki indirim kuponlarını kullanabilirsiniz.

Başka bir makalede görüşmek üzere, hoşça kalın.

Zabbix Cloud Nedir ? yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

Uzun zamandır bloğumda makale yayınlamamıştım. Son olarak Udemy üzerinde yayınladığım eğitimde öğrencilerimden gelen aynı zamanda Linkedin üzerinden de takipçilerimden çok fazla sorulan “7.0 Upgrade” konusu ile ilgili kendi disiplinimde bir şeyler paylaşmak istiyorum.

Öncelikle şunu belirtmek de fayda var;

Zabbix .deb ve .rpm tabanlı Linux dağıtımları başta olmak üzere 12 farklı Linux türevine kurulabililen bir sistem. Aynı zamanda kendi içinde de LTS (Long Term Support) ve ara sürümleri mevcut.

Böyle çeşitliliği olan bir sistemde minör veya majör update / upgrade işlemi yapmak için buradaki Upgrade note‘ları detaylı okumamız ve “Most important changes between versions” alanındaki açıklamalara göre planlama yapmamız gerekiyor. Yapıdaki database büyüklüğünü de göz önüne almayı unutmayınız.

Ben genellikle yeni çıkan sürümlerde bir süre bekleyerek mümkünse 2 versiyon sonrası yayınlandığında canlı sistemleri ugprade ediyorum veya Security Adivisories duyurularına göre yapmak durumunda kalıyorum.

Bugün de birkaç ay önce kurulumunu yaptığımız bir müşterimizin canlı sistemi Zabbix 6.4.14 sürümünü 7.0 LTS‘e upgrade ediyor olacağız.

Upgrade Edilecek Sistemin Özeti;

• Zabbix Server / Rhel Based Oracle Linux 9.4
• Zabbix DB Server / Rhel Based Oracle Linux 9.4 / Postgresql-16
• Zabbix App. Version 6.4.14
• Apache Version 2.4.57
• PHP 8.0.30

Yukarıdaki özet sistemi buradaki Requirements ile karşılıklı kontrol ettiğimde tüm sistem bileşenlerinin Zabbix 7.0 LTS‘e geçmeye uygun olduğunu görüntülüyorum.

Sistemimize aşağıdaki gibi göz atabilirsiniz. 101 gündür Up ve hizmet veriyor.

Tüm kontrolleri aynı zamanda komut satırından da yapıyorum ve mevcut versiyonları görüntülüyorum.

Devamında ayrı bir sunucuda koşan Postgresql database içinde versiyon kontrolünü yapıyorum.

Official Zabbix document sayfasından talimatlara bakıyorum.

Official Zabbix document sayfasından database için talimatlara bakıyorum.

Official Zabbix document sayfasından Apache ve PHP için talimatlara bakıyorum.

Şimdi yine Official Zabbix document sayfasından Upgrade procedure talimatlarını okuyorum.

Bu talimatlara göre yedek bir ssh sesion açıyorum ve buradan Zabbix sisteminin canlı log takibini bir pencerede açık tutuyorum.

1 numaralı talimata göre

systemctl stop zabbix-server

komutu ile Zabbix servisini durduruyorum.

2 ve 3 numaralı talimatları sunucunun yedeğini aldığım için geçiyorum.

4 numaralı talimat ile Rhel9 repository güncellemesi yapıyorum ve devamında (opsiyonel)

cat /etc/yum.repos.d/zabbix.repo

komutu ile repository güncellemesini kontrol ediyorum.

Yine 4 numaralı talimat ile

dnf update

komutunu uyguluyorum.

Ardından sistem güncellemeleri hangi versiyona yükselteceğini bana [y/N] sorusu olarak soruyor ve burada göz kontrolü yaptığımda Zabbix komponent’lerinin yukarıdaki gibi 7.0.2-release versiyona yükseleceğini görüyorum. “y” diyerek bu adımı uyguluyorum.

Güncellemelerin sonunda;

zabbix_server -V
zabbix_agent2 -V

komutları ile sistem bileşenlerinin versiyonlarına bakıyorum ve 7.0.2 versiyona yükseldiğini görüyorum.

systemctl restart zabbix-server zabbix-agent2

komutu ile Zabbix ve Agent2 servislerini restart ederek başlatıyorum.

Bu sırada yan ssh session’da açık olan log akışına bakıyorum ve database upgrade sürecini gözlemliyorum. Zabbix yeni versiyona geçiş sırasında database tablolarında bir takım güncellemeleri bu aşamada otomatik olarak kendisi yapıyor.

Kısa bir beklemenin ardından “database upgrade completed” yazısını log akışında gördüğümde işlem tamamlanmış oluyor ve Zabbix komponent’leri sırası ile başlamaya başlıyor.

GUI ön yüzü açtığımda ana ekranda versiyonun değiştiğini item widget kısmında ve gelen versiyon değişikliği alarmından anlayabiliriz.

Son olarak Reports > System information sekmesinden sistem bilgilerine bakıyorum ve herşeyin yolunda olduğunu teyit ediyorum.

Özet Notlar;

• Update / Upgrade işlemi planlı ve dokümantasyona bağlı bir süreçtir
• System Compatibility dediğimiz OS ve Software uyumlulukları detaylıca kontrol edilmelidir
• İşlemlere başlamadan önce mutlaka sistem yedeğini almanız gerekir
• Official Zabbix Release Notes notlarını okumadan uygulamayınız
• Throubleshooting yapmaya hazır olunuz

Başka bir makalede görüşmek üzere sağlıcakla kalın.

Zabbix 7 Monitoring Eğitimi (16+ Saat) | Sıfırdan Zirveye için indirim kuponu ve linki.

Zabbix 6.4.X’den 7.0 LTS’e Upgrade yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

In this blog post, you will learn how to set up Zabbix 7.0 LTS on Oracle Linux 9.

Zabbix 7.0 LTS ( Long Term Support ) has been released on June 6 with many new features and Zabbix SIA will support this version until 2029.

Pre-requisites;

Before we get started, be sure you have;

·        Oracle Linux 9 server (freshly installed and updated)

·        A root account.

Let’s get started!

Check out the Linux version using with below command.

Postgresql Database Installation

You have to choose a database before the Zabbix installation. There are two options Mysql or PostgreSQL.

In my installation, I will use the most used variant of the Zabbix database: Postgresql.

Check out the requirements on documents page.

sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm
sudo dnf -qy module disable postgresql
sudo dnf install -y postgresql16-server
sudo /usr/pgsql-16/bin/postgresql-16-setup initdb
sudo systemctl enable postgresql-16
sudo systemctl start postgresql-16

Use this commands from on official Postgresql documents page.

Use this command below to check out postgresql-16 service status.

systemctl status postgresql-16

Open the Zabbix official website for the installation commands.

Use the platform chooser for the command sets.

Scroll down the page and find your commands.

Step a: Install the Zabbix repository

Edit the epel.repo under /etc/yum.repos.d path.

Use this commands below to install zabbix repositories.

rpm -Uvh https://repo.zabbix.com/zabbix/7.0/oracle/9/x86_64/zabbix-release-7.0-2.el9.noarch.rpm

dnf clean all

Step b: Install Zabbix server, frontend, agent

When the installation, if you want to don’t answer the yes/no questions use the “-y” parameter after the command set.

dnf install zabbix-server-pgsql zabbix-web-pgsql zabbix-apache-conf zabbix-sql-scripts zabbix-selinux-policy zabbix-agent -y

Step c: Create initial database

sudo -u postgres createuser --pwprompt zabbix
sudo -u postgres createdb -O zabbix zabbix

zcat /usr/share/zabbix-sql-scripts/postgresql/server.sql.gz | sudo -u zabbix psql zabbix

Step d: Configure the database for the Zabbix server

By default, the Zabbix configuration file is located in /etc/zabbix/. Open and configure the zabbix_server.conf file use with any editor to set up database password.

I used the nano editor to configure it.

nano /etc/zabbix/zabbix_server.conf

Find the DBPassword line on the file.

Delete the “#” line from the first line and write your new password.

Save and exit the configuration file.

Write the configuration files.

Step e: Start Zabbix server, agent, and apache processes

Use this command below to enable and start the process.

systemctl restart zabbix-server zabbix-agent httpd php-fpm
systemctl enable zabbix-server zabbix-agent httpd php-fpm

Make sure the http and https services rules on local firewall (optional)

Before the Zabbix frontend installation, check out the Oracle firewall state, ports, and services.

systemctl status firewalld
firewall-cmd --permanent --zone-public --add-service=https --add-service=http
firewall-cmd --reload
firewall-cmd --list-services

Step f: Frontend installation

Write your “Server_IP_Address/zabbix” on any browser.

Here is the Zabbix 7.0 !

Click the Next step.

All checks of pre-requisites show OK. Click the Next step.

Fill in the database password correctly and click the next step.

Don’t forget the change the time zone.

Next step.

Click the Finish !

By default Username is: Admin and Password is: zabbix

Here is the Zabbix 7.0 !

There are many differences on the Global view dashboard and left main panel.

Check out the system information page.

For this blog post tutorial, we looked at how to install the Zabbix 7.0 LTS. This can be very useful when installing the 7.0 version on your systems.

Thanks for reading.

How to install Zabbix 7.0 LTS on Oracle Linux 9 yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

Tüm sistemlerde olduğu gibi izleme sistemlerinde de üreticiler çeşitli otoriteler ve kendi imkanları ile ürünlerinin güvenliğini güncel tutmak amacı ile bir takım çalışmalar yapmaktadır ve bunları yayınlamaktadır.

Burada dikkat edilmesi gereken üreticinin tavsiyeleri ve resmi duyurusudur.

Her haber kanalından gelen bilgiye inanarak aksiyon alınmaz / talep edilmez.

Sözü çok uzatmadan Zabbix tarafındaki sürece kısaca değinmek istiyorum.

Zabbix 2020 yılından beri CVE Numbering Authority (CNA) programına dahil olarak bu güncellemeleri resmi olarak duyuruyor. Buradan inceleyebilirsiniz.

Ayrıca kendi resmi sitesinden de bu duyuruları düzenli olarak yapmaktadır.

Bu duyurulara yukarıdaki ve aşağıdaki ekran görüntüleri ile ulaşmanız mümkün olacaktır.

Sonrasında yayınlanan zaafiyet ile ilgili dokümanı dikkatlice okumanız ve hangi sistemlerinizin ne seviyede etkilendiğini doğru şekilde belirlemeniz gerekmektedir.

Örneğin Zabbix server, Database mi veya Agent sistemleri için mi bir açık yayınlanmış bunu belirlemeniz çok önemlidir.

Ayıca bu zaafiyet hangi versiyondaki sistemleri etkiliyor buna da çok dikkat etmelisiniz.

Zabbix sisteminizin versiyonunu çok kolay bir şekilde aşağıdaki gibi görmeniz mümkün.

Ayrıca komut satırından da kontrol edebilirsiniz.

Sonrasında sakince bir güncelleme aksiyon planı çıkartabilirsiniz. Tüm sistemlerde bu şekilde zaafiyet’ler olmaktadır ve olacaktır.

Sakin kalmak size ve stresli iş hayatımızdaki sağlığımıza iyi gelecektir 🙂

How to take right action without panic on Security Advisories yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

Zabbix 7.0 LTS öncesi birçok yeni özellik RoadMap planında sunulduğu özere gün yüzüne çıkmaya başladı. Bunlardan birtanesi de MFA ( Multi Factor Authenticator ) özelliği.

Zabbix burada 2 seçenekli MFA ile kullanıcılarına çözüm üretmiş durumda.

• TOTP ( Time Based One Time Password )
• DUO Universal Prompt / Detaları buradaki link

Yeni gelen bu özelliği ben ilk olarak TOTP ile bu makalemde test ediyorum ve bunu Google Autheticator ile kullanıyor olacağım.

Sizler isterseniz cep telefonunuzdan uygulama marketine TOTP yazarak başka bir uygulama da tercih edebilirsiniz. ( Microsoft Authenticator vb )

Kullandığınız sürümün minimum Zabbix 7.0.0beta2 olduğundan emin olunuz.

Users > Authentication

Users > Authentication > MFA sekmesinden gerekli ayarlamaları görseldeki gibi yapıyorum ve HOME adını veriyorum.

Ardından MFA ile giriş yapacak kullanıcılar için bir User Group tanımlıyoruz.

Kullanıcılar için MFA seçeneğini HOME adını verdiğim TOTP‘yi seçiyorum. Farklı kullanıcı grupları için farklı MFA‘lar tanıplayıp ayrı ayrı organize edebilirsiniz.

Ortamınızdaki Zabbix LDAP ile entegre ise LDAP + MFA da tanımlamanız mümkün.

Şimdi yeni bir User tanımlıyorum ve MFA ile giriş yapabilecek olan kullanıcıların grubuna dahil ediyorum.

Oluşturduğum bu kullanıcı ile şifremi yazarak giriş deniyorum.

Karşıma telefonumdaki uygulamaya taratacağım TOTP QR kodu çıkıyor.

Google Authenticator üzerinde QR tanıtıyorum ve süreli 2FA kodu ekrana yansıyor.

Şimdi bu kodu login ekranında girerek login işlemini tamamlıyorum.

Başarılı bir şekilde giriş yapmış oldum.

Zabbix birçok yeni özelliği gayet kolay bir şekilde son kullanıcılarına ücretsiz olarak sunmaya devam ediyor.

Başka bir yazıda görüşmek üzere.

How to enable Zabbix MFA with Google TOTP yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

Uzun zamandır makale yazmıyordum bu hafta sonu çok fazla sorulan bir konuda Zabbix Log File Monitoring hakkında küçük bir makale hazırladım. Şimdiden keyifli okumalar.

Log file içerisindeki bir tanıma neden alarm yazmak isteriz öncelikle bunu bir açmak lazım;

Windows veya Linux sistemler üzerlerinde çalışan servis veya process’ler herhangi bir olay veya hata durumlarını mutlaka bir Log dosyasına kaydederler ve bir iz düşümü bırakırlar.

Log dosyasındaki bir hata yada iz düşümü bilgisi bize aslında çok önemli bir durumun gerçekleştiğini veya bilmek istediğimiz bir olayın bilgisini verebilir, bu sebeple herhangi bir log dosyasının içerisindeki bir parametrenin yakalanması durumuna alarm almak isteyebiliriz.

Biz bu olayı daha anlaşılır kılmak adına bir Linux sunucu üzerinde SSH bağlantısı kurulması halinde alarm alarak olayı gerçek hayat senaryosunda kurgulamış olacağız.

Bu yaklaşım izleme ürününü bir Cyber Security veya Loglama ürünü yerine kullanmak anlamına gelmez. Biz olaya tamamen izleme gözü ile bakacağız.

Haydi başlayalım.

Hedef Sunucu: Oracle Linux 8, Zabbix Agent2 Active Mod ile izleniyor.

Öncelikle bu sunucu üzerinde SSH ile bağlantı kurulduğunda bunun nereye log yazdığını bulmamız gerekiyor.

“tail -f  /var/log/secure” komutu ile kontrol ettiğimizde yapılan SSH bağlantılarının iz düşümleri burada görüyoruz.

Zabbix Agent ile bu dosya üzerinden bir data okumak istiyorsak permission’lara bakmak gerekiyor. Aşağıdaki gibi /var/log/secure dosyası için sadece root grubu ve user’ı okuma ve yazma hakkına sahip olarak görüntülüyoruz.

Aşağıdaki görsel ve buradaki link bu izinlerin nasıl verildiğini anlatmaktadır.

sudo chgrp zabbix secure

sudo chmod 640 secure

yukarıdaki komutları kullanarak /var/log/ altındaki secure isimli klasöre zabbix grubu için sadece okuma izni verildi.

Şimdi bir Template hazırlama vakti.

Item sekmesine gelerek Create item diyorum ve yeni bir item tanımlıyorum.

Name: SSH Logins

Type: Zabbix agent (active)

Key: log[/var/log/secure,,,skip]

Type of information: Log

Update interval: 1s

Yukarıdaki gibi parametlerimi hazırlıyorum ve item tanımlamamı tamamlıyorum.

Hazırladığım Template’i hedef sunucuma ekliyorum.

Kısa bir süre bekleyerek ve SSH Login Logout olarak Log dosyasında yeni Log’lar oluşmasını sağlıyorum. Aşağıdaki gibi Latest Data ekranında Log’ların geldiğini görüntülüyorum.

CLI ekranında Log dosyasında ne görüyorsam artık Zabbix tarafına bunları çekebildim.

• May  7 00:46:54 zbx-60-db sshd[4442]: Accepted password for root from 192.168.1.15 port 52432 ssh2
• May  7 00:46:54 zbx-60-db sshd[4442]: pam_unix(sshd:session): session opened for user root by (uid=0)

Ben sadece Accepted password yazan satırı almak istiyorum zaten bu satırda SSH bağlantısına ait tüm bilgiler bulunuyor. Bunun için buradaki dokümantasyonda 2. parametre olan <regexp> parametresine direkt olarak yakalamak istediğim parametrenin başlangıcını regex yazım dilinde yazmam gerekiyor.

Key değerimi log[/var/log/secure,”Accepted.*”,,,skip] olacak şekilde güncelliyorum. Bu şu demek oluyor yakaladığım Log değerlerininden sadece başlangıcı “Accepted.*” olan satırı Zabbix’e taşımış olacağız.

Aşağıdaki gibi sadece kırmızı alanı çekmek için bu değişikliği yapmış olduk.

Tekrar SSH Login ve Logout oluyorum ve yeni gelen datalara Latest Data panelinden bakıyorum istediğimiz şekilde düzeldiğini görüyorum.

Gelin şimdi Zabbix’in nimetlerinden faydalanmaya devam edelim ve Preprocessing sekmesinde gelen ham datayı işleyelim.

Gelen datanın başında uzun bir tarih alanı vardı ben bunu da görmek istemiyorum ve bir satırı alıp buradaki sitede onu pars etmek için minik bir Regex komutu yazıyorum. Gelen 1 satırlık data’da sadece Accepted kısmı dahil olacak şekilde sonraki alanı parse ediyorum. (Aşağıdaki yeşil alanı)

Bunu preprocessing alanına ekliyorum ve sonunda \0 yazıyorum.

Aşağıdaki gibi gelen datalar adım adım istediğim şekilde dönüştü ve daha sade bir hal aldı.

Data alma ve preprocessing işlemleri bittiğine göre artık bu item için trigger tanımlayabiliriz. İlgili item’ın üzerine gelip Create trigger diyorum.

Gelen data bir Log datası olması sebebi ile kullanabileceğim Trigger functionlara bakıyorum. Doğru trigger function kullanmazsak item datası doğru olarak gelse bile oluşturacağımız trigger çalışmayacaktır.

Log datasına uygun olan lenght (value) function bunun için uygun görünüyor.

Name: SSH Login has been detected !

Severity: High

Expression: length(last(/Linux Log File Monitoring/log[/var/log/secure,”Accepted.*”,,,skip]))>0
                      and
                      nodata(/Linux Log File Monitoring/log[/var/log/secure,”Accepted.*”,,,skip],5m)=0

Description: {ITEM.LASTVALUE1}

Yukarıdaki gibi düzenliyorum. Burada and operatörü ve nodata fonksiyonunu da kullandım; eğer bir SSH Login girişi tespit edilirse alarm alınacak ve 5 dakika boyunca yeni bir data gelmez ise giriş tespiti olmaz ise alarm clear olacak şekilde yapılandırdım. Sizler alarmı Allow Manuel Close seçeneğini seçerek nodata function’u kullanmadan tek bir function ile de tanımlayabilirsiniz. Bu durumda alarm geldiğinde her bir alarm için manuel olarak kapatma yapmanız gerekeceğini unutmayın.

Şimdi alert ekranından alarmımızı kontrol edelim. Problem Name alanının sağ alt kısmındaki minik “?” kısmına {ITEM.LASTVALUE1} trigger değerinden gelen son datayı da gelmiş olarak görüyoruz herşey istediğimiz gibi çalışıyor. Bunu yazmamdaki amaç ihtiyaç halinde Media Type içerisinde de gösterebilmek.

Aradan 5 dakika kadar bir süre geçtiğinde ise alarmın kendiliğinden Resolve olduğunu görüntülüyorum.

Bir makalenin daha sonuna geldik umarım faydalı bir içerik olmuştur.

Udemy Zabbix Eğitimi

Zabbix Log File Monitoring | SSH Login Trigger on Linux yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

In this blog post, you will learn how to set up Zabbix 6.4 pre-release version on Oracle Linux. Don’t forget that; pre-release versions don’t have any support but you can explore many new features before the next Zabbix 7.0 TLS.

Pre-requisites

Before we get started, be sure you have;

·        Oracle Linux 8 server (freshly installed and updated)

·        A root account.

Let’s get started!

Check out the Linux version using with below command.

Mysql Database Installation

You have to choose a database before the Zabbix installation. There are two options Mysql or PostgreSQL. In my installation, I will use the most used variant of the Zabbix database: Mysql.

Use this command below to install Mysql.

dnf install mysql-server -y

Check out the version after installation.

mysql -V

Start and enable the Mysql database before the secure mode installation step.

systemctl enable mysqld --now

Use this command below to install Mysql with secure mode and set the root password.

mysql_secure_installation

Login the Mysql with your new root password.

mysql -uroot -p

Open the Zabbix official website for the installation commands.

Use the platform chooser for the command sets.

Scroll down the page and find your commands.

Step a: Install the Zabbix repository

rpm -Uvh https://repo.zabbix.com/zabbix/6.3/rhel/8/x86_64/zabbix-release-6.3-1.el8.noarch.rpm

dnf clean all

Step b: Switch the DNF module version to PHP

dnf module switch-to php:7.4

Step c: Install Zabbix server, frontend, and agent

When the installation, if you want to don’t answer the yes/no questions use the “-y” parameter after the command set.

dnf install zabbix-server-mysql zabbix-web-mysql zabbix-apache-conf zabbix-sql-scripts zabbix-selinux-policy zabbix-agent -y

Continue the other commands.

Step d: Create an initial database for Zabbix

Use the root password to access the Mysql console.

mysql -uroot -p

create database zabbix character set utf8mb4 collate utf8mb4_bin;
create user zabbix@localhost identified by 'Tokat60!';
grant all privileges on zabbix.* to zabbix@localhost;
set global log_bin_trust_function_creators = 1;
quit;

Import the initial schema to the database that you newly created.

Note: Use your Zabbix database user password and wait some time. This command takes 2 minutes to return the console.

zcat /usr/share/zabbix-sql-scripts/mysql/server.sql.gz | mysql --default-character-set=utf8mb4 -uzabbix -p zabbix

Check out the Zabbix database schema (optional)

If you want to be sure of the importing schemas use this command below to check out the Zabbix tables in the database.

mysql -uroot -p

use zabbix;
show tables;
exit;

Let’s continue with the other step of “d” Zabbix command sets.

Disable log_bin_trust_function_creators option after importing database schema.

mysql -uroot -p

set global log_bin_trust_function_creators = 0;
quit;

Step e: Configure the database for the Zabbix server

By default, the Zabbix configuration file is located in /etc/zabbix/. Open and configure the zabbix_server.conf file use with any editor to set up database password.

I used the nano editor to configure it.

nano /etc/zabbix/zabbix_server.conf

Find the DBPassword line on the file.

Delete the “#” line from the first line and write your new password.

Save and exit the configuration file.

Write the configuration files.

Step f: Start Zabbix server, agent, and apache processes

Use this command below to enable and start the process.

systemctl restart zabbix-server zabbix-agent httpd php-fpm
systemctl enable zabbix-server zabbix-agent httpd php-fpm

Make sure all Zabbix components are running (optional)

·        Mysql database

·        Zabbix server

·        Apache

systemctl status mysqld

systemctl status zabbix-server

systemctl status httpd

Before the Zabbix frontend installation, check out the Oracle firewall state, ports, and services.

firewall-cmd --state
firewall-cmd --permanent --zone=public --list-ports
firewall-cmd --permanent --zone=public --list-services

Allow the TCP/80 port or Apache(HTTP) service on the firewall. Use the commands below to allow HTTP service on the firewall.

firewall-cmd --permanent --add-service=http
firewall-cmd --reload
firewall-cmd --permanent --zone=public --list-services

Step g: Frontend installation

Write your “Server_IP_Address/zabbix” on any browser.

Here is the Zabbix 6.4 !

Click the Next step.

All checks of pre-requisites show OK. Click the Next step.

Fill in the database password correctly and click the next step.

Don’t forget the change in the time zone.

Next step.

Click the Finish !

By default Username is: Admin and Password is: zabbix

Here is the Zabbix 6.4 !

There are many differences on the Global view dashboard;

·        Top Host widget configured to show Zabbix CPU.

·        Item value widget that shows Zabbix Server per second values dynamically.

·        New digital clock.

·        Geomap widget that is configured with Riga coordinates.

Let’s change the Geomap widget with our coordinates.

This is the biggest change on the menu bar since the 4.0 version. We will look at all details in the next blog posts.

For this blog post tutorial, we looked at how to install the Zabbix 6.4 pre-release. This can be very useful when installing the 6.4 version on your systems.

We will look at new features on 6.4 in the next blog post.

Thanks for reading.

How to install Zabbix 6.4 on Oracle Linux 8 yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.

Bu makalemizde monitoring toollarının en önemli özelliklerinden Discovery’i konusunu işliyor olacağız. Bu özellik yine Zabbix tarafında güçlü bir şekilde karşımıza çıkmakta ve sadece yeteri kadar doküman takibi yapmak ve neyi nasıl kullanacağımızı iyi bilmek gerekmektedir.

İlgili dokümana buradaki link üzerinden ulaşabilirsiniz.

Bu makalemizde büyük yapılarda 500-1000 adet Network cihazının olduğunu düşünürsek yada bundan fazlası da olabilir bu cihazların belirli bir kural çerçevesinde izleme ürününe alınmasını işliyor olacağız.

Öncelikle burada monitor edeceğimiz cihazlarımız Network cihazları olması sebebi ile monitoring sistemi ile SNMP protokolü üzerinden konuşacağı için Network katmanında UDP/161 protokolü ve portundan monitor edeceğimiz cihaz ile düzgün bir iletişim olaması gerekmektedir. Bunun için işinin ehli bir security admin ile çalışmanız önemlidir.

İkinci nokta ise cihazlar ile SNMP protokolünün hangi versiyonu ile konuşacağınızdır. SNMP v2/v3 hangi versiyon ise onunda Switch, Router.. vb cihaz üzerinde düzgün bir şekilde ayarlanmış olduğundan emin olunuz. Yine bu noktada işinin ehli bir network admin ile çalışmanızı tavsiye ederim 😊

Sözü fazla uzatmadan işlemlerimize geçelim. Bizim konumuz olan Network cihazları Cisco Switch ailesinden 2960X serisi ürün modeli olacak.

Öncelikle kullanacağımız SNMP v3 protokolü için konfigurasyonları yapılmış olan bir Switch üzerinde walk yaparak Zabbix ile izlemek istediğimiz cihaz arasında iletişimin herhangi bir kesintiye uğrayıp uğramadığını kontrol edelim.

SNMP walk nasıl kullanılır v1/v2/v3 komut setleri nasıldır buradaki makaleden bakabilirsiniz.

SNMP walk komutları v2 ve v3 için aşağıdaki gibidir.

snmpwalk -v2c -c MyCommunityString 192.168.2.60 iso.3.6.1.2.1.1.1.0

snmpwalk -v3  -l authnoPriv -u v3user -a MD5 -A "TurkiyeTokat" -x DES -X "TurkiyeAnkara" 192.168.2.60 iso.3.6.1.2.1.1.1.0

SNMP v3 ile ilgili cihaza zabbix veya zabbix-porxy cihazından walk atıyorum ve sonuna “iso.3.6.1.2.1.1.1.0” OID değerini yazıyorum. Bu OID değeri bize system description değerini yani bu cihazın ne olduğunu dönüyor. Yukarıdaki gibi cihazımızın temel bilgileri Cisco IOS Software, C2960X olarak bize gelmiş durumda.

Şimdi başka bir OID değeri olan “iso.3.6.1.2.1.1.5.0” ile sorgu atalım.

Burada ise bize “iso.3.6.1.2.1.1.5.0” OID sorgusuna karşılık systemName değeri dönmüş oldu. Gayet güzel. Bu OID değerlerine yani hangi cihaz için hangi sorguyu atmanız gerektiğine buradaki dokümandan bakabilirsiniz.

Gelin şimdi bu OID değerlerini kullanarak Discovery kuralını oluşturalım.

Öncelikle Configuration tabı altından Discovery sekmesine tıklıyorum.

Create discovery rule diyerek yeni bir kural tanımlıyorum.

Şimdi ilgili alanları dolduralım.

• Name: Kuralıma bir isim veriyorum. Ben discovery’i proxy cihazımda yapacağım için onu seçtim siz zabbix üzerinde yapıyorsanız default olarak bırakınız.
• IP range: Burada hangi network bloğunda discovery yapacaksam onu seçiyorum.
• Update interval: Ne kadar sürede bir bu kural çalışacak ise onu belirliyorum 1h yani 1 saat benim için şimdilik yeterli.
• Checks: Bu kısımda cihazlarda SNMP ile neyi kontrol edeceğimi girmeye başlıyorum.

İlk olarak SNMP v3 kullanacağımız için bu protokolü seçiyorum ve gerekli credential bilgilerini giriyorum. Aynı zamanda “iso.3.6.1.2.1.1.1.0” / systemDesc OID değerini de giriyorum.

İkinci olarak yine SNMP v3 credential bilgilerimi giriyorum ve bu sefer “iso.3.6.1.2.1.1.5.0” OID değerini check etmek istediğim için onu giriyorum ve Add diyorum.

Checks kısmını tamamladım ve 2 farklı OID ile kontrollerimi girdim. Buradaki amacım cihazdan dönen değerleri kullanmak yani her bir cihaz kendi adı ile Zabbix üzerine kayıt olsun istiyorum aynı zamanda tüm 2960 Cisco switch’leri discover ederek bir gruba toplamak istiyorum o yüzden bu OID değerlerini check ediyorum.

• Device uniqueness: Discover edilen cihazları IP adreslerine göre ayırıyorum.
• Host name: “iso.3.6.1.2.1.1.5.0” OID değerinden dönen cihaz adını koyuyorum.
• Visible name: “iso.3.6.1.2.1.1.1.0”  OID değerinden dönen cihaz adını koyuyorum.

Bu sayede cihazlar Zabbix’e üzerinde yazan hostname bilgileri ile kayıt olmuş olacak.

Add diyerek kuralımı tamamen kaydediyorum.

Kuralımız eklendi yukarıdaki gibidir. Şimdi Monitoring sekmesinden kuralımıza bakalım.

Burada biraz bekleyiniz çünkü Network bloğuna göre cihazların bulunması zaman alabilir. Aşağıdaki gibi ilgili discovery kuralımı seçtiğimde 3 tane cihazın bulunduğunu görüyorum. Aynı zamanda checks değerlerim olan OID değerlerine de cevap gelmiş en sağdaki dikey sütunda görüyorum. Ancak Monitored host kısmında birşey gelmiyor yani bu cihazlar keşfedilmiş ancak monitor edilmiyor.

Bunun gelmemesi gayet normal çünkü bizim bunun için Zabbix de bir Action tanımlaması yapmamız gerekmektedir. Discovery sonucunda Zabbix ne yapacağını henüz bilmiyor. Şimdi Action tanımlamamıza geçelim.

Configuration > Action > Discovery action diyerek devam ediyorum.

Create action diyerek yeni bir action tanımlıyorum.

Aciton tanımlama 2 sekmeden oluşmaktadır. İlk olanı Action diğeri ise Operations sekmesidir. İlkinde conditionlar belirlenir 2.sinde yapılacaklar tanımlanır.

İlk olarak Aciton’a bir isim veriyorum. Ben genelde oluşturduğum Discovery kuralının isminin sonuna Add diyerek veriyorumki sonrasında hengi action hangi discovery’e ait bulmam kolay olsun.

Devamında condition ekleyerek ilerliyorum.

Öncelikle hangi Discovery kuralına aciton yazıyorsam onu seçiyorum.

İlk condition tanımlandı ve A ismi ile eklendi şimdi 2. Condition ekleyerek ilerliyorum.

Burada Recieved Value değerine C2960 yazıyorum çünkü “iso.3.6.1.2.1.1.1.0” OID değerinden bize cihaz description bilgisi dönmüştü ve içinde Cisco C2960 diye cihaz model bilgisi gelmişti onu giriyorumki sadece bu model cihazları ayırabileyim. Add diyerek ikinci condition’u da eklemiş oldum.

Son olarak Discovery status değerini UP seçiyorum.

3 Condition değerimde eklendi ve A and B and C olarak mantıksal operatorler ile kurgu yapıldı. Bu 3 değerinde sağlanması halinde biz o network bloğundaki sadece Cisco C2960 Switch cihazlarını ayırt etmiş olacağız. Şimdi Operation sekmesine geçelim.

Burada artık Zabbix’e bu cihazlara ne yapması gerektiğini söylüyoruz. Ben ilk olarak bu cihazları hada önce belirlediğim Hostgroup’a eklemesini söylüyorum.

İkinci olarak bu cihazların bir template’e ihtiyacı olduğu için link to template diyerek 2960 için hazırladığım tempalte ile eşleşmesini sağlıyorum.

Herşey hazır cihazlar yani 2960’lar discover edilecek ve istediğim gruba istediğim tempalte ile kayıt olacak. 😎

Discovery aciton eklemem bitti genel görüntüsü yukarıdaki gibidir. Şimdi tekrar Discovery sonuçlarına bakalım.

Aciton tanımlayınca herşey hemen hızlı olmuyor burada sakince beklemeniz gerekiyor. Çünkü arka tarafta Zabbix hala o network üzerinde discover ediyor ve cihaz bulmaya çalışıyor. Yaklaşık 1 saat içinde bulduğu cihazlar için Monitored host kısmına cihazlar gelmiş oldu.

Şimdi ilgli Host Group içinden cihazlarımıza bakalım.

Host sekmesinden cihazların grup bilgisini seçiyorum ve cihazlarımı burada görüntülüyorum. Herşey istediğim gibi tamamlanmış oldu. Artık ilgili network bloğunda ne kadar Cisco 2960X serisi switch cihazı varsa otomatik olarak keşfedilecek ve Zabbix’de izlemeye alınacak.

Bir makalenin daha sonuna geldik, umarım faydalı olmuştur.

Zabbix Network Devices Discovery yazısı ilk önce Süleyman KARATAŞ üzerinde ortaya çıktı.