Giriş:
Loglar girişlerden oluşur; her bir giriş, gerçekleşen belirli bir olayla ilgili bilgileri içerir. Bir sistem veya ağ içinde başlangıçta, Loglar öncelikle sorun giderme için kullanılırdı. Ancak loglar artık sistem ve ağ optimizasyonu gibi çoğu kuruluşta birçok fonksiyona hizmet etmektedir. Performans, kullanıcı eylemlerini kaydetme ve kötü amaçlı etkinlikleri araştırmak için yararlı veriler sağlamaktadır.
Log yönetimi altyapıları, sistem ve ağ performansını optimize etme, kullanıcıların eylemlerini kaydetme ve kötü amaçlı etkinlikleri tanımlamak ve güvenlik olaylarını araştırmak için yararlı veriler sağlamak gibi log verilerinin üretimini, analizini ve güvenliğini destekleyen işlevleri yerine getirir.
Log altyapısı, log oluşturma, izleme, analiz, koruma, depolama ve bertaraf için süreçleri içerebilir. Log yönetim politikaları, denetlenebilir olayları ve depolama/saklama gerekliliklerini tanımlamalı ve önceliklendirmelidir.
Loglar, içinde meydana gelen birçok farklı olay türü ile ilgili bilgileri içerecek şekilde geliştirilmektedir.
Yüksek ya da düzenleyici uygunluk için gerekli olduğunda kategorize edilen sistemler veya uygulamalar, asgari olarak aşağıdaki denetlenebilir bilgileri ve olayları kaydetmelidir:
• Kullanıcı adı
• Giriş ve çıkış tarihleri
• Oturum açma yöntemi, konum, terminal kimliği (eğer mümkünse), Ağ adresi
• Başarısız sistem veya veri erişim denemeleri
• Tüm yöneticiler, geliştirici, süper kullanıcı veya diğer ayrıcalıklı erişim kullanan kullanıcılar
• Sistem uyarıları veya hataları
• Önemli olarak nitelendirilen olaylar kayıt türleri
Log verileri, eğitimli personel tarafından rutin olarak incelenmeli ve analiz edilmelidir. Log kayıt dosyalarına ve konfigürasyonlarına erişim denetlenmeli, izlenmeli ve ilgili personelle sınırlandırılmalıdır.
Sistemler olası saldırıları kendi formatına göre kayıt altına alabilmektedir. log yönetim ürünleri son kullanıcının anlayacağı dile çevirerek saldırılar hakkında bilgi toplanmasına fayda sağlayabilir.
FISMA, HIBAA, SOX, COBIT, ISO 27001 ve 5651 sayılı kanun (internet suçlarını önlemeye yönelik) gibi yerel veya uluslararası standartlar log yönetimini zorunlu kılmaktadır. Kanunlar ve standartlar tüm yaptırımlardan her zaman daha etkin bir role sahiplerdir.
Log yapıları kullanılan sistemlere göre karakterleri itibari ile dağıtık yapıya sahip sistemlerdir.
Log kayıt dosyaları Devletin muhafaza şartlarına tabidir ve yeterli detayda ve uygun bir süre için saklanmalıdır. Log kayıt arşivlerinin bütünlüğü ve kullanılabilirliği korunmalıdır.
EPS hakkında bilgi vermek gerekirse ingilizce “Event Per Second” olarak tanımlanmaktadır. Bir saniye içerisinde sisteme ulaşan data miktarını tanımlayan değerdir. Log toplama sistemlerinde eklenen kaynakların tamamından veya bir tanesinden, var olan n saniyelik periyotta, log aldığınız ürüne ulaşan data miktarı olarak özetlenmektedir.
*Şunu unutmamak gerek log yönetim ürünleri kesinlikle bir saldırı önleme sistem olarak algılanmamalıdır.
Kanun ve Mevzuat Gereklilikleri:
5070 Sayılı Kanun
5070 sayılı elektronik imza kanununa göre zaman damgası alınarak sistem içerisindeki logların imzalanarak arşivlenmesi gerekmektedir. Nitelikli zaman damgası hizmeti veren kurumun ZD (Zaman Damgası) fiyatlandırması aşağıdaki tabloda belirtilmiştir.
http://www.kamusm.gov.tr/urunler/zaman_damgasi/fiyatlandirma.jsp
Örnek: Türkiye’deki Nitelikli Zaman Damgası hizmeti veren kuruluşlar her imza için 177 Kuruş ücret talep edilmektedir. Saniyede 1000 EPS kayıt oluşturan bir firma için ödenecek rakam saniyede 177 TL, dakikada 177 x 60 = 10.620 TL , günde 10620 * 3600 = 38.232.000 TL yapar.
Türkiye’de belirli sektörlerde hizmet veren kuruluşların tabi oldukları yasalara göre logları saklama süreleri yayınlanan kanun veya mevzuatlarda belirtilmektedir.
T.C Kanun veya Mevzuatların Gereklilikleri 5651 kanunu (İNTERNET ORTAMINDA YAPILAN YAYINLARIN DÜZENLENMESİ VE BU YAYINLAR YOLUYLA İŞLENEN SUÇLARLA MÜCADELE EDİLMESİ HAKKINDA KANUN)
http://www.resmigazete.gov.tr/eskiler/2017/04/20170411-3.htmMADDE 4 – (1) İnternet toplu kullanım sağlayıcılarının yükümlülükleri şunlardır:
a) Konusu suç oluşturan içeriklere erişimi önleyici tedbirleri almak amacıyla içerik filtreleme sistemini kullanmak.
b) Erişim kayıtlarını elektronik ortamda kendi sistemlerine kaydetmek ve iki yıl süre ile saklamak.
c) Kamuya açık alanlarda internet erişimi sağlayan toplu kullanım sağlayıcılar, kısa mesaj servisi (sms) ve benzeri yöntemlerle kullanıcıları tanımlayacak sistemleri kurmak.
2) İnternet toplu kullanım sağlayıcılar, konusu suç oluşturan içeriklere erişimi önleyici tedbirleri almak amacıyla içerik filtreleme sisteminin yanı sıra, ilave tedbir olarak güvenli internet hizmeti de alabilirler.
SPK (Sermaye Piyasası Kurulu)
http://www.resmigazete.gov.tr/eskiler/2015/08/20150801-6.htmMADDE 27 ‒ (1) Yatırım kuruluşlarının yatırım hizmet ve faaliyetleri ile yan hizmetler dolayısıyla aldıkları ve ürettikleri elektronik olanlar da dahil her türlü belgeyi, gerçekleşip gerçekleşmemesine bakılmaksızın müşteri emirlerine ilişkin tüm emir formlarını, elektronik ortamda alınan emirleri ve bu emirlere ilişkin belgeler ile faks kayıtlarını düzenli ve tasnif edilmiş bir biçimde 13/1/2011 tarihli ve 6102 sayılı Türk Ticaret Kanununun 82 nci maddesi uyarınca 10 yıl süre ile saklamaları zorunludur.
Ses kayıtları için saklama süresi 3 yıldır.
6518 Sayılı “AİLE VE SOSYAL POLİTİKALAR BAKANLIĞININ TEŞKİLAT VE GÖREVLERİ HAKKINDA KANUN HÜKMÜNDE KARARNAME İLE BAZI KANUN VE KANUN HÜKMÜNDE KARARNAMELERDE DEĞİŞİKLİK YAPILMASINA DAİR KANUN”
http://www.resmigazete.gov.tr/eskiler/2014/02/20140219-1.htmMADDE 88 – 5651 sayılı Kanunun 5 inci maddesinin ikinci fıkrası aşağıdaki şekilde değiştirilmiş ve aynı maddeye aşağıdaki fıkralar eklenmiştir.
2) Yer sağlayıcı, yer sağladığı hukuka aykırı içeriği bu Kanunun 8 inci ve 9 uncu maddelerine göre haberdar edilmesi hâlinde yayından çıkarmakla yükümlüdür.
3) Yer sağlayıcı, yer sağladığı hizmetlere ilişkin trafik bilgilerini bir yıldan az ve iki yıldan fazla olmamak üzere yönetmelikte belirlenecek süre kadar saklamakla ve bu bilgilerin doğruluğunu, bütünlüğünü ve gizliliğini sağlamakla yükümlüdür.
4) Yer sağlayıcılar, yönetmelikle belirlenecek usul ve esaslar çerçevesinde yaptıkları işin niteliğine göre sınıflandırılabilir ve hak ve yükümlülükleri itibarıyla farklılaştırılabilirler.
5) Yer sağlayıcı, Başkanlığın talep ettiği bilgileri talep edilen şekilde Başkanlığa teslim etmekle ve Başkanlıkça bildirilen tedbirleri almakla yükümlüdür.
6) Yer sağlayıcılık bildiriminde bulunmayan veya bu Kanundaki yükümlülüklerini yerine getirmeyen yer sağlayıcı hakkında Başkanlık tarafından on bin Türk Lirasından yüz bin Türk Lirasına kadar idari para cezası verilir.
ELEKTRONİK HABERLEŞME SEKTÖRÜNDE ŞEBEKE VE BİLGİ GÜVENLİĞİ YÖNETMELİĞİ
http://mevzuat.basbakanlik.gov.tr/Metin.Aspx?MevzuatKod=7.5.19880&MevzuatIliski=0&sourceXmlSearch=ElektronikMADDE 29 – (1) İşletmeci, istenmeyen bilgi işleme faaliyetlerinin önlenmesi ve bilgi güvenliği ihlal olaylarının tanımlanması amacıyla kritik sistemleri izler ve asgari aşağıdaki hususların uygulanabilir olanlarını içeren kayıt dosyalarını en az 2 yıl süreyle tutar:
*Tabi olunan kanun ve mevzuatların düzenleme/iptal durumlarında değişklik gösterdiği için düzenli olarak takip edilmesi gerekmektedir.
Log Yönetiminin Temel Başlıkları:
Log GüvenliğiGüvenlik yöntemleri Log yönetim çözümleri arasında değişiklik göstersede, aşağıdaki genel tavsiyelere bakmakta fayda var:
• Log kaydı üreten süreçlerin bütünlüğünü sağlamak, yetkili/yetkisiz kullanıcıların değiştirmeye veya kesintiye uğratmalarına izin verilmemelidir.
• Yerel kayıt dosyalarına erişimi sınırlandırılmalı, log verilerini ana makinelerde saklanırsa kullanıcı hesaplarına log erişim verilmemelidir. Log dosyalarına mümkünse, okunamaz, yeniden adlandırılamaz veya log dosyalarına ayrıcalık erişim hakları bulunanların silebilmesine karşı engellenmesi gerekir.
• Merkezi kayıt dosyalarında güvenliğin önemi merkezi log kayıtlarına ulaşmak isteyen saldırganlar için cazip bir hedef olarak görülmektedir. Bir çok kaynak dizinden elde edilen log verilerinin değiştirilmemesi için merkezi konum, dijital imzalama veya şifreleme gibi güvenlik önlemlerinin önemi büyüktür. Bu verilerin bütünlüğünü sağlamak, olumsuz durumlarda oluşan olayların gerçek kanıtlarına ulaşmak için gereklidir.
• Log kayıtlarının güvenli veri aktarımı mümkünse, log kaynakları ve merkezi bir log arasında aktarılan veriler yetkisiz modifikasyonları önlemek için güvence altına alınmalıdır. Cihazlardaki logların iletimi için kullanılan ajanlar tarafından şifreli iletişim kanalları desteklenmelidir. Düz metin protokolleri kullanan diğer log kaynakları Internet Protokolü Güvenliği gibi ek şifreleme katmanlarının kullanılması (IPsec) tünelleri gereklidir. Bu da birçok kuruluş için pratik olmayabilir ancak yüksek değerli log kaynaklarının verilerini aktarması gerektiğinde dikkate alınması gerekmektedir.
Log Depolama ve Saklama
Log kaynağı tanımlama ve seçim işlemi tamamlandıktan sonra, bu bilgilerin saklanması için uygun yöntem belirlenmelidir. Kullanılabilecek farklı depolama stratejisi vardır:o Yerel Depolama
o Merkezi Depolama
o Vb.
Yerel depolama, kuruluş genelinde depolama gereksinimleri için cihaz kendi veri deposunu tedarik etmekle sorumludur ve veritabanı temini gereklidir.
Merkezi depolama, bir ağa bağlı olan çeşitli aracıların kendi loglarını ya da bir amaca yönelik olarak oluşturulan logları ortak bir yönetim merkezinde toplanmasının temini gereklidir.
Her ne kadar bazı yerel log kayıtları genellikle tavsiye edilse de daha büyük miktarlarda log verilerinin önceden toplanması ve bunlarla ilişkilendirilmesini sağlamak gerekir. Merkezi depoalama izinsiz giriş tespiti ve yanıtlama amaçları için gerçek zamanlı analizleri mümkün kılmakta. İki yaklaşımın ortak kombinasyonuda bir yöntem olarak düşünülebilir. Bu iki depolama durumlarında, en önemli log kaynakları ve verileri alanlar otomatik olarak merkezi bir yere yönlendirilir ve gerçek zamanlı analiz için daha derin verilere daha kısa sürede ulaşmak için saklanır. Bireysel cihazlar muhafaza edilen yerel depolama için bir olay tespit edilmesi gerektiğinde talep cihaz üzerinde sorgulanır.
Örnek: Bir yıllık log depolama alanı için ortalama disk kapasitesi = 365 gün x 24 saat x 3600 saniye x 1000 EPS x 150 byte (ortalama bir değer anlınmıştır) = 475~ gigabyte / yıl diyebiliriz. İyi bir sıkıştırma yöntemiyle bu değer dahada küçültülebilir.
Log Retention
Log toplama çözümünde aranması gereken özelliklerden biri eski olay kayıtlarının log toplama sistemi dışında saklanmasıdır. Bu özellik “Log Retention”olarak bilinir.Örnek: 5651 sayılı kanun 2 yıl kayıtların saklanmasını istemektedir. Bundan eski kayıtların veritabanında saklanması maliyet olarak daha fazla yük getireceği için ilgili kayıtların başka bir ortamda saklanması ihtiyacı ortaya çıkmıştır.
Log retention sayesinde ilgili kayıtlar daha ucuz bir ortamda saklanabilir ve gerektiğinde tekrar sisteme yüklenebilir.
Bu durumun olumsuzlara karşı (logların değiştirilmesi, silinme veya bozulması vb.) nedenlerden ötürü, kayıtları veritabanında saklayan ürünler biraz daha avantajlı görünmektedir.
Log yönetiminde son kullanıcılar için gerekli özellikler:
• Gelişmiş arama ve filtreleme özellikleri
• İstenilen log detaylarına göre görüntüleme ve arama
• Gerçek zamanlı arama ve izleme; bağlamsal görünüm, özel etiketler ve canlı kuyruk arama
• Hatalara ve uyarılara dikkat çekmek için otomatik renk kodlaması
• Gerçek zamanlı log kuyrukları
• Çeşitli uygulama ve sunucu loglarını destekleme
• İhtiyacınız olanı bulmak için sınırsız miktarda veri ile arama yapma
• Herhangi bir veri hatasını izlemek için özel uyarılar ve tetikleyiciler
• Basit ve kullanıcı dostu arayüz
• Kolay kurulum; doğrudan servis tarafından sağlanan bir bağlantıya giriş yapma
• Birden çok kaynaktan veriyi ayırabilen birleştirilmiş log katmanı
• Modern veri kaynaklarının çoğunluğu ile uyumlu olma
• Logların yüksek performanslı ve yüksek hızla işlenmesi.
• Yasalara uygun olarak otomatik raporlama
• Son derece ölçeklenebilir ve herhangi bir performans sorunu olmadan terabaytlarca veriyi yönetebilme
• Linux, GNU, Solaris, BSD, Android ve Windows için çoklu platform desteği
• 500.000 EPS veya daha fazla sayıda logları toplama yeteneği ile ölçeklenebilir ve yüksek performans gösterme
• SSL üzerinden güvenli ağ aktarımı
• Anlık raporlar - arama sorgularınıza göre ayrıntılı raporlar oluşturma
• Mevcut tüketim oranına bağlı olarak daha fazla depolama kullanılabilirliğine ihtiyaç duyacağınızı bilmenizi sağlayan sezgisel depolama ve uyarı analizi
• Yüksek kapasiteli log sınıflandırma
• FISMA, HIBAA, SOX, COBIT, ISO 27001 ve 5651 sayılı kanun (internet suçlarını önlemeye yönelik) gibi yerel veya uluslararası standartlar ve bilgi güvenliği süreçlerini optimize etme
• Dosya bütünlüğünü izleme
Özet:
Logların Merkezileştirilmesi
Günlük verilerinin bir log yönetim çözümünde merkezileştirilmesi eski bir standarttır. Ancak herhangi bir log yönetim çözümü hayati bir bileşendir. Bilgisayar korsanları, logları yok edebilir, izleme mekanizmalarını devre dışı bırakır ve log yönetimin algılamasının önüne geçmek için ağınızın denetlenmeyen köşelerine gizlenebilir. Merkezi bir log yönetim sistemi, bilgisayar korsanlarının ellerinden çıkıp ağdaki verileri topladığı için merkezi log yönetim çözümleri iyi bir alanda saklanması bu durumları engelleyecektir. Çözüm önerisi olarak, şifrelenmiş kanallar üzerinden veriyi çoklu araçlarla toplamaktır.Bir log yönetim sürecinde 5 (beş) parametre vardır. Bunlar aşağıdaki gibidir:
Görünürlük
Bir log yönetimi çözümü, kurumunuzdaki tüm olayları bir kerede takip etme, BT güvenlik ekiplerinin güvenlik algılama verimliliğinizi iyileştirme ve etkinlik farkındalığını artırma yeteneğinini artırmaktadır. Bu durumların harcinde kötü amaçlı siber güvenlik olaylarına karşı geliştirilmiş bir tepki süresi olmalıdır.Depolama
Depolama kapasitesi, log kayıtlarının güvenliğini ve gerektiğinde kolayca geri alınmasını sağlamak için koruma, sıkıştırma, şifreleme ve arşiv işlevlerini içermelidir. Küresel girişimler, logların sadece depolama alanlarının ihtiyaçlarını karşılayıp karşılamadığını değil, aynı zamanda farklı uluslararası veri kanunlarıyla da ilgilenip ilgilenmediklerini de dikkate alarak, logların depolama alanlarını dikkate almalıdır.Yasalar
İster hükümet ister endüstriyel olsun, hemen hemen hepsi etkinlik ve olay verisi kaydıyla uyumluluk gerektirir. Log yönetimiyle merkezi bir kayıt sistemine sahip olmak, bu uyum çabalarının verimliliğini artırır. Ancak, kuruluşunuzun tam olarak ne yapması gerekeceğini ve her girişim için ne kadar süre muhafaza edileceğinde farklılıklar olacaktır. Log yönetim çözümleri, esnekliğe ve işletmeye özgü denetim kontrollerine adapte olabilmelidir.Arama
Herhangi bir log yönetim çözümü için dizin oluşturma ve sorgulama yetenekleri bir zorunluluktur. İyi bir çözüm, benzersiz aramalar ve sınıflandırma etiketleri ile log aramalarını optimize etmek için birden fazla sorgu seçeneği sunmalıdır.Raporlama
Raporlama, özellikle dikkat etmeniz gereken bir alandır. Güvenlik trendleri hakkında size önemli veriler sağlar ve uygunluğu kanıtlar. Raporlama, güvenlik politikalarının güvenliği ihlal edebilecek veya sonuçta ortaya çıkabilecek güvenlik olaylarına dayalı olarak değişiklik yapma ihtiyacını doğrulamanıza yardımcı olabilir.• İstenilen türdeki raporları uyumlu hale getirmek ve uyum sağlamak için gereken araçların ve verilerin sağlanması gerekli,
• Sistemlere ve kaynaklara kimlerin eriştiğini anlamak çok önemlidir. Güvenliği korumak için gereken ayrıntıları almalı,
• Başarısız oturum açma girişimlerini, oturum açma durumlarını, hesap yönetimini, yeni kullanıcı hesaplarını ve nesne erişimini takip etmeli,
• Kullanıcı erişimini analiz etmek ve denetlemek için dahili ölçütleri destekleyen karmaşık filtreler oluşturmalı,
• Günlük veya haftalık “Güvenlik Etkinliği” raporları başarısız oturum açılması gibi durumların raporu alınmalı,
• Başarısız oturum açma denemelerinin, hesap kilitlemelerinin ve dosya erişiminin gerçek zamanlı bildirimleri alınmalı,
Raporlama işlevlerimiz, birçok yasal uyum standartlarını karşılamalı, İlgili yasalar bazıları:
o PCI Veri Güvenliği Standardı (PCI DSS)
o Sarbanes-Oxley Yasası (SOX)
o Sağlık Sigortası Taşınabilirlik ve Sorumluluk Yasası (HIPAA)
o Avrupa Birliği Veri Koruma Direktifi (EU DPD)
o 2002 Federal Bilgi Güvenliği Yönetimi Yasası (FISMA)
o Ulusal Standartlar ve Teknoloji Enstitüsü (NIST)
o ISO 27001 Bilgi Güvenliği Yönetimi
Log Yönetim Altyapıları:
**Bu mimaride geçen tanımlar ELK STACK referans alınarak anlatılmıştır.
Log Kaynakları:
İşletim Sistemlerio Windows XP/Vista/7/8/10
o Windows Server 2000/2003/2008/R2/2012/2016
o Unix/Linux Türevleri
o Nas Cihazları (NetApp)
Uygulamalar
o IAS (Vpn), DHCP
o IIS 6/7/7.5/8/8.5/10 (W3C)
o Apache (Syslog)
o SharePoint
o Postfix
Network Cihazları
o Cisco Switch/Router
o Generic Syslog
o Snmp mib walk
Firewall / Proxy
o ISA/TMG Server/Websense/Juniper
o Cisco Pix/CheckPoint
o Exchange 2007, 2010, 2013, 2016
o Office 365 Exchange
o SendMail/Qmail ve Bezeri *nix Tabanlı Sistemler
Veri Tabanı
o Oracle
o MySQL
o MSSQL
o Sybase
IDS/IPS
o Cisco
o Palo Alto Networks
o WatchGuard
o Fortinet
o Check Point
Redis:
Bir veri yapısı sunucusudur. Açık kaynak, bellek kullanımlı, anahtar-değer deposudur. Redis "Uzak Sözlük Sunucusu" (İngilizce: "REmote DIctionary Server") anlamına gelmektedir. Çeşitli kaynaklara göre en çok kullanılan anahtar-değer veritabanıdır. Haziran 2015'den beri Redis Labs şirketi tarafından geliştirilmesine destek sağlanmaktadır. Ondan önce Pivol Software ve VMware şirketleri tarafından destekleniyordu.Programlama Dili Desteği
Çoğu programlama dili Redis ile çalışabilmektedir. ActionScript, C, C++, C#, Clojure, Common Lisp, Dart, Erlang, Go, Haskell, Haxe, Io, Java, JavaScript (Node.js), Lua, Objective-C, Perl, PHP, Pure Data, Python, R, Racket, Ruby, Scala, Smalltalk vb.Veri Türleri
Redis verileri anahtar-değer atamalarına göre depolamaktadır. Diğer anahtar-değer veritabanlarından farklı olarak Redis soyut (abstract) veri türlerini de desteklemektedir. Bunlar:• Metin listeleri
• Metin kümeleri (tekrar etmeyen dağınık koleksiyon elementleri)
• Dizili metin kümeleri (tekrar etmeyen kayan nokta skoruna göre dizili metin setleri)
• Anahtarlar ve değerlerinin metin olduğu hash tabloları
Redis sunucu tarafında atomik işlemlere imkan tanır.
ElasticSearch:
Lucene merkezli bir arama motorudur. HTTP web arayüzü ve şema içermeyen JSON belgelerine sahip, dağıtık, çok kanallı, tam metinli bir arama motoru sağlar. Elasticsearch, Java'da geliştirilmiştir ve Apache Lisansı koşulları altında açık kaynak olarak piyasaya sürülmüştür. Resmi istemciler Java, .NET ( C # ), PHP, Python, Apache Groovy, Ruby ve diğer birçok dilde kullanılabilir. DB-Motorları, Elasticsearch ardından en popüler kurumsal arama motorudur.Elasticsearch bir veri koleksiyonunda birlikte geliştirilmiştir ve log-ayrıştırma Logstash denilen motoru ve adı verilen bir analitik ve görselleştirme platformu olan Kibana . Üç ürün, "Elastik Yığın" (eskiden "ELK yığını") olarak adlandırılan entegre bir çözüm olarak kullanılmak üzere tasarlanmıştır.
Elasticsearch, her türlü belgeyi aramak için kullanılabilir. Ölçeklenebilir arama sağlar, gerçek zamanlı aramaya yakındır ve çoklu erişimi destekler. "Elasticsearch dağıtılır, bu da endekslerin parçalara bölünebildiği ve her bir parçanın sıfır veya daha fazla kopyaya sahip olabileceği anlamına gelir. Her düğüm bir veya daha fazla parçaya ev sahipliği yapar ve operasyonları doğru parçalara dağıtmak için bir koordinatör görevi görür. Yeniden dengeleme ve yönlendirme otomatik olarak yapılır ". İlgili veriler genellikle bir veya daha fazla birincil parçadan oluşan sıfır ve daha fazla çoğaltma parçası içeren aynı dizinde saklanır. Bir indeks oluşturulduktan sonra, birincil parçaların sayısı değiştirilemez.
Elasticsearch, Lucene'yi kullanır ve tüm özelliklerini JSON ve Java API'sı aracılığıyla kullanıma sunmaya çalışır. Başka bir özellik "ağ geçidi" olarak adlandırılır ve dizinin uzun süreli kalıcılığını ele alır; Örneğin, bir sunucu çökmesi durumunda ağ geçidinden bir dizin kurtarılabilir. Elasticsearch, gerçek zamanlı GET isteklerini destekler, bu da onu bir NoSQL veri deposu olarak uygun hale getirir, ancak dağıtılmış işlemlerden yoksundur.
• Cluster (Küme):
Cluster'ın ana rollerinden biri, hangi düğümlerin hangi düğümlere tahsis edileceğine karar vermek ve kümeleri yeniden dengelemek için düğümler arasındaki parçaları ne zaman hareket ettirmek gerektiğini sağlamaktır.o Node (Düğüm):
Elasticsearch başlattığınızda, bir düğüm başlatmış olursunuz. Bağlı düğümlerin bir koleksiyonuna küme denir. Tek bir Elasticsearch düğümü çalıştırıyorsanız, bir düğümden oluşan bir kümeniz olduğu anlamına gelir.Kümedeki her düğüm varsayılan olarak HTTP katmanındaki trafiği işleyebilir. Aktarım katmanı sadece düğümler ve JavaTransportClient arasındaki iletişim için kullanılır ; HTTP katmanı yalnızca harici REST istemcileri tarafından kullanılır.
Tüm düğümler kümedeki diğer tüm düğümleri bilir ve istemci isteklerini uygun düğüme iletebilir. Bunun yanı sıra, her düğüm bir veya daha fazla amaca hizmet edebilir.
Logstash:
Logstash, olayları ve log mesajlarını toplamak, işlemek ve iletmek için kullanılan bir araçtır. Koleksiyon, ham soket/paket iletişimi, dosya kuyruğu ve birkaç mesaj veri yolu istemcisi dahil yapılandırılabilir. Giriş eklentileri aracılığıyla gerçekleştirilir. Bir giriş eklentisi veri topladıktan sonra, olay verilerini değiştiren ve not ekleyen herhangi bir sayıda filtre ile işlenebilir. Son olarak, logstash olayları, eklentileri Elasticsearch, yerel dosyalar ve birkaç mesaj yolu uygulaması dahil olmak üzere çeşitli harici programlara iletebilen çıkış eklentilerine yönlendirir.Kibana:
Kibana açık kaynak veri görselleştirme eklentisi olarak tanımlanabilir. Bir Elasticsearch kümesinde indekslenen içeriğin üst kısmında görselleştirme özellikleri sağlar. Kullanıcılar, büyük hacimli verilerin üzerine çubuk, çizgi ve dağılım grafikleri veya pasta grafikleri ve haritalar oluşturabilir.Kombinasyonu Elasticsearch "Elastik Stack", Logstash ve Kibana, bir ürün veya hizmet gibi kullanılabilir. Logstash, depolama ve arama için Elastic'e bir girdi akışı sağlar ve Kibana, panolar gibi görselleştirmeler için verilere erişir ve görselleştirme işlemini gerçeklşetirir.
Log Yönetim Ürünleri:
Açık kaynak kodlu ürünler: (Ürünlerin sıralaması herhangi bir öncelik/tercih durumunu ifade etmemektedir)
1. Splunk, macOS, Linux ve Windows için kapsamlı bir log yönetim sistemidir. Sistem yönetimi topluluğu içinde iyi bilinen bir programdır. Splunk sadece bir log dosyası düzenleyicisi değil, bir ağ yönetim sistemi görevide görmektedir.
Ücretsiz Splunk dosya analizi ile sınırlıdır. Standart kayıtlarınızdan herhangi birini besleyebilir veya bir dosya üzerinden canlı verileri analizöre gönderebilirsiniz. Ücretsiz hizmet programı yalnızca bir kullanıcı hesabına sahip olabilir ve veri çıkışı günde 500 MB ile sınırlıdır. Sistem ağ açıklarıyla ilgilenmez, ancak bir dosyaya yazılan uyarıları alıp Splunk'a geri döndüğünüzde bu işlevi yapılandırabilirsiniz.
2. Graylog, yalnızca bir log arşivleme yardımcı programından çok daha fazla işlevsellik kazandıran ücretsiz, açık kaynaklı log yönetim sistemidir. Bu log yönetim sistemi bir grafik kullanıcı arayüzüne sahiptir ve Ubuntu, Debian, CentOS ve SUSE Linux üzerinde çalışabilir. Microsoft Windows üzerinde sanal bir makinede de çalıştırabilirsiniz ve Graylog sistemini Amazon AWS'ye yükleyebilirsiniz.
Bu log yönetim sistemi herhangi bir kayıt ile çalışabilir. Sistem raporlarını bir dosyaya kanalize ederek diğer kaynaklardan gelen veriyle besleyebilirsiniz, böylece kendi log raporlarınızı oluşturabilirsiniz.
Eylem komut dosyaları, log verilerini ekrana, diğer kayıtlara veya diğer uygulamalara iletebilir. Pano, verileri histogramlar, pasta grafikleri, çizgi grafikleri ve renk kodlu listeler biçiminde gösterir. Arama yöntemi, belirli olay türleri veya belirli kaynaklar hakkında bilgi almak için log kayıtlarını filtrelemenizi sağlayan bir arama ve sorgulama işlevi içerir.
Log dosya işleminizi otomatikleştiren ve hata çözümünü otomatik olarak yürüten inanılmaz ve çok kapsamlı bir araçtır.
Bir sonraki SIEM hakkındaki blog yazısında görüşmek üzere.
