{"id":2542,"date":"2016-11-29T11:51:16","date_gmt":"2016-11-29T10:51:16","guid":{"rendered":"https:\/\/www.boc.de\/watchguard-info-portal\/?p=2542"},"modified":"2024-09-03T09:38:05","modified_gmt":"2024-09-03T07:38:05","slug":"erweiterte-log-auswertung-mit-graylog","status":"publish","type":"post","link":"https:\/\/wordpress.boc.de\/watchguard-info-portal\/2016\/11\/erweiterte-log-auswertung-mit-graylog\/","title":{"rendered":"Erweiterte Log-Auswertung mit graylog"},"content":{"rendered":"

\"graylog-dashboard\"WatchGuard bietet einen sehr leistungsstarken Logging- und Reporting-Server: den WatchGuard Dimension Server. Allerdings m\u00f6chte man manchmal die Auswertungen noch etwas spezifischer zusammenbauen. Nachdem WatchGuard die M\u00f6glichkeit bietet, die Logs zus\u00e4tzlich auf einen Syslog-Server zu schreiben, lag es nahe, dort anzusetzen. Auf der Suche nach einem Syslog-Server mit h\u00fcbschen Auswertungen bin ich \u00fcber graylog <\/a>gestolpert. Graylog basiert auf einem Linux-Elasticsearch-Stack mit einem\u00a0h\u00fcbschen und leistungsf\u00e4higen Web-Frontend. Die Installation ist denkbar einfach, da es das ganze Paket\u00a0vorkonfiguriert f\u00fcr alle m\u00f6glichen Umgebungen gibt, beispielsweise EC2, OpenStack, Docker, als Chef, Puppet, Ansible, Vagrant-Script, nat\u00fcrlich als RPMs\/DEBs und tarball, oder eben auch als OVA-Template (f\u00fcr das ich mich entschieden habe). Ich habe also eine VM aus dem Template installiert. Die Hardware-Anforderungen f\u00fcr den Start sind \u00fcbersichtlich: 4 GB RAM und 20 GB HDD. (letzteres ist nat\u00fcrlich den eigenen Bed\u00fcrfnissen anpassbar).<\/p>\n

<\/p>\n

Zun\u00e4chst einmal ein m\u00f6gliches Ergebnis der Auswertungen: Ich habe auf der Firewall eine Policy eingerichtet, die Zugriffsversuche auf einige Zielports (z.B. 22, 23, 3389, 8443) monitort und anschlie\u00dfend die IP-Adressen auf die automatische tempor\u00e4re Blocklist der WatchGuard setzt. Wer versucht, per SSH oder Telnet\u00a0zuzugreifen und nicht aus den erlaubten IP-Ranges kommt, ist vermutlich b\u00f6se und kann daher 20min geblockt werden. Allerdings m\u00f6chte ich hierzu auch eine Auswertung haben. Ebenso\u00a0ist eine Auswertung \u00fcber Proxies und Applications m\u00f6glich:<\/p>\n

\"graylog-blocked-sites\"<\/p>\n

Installation des graylog-Servers<\/h3>\n

Auf die Installation des graylog-Servers als OVA-Template gehe ich nicht weiter ein. Man sollte allerdings bedenken, dass der Server bitte HINTER der Firewall im Trusted Network stehen sollte, bei erh\u00f6hten Security-Bed\u00fcrfnissen gerne auch in einer DMZ mit gezielten Policies – der Server hat so einige Ports per default offen – eine MongoDB f\u00fcr config-Storage, den Elasticsearch Stack, etc. Zudem ist das Auswerte-Frontend in der Default-Installation auf Port 80 unverschl\u00fcsselt. (das kann und sollte man im Produktiven Einsatz definitiv auf https umstellen).<\/p>\n

Zu beachten sind auch die Datenschutzbestimmungen f\u00fcr den Zugriff auf den Logserver und das Logging personenbezogener Daten –\u00a0im Gegensatz zur WatchGuard Dimension gibt es hier nicht die M\u00f6glichkeit einer Anonymisierung.<\/strong><\/p>\n

Konfiguration des graylog-Servers<\/h3>\n

Zun\u00e4chst muss der Syslog-Server als Input auf dem graylog-Server aktiviert sein. Unter System => Inputs <\/strong>kann n\u00f6tigenfalls der appliance-syslog-udp Input aktiviert werden. Anschlie\u00dfend\u00a0wird in der WatchGuard unter Setup => Logging<\/strong> das Logging an den graylog-Server (syslog) aktiviert.<\/p>\n

\"graylog-syslog-udp\"<\/p>\n

Definition der Extraktoren<\/h3>\n

Nachdem nun die Log-Nachrichten auf dem graylog-Server ankommen, k\u00f6nnen diese ausgewertet werden – allerdings m\u00fcssen die Log-Nachrichten noch geparst werden, um vern\u00fcnftige Schlagw\u00f6rter zu erhalten. Hierzu bietet graylog die M\u00f6glichkeit,\u00a0die bei Elastiksearch \u00fcblichen Methoden: JSON-Parser, GROK-Parser etc. Unter System => GROK patterns <\/strong>werden nun zus\u00e4tzliche Patterns eingerichtet:<\/p>\n

WatchGuardFirewall<\/strong><\/p>\n

firewall: %{<\/span>NOTSPACE:UNWANTED}<\/span> %{<\/span>NOTSPACE:FWAction}<\/span> %{<\/span>NOTSPACE:src_interface}<\/span> %{<\/span>NOTSPACE:dst_interface}<\/span> %{<\/span>NOTSPACE:pckt_len}<\/span> %{<\/span>NOTSPACE:protocol}<\/span> %{<\/span>NOTSPACE:UNWANTED}<\/span> %{<\/span>NOTSPACE:ttl}<\/span> %{<\/span>IPV4:src_ip}<\/span> %{<\/span>IPV4:dst_ip}<\/span> %{<\/span>BASE10NUM:src_port}<\/span> %{<\/span>BASE10NUM:dst_port}<\/span><\/pre>\n
WatchGuardBlocking<\/strong><\/p>\n
firewall: msg_id=\"3001-1001\" Temporarily blocking host %{IPV4:src_ip}<\/pre>\n
\"graylog-grok-patterns\"<\/p>\n
\"graylog-manage-extractors\"<\/p>\n
Die nun definierten GROK Patterns m\u00fcssen noch als Extraktoren aktiviert werden, hierzu gibt es den Button Manage Extractors<\/strong> unter System => Inputs <\/strong>beim jeweiligen Input, also hier dem appliance-syslog-udp Input Stream.<\/p>\n
Die Extraktoren werden \u00fcber den Klick auf Add extractor => Get Started<\/strong>\u00a0, Load Message<\/strong> hinzugef\u00fcgt: Man w\u00e4hlt unter message<\/strong> mit Select extractor Type<\/strong> den Typ Grok pattern<\/strong> und stellt als Pattern mit %{PATTERN-NAME} die oben verwendeten Patterns ein, also beispielsweise %{WatchGuardBlocking}. Als letztes erstellt man den Extractor vom Typ Copy Input<\/strong>\u00a0mit dem verf\u00fcgbaren vordefiniertem Konverter Key = Value Pairs To Fields<\/strong>. \u00dcber Sort extracors<\/strong> mu\u00df ggf. die Reihenfolge korrigiert werden, der Key=Value Extractor<\/strong> mu\u00df als letzter Parser \u00fcber den Stream laufen.<\/p>\n
\"graylog-extractors\"<\/p>\n
Durch diese Extraktoren erhalte ich die entsprechend Felder zur Auswertung im graylog. beispielsweise src_ip, dest_ip, src_port, dest_port, oder auch die von der WatchGuard ab Version 11.12 gelieferte geo_src=“…“ Information. Da diese bereits als key=value geliefert wird, wird sie vom key=value Extractor gefunden; die anderen Keys m\u00fcssen von den Grok-Extraktoren gefunden werden.<\/p>\n
Erstellen der Graphen<\/h3>\n
Unter Search kann man nun im Log suchen – die Such-Queries werden dabei wie f\u00fcr Elastiksearch definiert: eine Suche nach dem entsprechenden Policy-Namen (hier Ports4Blocking) geht beispielsweise so:<\/p>\n
message:*Ports4Blocking*<\/pre>\n
\u00dcber Quick values<\/strong> kann man nun den Graph erstellen und mit Add to dashboard<\/strong> auf ein Dashboard schieben.<\/p>\n
\"graylog-search-to-graph\"<\/p>\n
Fazit und Ausblick<\/h3>\n
Graylog ist ein sehr leistungsf\u00e4higer Syslog-Reporting-Server. Allerdings sollten die Gesamtkosten des Systems nicht untersch\u00e4tzt werden: obwohl\u00a0die Software Open Source ist, mu\u00df man doch mit einer erheblichen Einarbeitungszeit rechnen, bis man sich in die Gedankenwelt von Elasticsearch, Input-Streams, GROK-Filter, etc. eingearbeitet hat. Der Zeitaufwand f\u00fcr das obige Setup, einarbeiten in graylog und diesen Artikel d\u00fcrfte grob bei einem Manntag gelegen haben – und ich hatte bereits vorher einmal Erfahrung mit einem ELK (Elastiksearch + Kibana) Stack gesammelt.<\/p>\n
Weitere Optionen von graylog (vermutlich eine unvollst\u00e4ndige Liste), auf die ich hier (vorerst) nicht tiefer eingehe:<\/p>\n