Strukturiertes Logging und SIEM

Strukturiertes Logging zentralisiert unterstützte Ereignisse von Opfield und Daemons mit durchsuchbaren Feldern und einer Aufbewahrungsrichtlinie. Dimensionieren Sie den Speicher für Aufnahme und Aufbewahrung, überwachen Sie den Zustand von ClickHouse und planen Sie Engine-Upgrades, bevor alte Images nicht mehr unterstützt werden.

Strukturiertes Logging gibt Anwendungen einen durchsuchbaren Log-Speicher mit Feldern, Schemas, Aufbewahrung und Zugriff pro Umgebung statt über Server verstreuter Textdateien. Der SIEM-Export sendet einen reduzierten Audit-Stream an den externen Collector Ihres Sicherheitsteams. Beide erfüllen unterschiedliche Aufgaben: Logs dienen der betrieblichen Diagnose, und SIEM transportiert datenschutzreduzierte Audit-Ereignisse für die Sicherheitsanalyse. Keines ist ein Backup des anderen.

Der Plattformverantwortliche stellt ClickHouse-Kapazität und Aufbewahrungsgrenzen bereit, Dienstverantwortliche legen nützliche Felder und die Datenklassifizierung fest, und der Sicherheitsverantwortliche gibt SIEM-Ziele und Authentifizierung frei. Erfolg bedeutet, dass ein bekanntes Ereignis aufgenommen, gefunden, für den vorgesehenen Zeitraum aufbewahrt, ohne Secrets in Beziehung gesetzt und – wo erforderlich – einmal sicher an den externen Collector zugestellt werden kann.

SIEM-Ziele stellen auditbezogene Ereignisse über eine dauerhafte Outbox zu. Das Deaktivieren von SIEM pausiert neue Zustellungen, ohne die Zielkonfiguration oder historische Abschlusseinträge zu löschen. Testen Sie Signaturen, Wiederholungen, Idempotenz und Empfängerkapazität.

Logs und SIEM-Nutzdaten dürfen keine Passwörter, Tokens, privaten Schlüssel, Verbindungs-URIs von Datenbanken, Prompts, Modellausgaben oder rohe Binding-Zugangsdaten enthalten. Verwenden Sie Request-IDs und stabile Ressourcenkennungen zur Korrelation.

Entscheidungen vor dem Einbinden von Daten

Legen Sie fest, welche Dienste schreiben dürfen, welche Felder erlaubt sind, wie lange Daten aufbewahrt werden, wer sie durchsuchen darf und welche Ereignisse einen externen Export erfordern. Schätzen Sie das Volumen anhand von Ereignissen pro Sekunde, durchschnittlicher Ereignisgröße und Aufbewahrung, statt eine beliebige TTL zu wählen. Eine längere Aufbewahrung erweitert den Vorfallverlauf, erhöht aber auch Speicherkosten und die Auswirkungen beim Erfassen sensibler Daten.

Wählen Sie einen Schemamodus bewusst:

Modus	Verwenden, wenn	Kompromiss
reject	Die Feldqualität bei der Aufnahme erzwungen werden muss	Produzenten müssen abgelehnte Ereignisse korrekt behandeln
strip	Bekannte Felder wichtig sind und unbekannte benutzerdefinierte Daten verworfen werden sollen	Unerwarteter Diagnosekontext wird entfernt
loose	Teams flexible, bereinigte benutzerdefinierte Felder benötigen	Governance und Konsistenz der Suche erfordern mehr Disziplin

Erstellen Sie eine Logging-Umgebung pro Anwendung oder sinnvoller Vertrauensgrenze. Verwenden Sie kein gemeinsames Aufnahme-Token für unabhängige Teams; Tokens sind nur schreibbare Secrets und sollten unabhängig widerrufbar sein.

Ablauf für strukturiertes Logging

1. Aktivieren Sie die Funktion und prüfen Sie den Zustand von ClickHouse.
2. Erstellen Sie eine Logging-Umgebung für eine Anwendung oder Vertrauensgrenze.
3. Hängen Sie ein Schema an, wenn eine Feldvalidierung erforderlich ist, oder verwenden Sie bewusst den Modus loose.
4. Legen Sie Aufbewahrung sowie Anfrage- und Ereignisbudgets passend zum erwarteten Datenverkehr fest.
5. Erstellen Sie ein nur schreibbares Aufnahme-Token und speichern Sie es im Secret-Manager der Anwendung.
6. Senden Sie ein synthetisches Ereignis mit bekannten Feldern und Request-ID.
7. Suchen Sie nach dem Ereignis und prüfen Sie Zeitstempel, Schweregrad, Labels und Aufbewahrungszustand.

Anfragelimits und Ereignislimits sind getrennt. Eine Batch-Aufnahme kann gültige Ereignisse annehmen und ungültige Elemente ablehnen, daher müssen Clients die strukturierte Antwort prüfen, statt anzunehmen, dass der gesamte Batch erfolgreich war.

Das offizielle TypeScript SDK kann für Node.js-Dienste bündeln, wiederholen, flushen und Trace- oder Request-Kontext mitführen. Legen Sie unabhängig vom Client einen Ausweichweg für vorübergehende Nichtverfügbarkeit von Opfield fest und begrenzen Sie lokale Pufferung, damit ein Logging-Fehler weder Arbeitsspeicher noch Festplatte der Anwendung erschöpfen kann.

Aufbewahrung und Kapazität

Die TTL pro Umgebung ist nur eine Grenze. Das Housekeeping von Opfield setzt außerdem globale Zeilen- und ungefähre Festplattenbudgets durch. Überwachen Sie Verfügbarkeit von ClickHouse, Merge-Druck, Festplattenwachstum, abgelehnte Aufnahmen und das Alter des neuesten Ereignisses. Planen Sie die Aufbewahrung anhand von Vorfall- und Compliance-Anforderungen, statt sie unbegrenzt zu lassen.

Das Deaktivieren des strukturierten Loggings blendet die normalen Produktoberflächen aus und lehnt neue Aufnahmen ab, während gespeicherte Daten und Konfiguration erhalten bleiben. Aktivieren Sie es erst wieder, wenn die zugrunde liegende Zustands- oder Leistungsumfangsbedingung verstanden ist.

Erfolg bei der Kapazität ist nicht nur ein fehlerfreier ClickHouse-Prozess. Bestätigen Sie, dass der Zeitstempel des neuesten Ereignisses voranschreitet, Suchen die erwarteten aktuellen Daten liefern, die Aufbewahrung alte Partitionen entfernt und Aufnahmeablehnungen verstanden sind. Opfield kann die Aufnahme pausieren, wenn die konfigurierte Kapazität erschöpft ist, während die bestehende Suche verfügbar bleibt; alarmieren Sie, bevor diese Grenze erreicht ist.

SIEM-Zustellung

Konfigurieren Sie jeden HTTPS-Collector mit der engsten unterstützten Authentifizierungsmethode. Prüfen Sie Zertifikatsvertrauen, Signierung von Anfragen, Idempotenz des Empfängers, akzeptierte Batch-Größe, Wiederholungsverhalten und dauerhaften Zustellverlauf. Die Outbox erfasst den Zustellfortschritt, sodass ein vorübergehender Ausfall des Collectors nicht erfordert, dass Operatoren Ereignisse manuell neu erstellen.

Ist SIEM deaktiviert, bleiben Zielkonfiguration und historische Abschlusseinträge erhalten. Nach dem Ende einer Lizenz-Kulanzfrist pausiert die SIEM-Weiterleitung: Konfiguration, Zustellverlauf und bereits eingereihte Einträge bleiben erhalten, aber Audit-Ereignisse, die während der Pause auftreten, werden nicht eingereiht; die Weiterleitung wird bei Verlängerung ohne Neukonfiguration fortgesetzt. Die Aufnahme strukturierter Logs funktioniert nach der Kulanzfrist weiter. Siehe Downgrade und Ablauf. Bestätigen Sie das letzte vom Empfänger angenommene Ereignis und das Alter der Warteschlange in Opfield, bevor Sie den normalen Betrieb wieder aufnehmen.

Details für Betreiber: Zustellvertrag für SIEM

SIEM-Ziele müssen HTTPS verwenden und können sich mit einem Bearer-Token, HMAC-SHA256 oder einem validierten benutzerdefinierten Header authentifizieren. HMAC-Anfragen enthalten einen Zeitstempel und eine Signatur über den exakten rohen JSON-Inhalt; Empfänger sollten Signaturen in konstanter Zeit vergleichen und veraltete Zeitstempel ablehnen. Legen Sie keine Zugangsdaten in die URL, den Query-String, Logs oder Testtickets.

Opfield stellt über eine dauerhafte Outbox zu und wiederholt bei vorübergehenden Netzwerkfehlern, Timeouts, Ratenbegrenzungen und Serverfehlern. Andere Client-Fehler können zu endgültigen Fehlschlägen werden. Verwenden Sie Send test event, um ein Ziel zu prüfen; das synthetische Testereignis erzeugt weder ein Audit-Ereignis noch eine eingereihte Zustellung. Das Löschen eines Ziels verwirft ausstehende Einträge, während das Deaktivieren die Zustellung zur späteren Fortsetzung pausiert.

Regeln für den Umgang mit Daten

Legen Sie eine Allowlist der Felder fest, die Anwendungen senden dürfen. Schwärzen Sie an der Quelle, denn nachgelagerte Aufbewahrung und Export vervielfachen die Auswirkungen eines preisgegebenen Secrets. Verwenden Sie Ressourcen-IDs, Request-IDs, Trace-IDs und begrenzte Fehlerkategorien statt roher Zugangsdaten, Prompts, Dumps von Umgebungen oder beliebiger Anfrageinhalte.

Gelangt ein Secret ins Logging, stoppen Sie die weitere Ausgabe, widerrufen oder rotieren Sie das Secret an seiner Quelle, beschränken Sie den Zugriff auf die betroffene Umgebung und folgen Sie dem Prozess Ihrer Organisation zur Datenentfernung und Vorfallbehandlung. Ein Suchergebnis aus der Ansicht zu löschen, beweist nicht, dass alle aufbewahrten Partitionen, Exporte oder externen SIEM-Kopien bereinigt wurden.