Störungen bemerken, bevor Kunden anrufen

Der Checkout-Prozess ist seit vierzig Minuten fehlerhaft, aber im Team hat es noch niemand bemerkt. Der erste Hinweis kommt über eine E-Mail eines verärgerten Kunden, nicht über ein internes System, das genau dafür gedacht wäre.

Dieser Ablauf wiederholt sich in vielen kleinen Teams, weil Systembeobachtung als Angelegenheit großer Unternehmen mit eigener Betriebsabteilung gilt. Tatsächlich braucht ein kleines Team weniger Werkzeuge, aber eine klare Reihenfolge beim Aufbau, die selten eingehalten wird.

Dieser Text beschreibt, was ein kleines Team wirklich braucht, um Störungen zu bemerken, bevor Kunden anrufen, in welcher Reihenfolge der Aufbau sinnvoll ist, und an welcher Stelle die Kosten für Speicherung und Verarbeitung unbemerkt explodieren.

Der Aufbau in Kürze

  • Reihenfolge: Erreichbarkeit zuerst, dann Fehlerrate, dann Antwortzeit, dann Detailtiefe.
  • Alarmierung: nur bei Zuständen, die sofortiges Handeln verlangen.
  • Aufbewahrung: kurz für Rohdaten, deutlich länger für verdichtete Werte.
  • Zuständigkeit: eine Person je Woche im Wechsel, nicht ständige Bereitschaft aller.
  • Kostenfalle: unbegrenzte Protokollierung jedes einzelnen Ereignisses ohne Verdichtung.
  • Werkzeug: ein kostenloser oder günstiger Dienst reicht zum Start aus.
  • Testpflicht: ein simulierter Ausfall pro Quartal, nicht nur in der Theorie.

Warum kleine Teams Beobachtung meiden

Der verbreitete Eindruck lautet, Systembeobachtung brauche ein eigenes Team, teure Software und eine Infrastruktur, die für ein Unternehmen mit zehn oder zwanzig Personen unangemessen wirkt. Dieser Eindruck stammt aus Vorträgen großer Unternehmen, deren Ausgangslage eine andere ist.

In der Praxis reicht für den Anfang ein Bruchteil dessen, was in solchen Vorträgen gezeigt wird. Die eigentliche Hürde ist nicht die Technik, sondern die Entscheidung, überhaupt anzufangen, bevor der erste ernsthafte Ausfall dazu zwingt.

Wer erst nach einem schmerzhaften Vorfall aufbaut, baut unter Zeitdruck und trifft dabei regelmäßig die teureren Entscheidungen. Ein ruhiger Aufbau in dieser Reihenfolge dauert insgesamt weniger Zeit als eine hastige Reaktion danach.

Wie technische Entscheidungen im Produkt insgesamt priorisiert werden, ordnet der Beitrag über Technologie in der Produktentwicklung ein. Systembeobachtung ist ein Teil dieser Priorisierung und kein separates Projekt, das man auf unbestimmte Zeit verschiebt.

Was „bemerken, bevor Kunden anrufen“ konkret bedeutet

Drei Ebenen genügen für den Anfang. Die erste ist die Erreichbarkeit: Antwortet der Dienst überhaupt noch, egal wie. Die zweite ist die Fehlerrate: Wie viele Anfragen enden mit einer Fehlermeldung statt mit dem erwarteten Ergebnis.

Die dritte Ebene ist die Antwortzeit: Wie lange dauert eine typische Anfrage, und weicht diese Dauer plötzlich von der gewohnten ab. Alle drei Ebenen lassen sich ohne tiefes technisches Vorwissen einrichten und interpretieren.

Erst wenn diese drei Ebenen stehen, lohnt sich der Blick in die Tiefe, also einzelne Protokollzeilen und detaillierte Abläufe innerhalb einer einzelnen Anfrage. Ohne die ersten drei Ebenen fehlt der Anlass, überhaupt in die Tiefe zu schauen.

Observability kleines Team: der Aufbau in drei Stufen

  1. Erreichbarkeit von außen. Ein einfacher externer Test, der die wichtigsten Adressen regelmäßig aufruft.
  2. Fehlerrate und Antwortzeit im eigenen System. Zählung der Fehlerantworten und Messung der Dauer je Anfrage.
  3. Tiefeneinblick bei Bedarf. Detaillierte Protokolle, aktiviert für einzelne Bereiche, wenn eine Frage offen bleibt.

Diese drei Stufen bauen aufeinander auf. Eine Stufe zu überspringen bedeutet meist, später doppelte Arbeit zu leisten, weil die übersprungene Grundlage nachträglich fehlt.

Stufe eins: Erreichbarkeit von außen prüfen

Ein externer Dienst ruft in kurzen Abständen die wichtigsten Adressen auf, etwa die Startseite und den Bestellvorgang, und meldet, wenn keine gültige Antwort zurückkommt. Dieser Test läuft außerhalb der eigenen Infrastruktur, damit ein Ausfall des eigenen Systems die Meldung nicht ebenfalls verhindert.

Der Aufbau dieser Stufe dauert selten mehr als eine Stunde und liefert bereits einen erheblichen Teil des Nutzens. Viele vollständige Ausfälle werden allein dadurch Minuten statt Stunden nach ihrem Beginn bemerkt.

Wichtig ist die Auswahl der geprüften Adressen. Eine reine Startseite, die auch bei defektem Bestellvorgang normal lädt, meldet einen Ausfall nicht zuverlässig. Geprüft werden sollte, was für den Kunden tatsächlich zählt.

Stufe zwei: Fehlerrate im eigenen System

Die zweite Stufe misst von innen, wie viele Anfragen mit einer Fehlermeldung enden und wie lange eine typische Anfrage dauert. Beide Werte werden über die Zeit aufgezeichnet, damit sich eine Abweichung vom gewohnten Muster erkennen lässt.

Für den Anfang reicht eine grobe Einteilung: erfolgreiche Anfragen, Anfragen mit einem Fehler auf Seiten des Nutzers, und Anfragen mit einem Fehler im eigenen System. Die dritte Kategorie ist die, auf die es ankommt.

Ein plötzlicher Anstieg dieser dritten Kategorie ist meist der früheste verlässliche Hinweis auf ein Problem, deutlich vor dem Punkt, an dem Kunden sich beschweren. Wer diesen Anstieg sieht, bevor die ersten Rückmeldungen eintreffen, gewinnt wertvolle Zeit für die Behebung.

Stufe drei: Tiefeneinblick nur, wenn nötig

Detaillierte Protokolle jeder einzelnen Anfrage liefern viel Information, aber auch viel Speicherbedarf und viel Rauschen. Sie sollten gezielt für Bereiche aktiviert werden, in denen eine konkrete Frage offen ist, nicht flächendeckend von Anfang an.

Ein Bereich, der seit Monaten fehlerfrei läuft, braucht keine tiefe Protokollierung. Ein neu eingeführter Bereich oder einer mit bekannten Schwächen profitiert davon deutlich mehr, zumindest für eine begrenzte Zeit.

Diese gezielte Aktivierung ist der Unterschied zwischen einem System, das hilft, und einem System, in dem die wichtige Information zwischen tausend belanglosen Zeilen untergeht.

Alarmierung: wann ein Piepton gerechtfertigt ist

Ein Mobiltelefon zeigt eine Warnmeldung auf dem gesperrten Bildschirm in dunkler Umgebung
Acabashi / CC BY-SA 4.0

Eine Alarmierung sollte nur bei Zuständen auslösen, die sofortiges Handeln außerhalb der üblichen Arbeitszeit rechtfertigen. Ein vollständiger Ausfall der Erreichbarkeit gehört dazu, eine leicht erhöhte Antwortzeit am Nachmittag in der Regel nicht.

Wird diese Grenze nicht sauber gezogen, entsteht innerhalb weniger Wochen ein Zustand, in dem Meldungen ignoriert werden, weil die meisten davon ohnehin folgenlos bleiben. Genau in diesem Moment verpasst das Team dann auch die eine Meldung, die wirklich zählt.

Bewährt hat sich eine strenge Vorauswahl: Nur wenige, klar definierte Zustände lösen eine sofortige Benachrichtigung aus. Alles andere landet in einer Übersicht, die zu Beginn des Arbeitstages durchgesehen wird.

Wer die Alarme bekommt, und in welcher Reihenfolge

In einem kleinen Team lohnt sich eine wöchentlich wechselnde Zuständigkeit statt einer Bereitschaft für alle gleichzeitig. Eine Person weiß in dieser Woche, dass sie reagiert, und alle anderen wissen es ebenfalls.

Eine Ersatzperson für den Fall, dass die zuständige Person nicht erreichbar ist, gehört von Anfang an dazu. Ohne diese zweite Ebene bleibt ein Ausfall unbeantwortet, wenn ausgerechnet die zuständige Person zu diesem Zeitpunkt offline ist.

Die Übergabe zwischen den Wochen sollte kurz dokumentiert werden: welche Alarme in dieser Woche ausgelöst haben und was daraus gelernt wurde. Diese kurze Notiz verhindert, dass sich derselbe Fehlalarm Woche für Woche wiederholt, ohne dass ihn jemand korrigiert.

Falsche Alarme und wie man sie loswird

Ein Alarm, der zweimal in Folge ohne echten Anlass auslöst, verliert sein Vertrauen sofort. Ab diesem Zeitpunkt wird jede weitere Meldung mit Skepsis gelesen, selbst wenn sie berechtigt ist, und genau das ist der gefährlichste Zustand eines Alarmsystems.

Die Reaktion darauf sollte nicht das Abschalten des Alarms sein, sondern die Anpassung der Schwelle oder der Bedingung, die ihn auslöst. Ein Alarm, der bei jeder kleinen Schwankung feuert, braucht eine gröbere Schwelle, keine vollständige Abschaltung.

Jeder ausgelöste Alarm sollte kurz bewertet werden: berechtigt, zu empfindlich oder überflüssig. Diese kurze Bewertung, direkt nach der Behebung notiert, verhindert, dass sich dieselbe Fehleinstellung über Monate hinweg wiederholt und irgendwann ignoriert wird.

Aufbaureihenfolge und Zeitbedarf

Stufe Zeitbedarf zum Start Laufender Aufwand
Erreichbarkeit von außen unter einer Stunde gelegentliche Kontrolle
Fehlerrate und Antwortzeit ein bis zwei Tage wöchentlicher Blick auf Trends
Tiefeneinblick gezielt je nach Bereich, Stunden Aktivierung und Deaktivierung nach Bedarf
Alarmierung einrichten ein halber Tag vierteljährliche Überprüfung der Regeln

Die vierteljährliche Überprüfung der Alarmregeln ist der Punkt, der am häufigsten ausfällt. Regeln, die einmal sinnvoll waren, passen nach einem halben Jahr oft nicht mehr zum gewachsenen System.

Wo die Kosten unbemerkt explodieren

Der größte Kostenblock entsteht nicht durch die Werkzeuge selbst, sondern durch die Menge der gespeicherten Rohdaten. Wer jede einzelne Anfrage mit vollem Inhalt unbegrenzt speichert, sieht die Rechnung meist erst, wenn sie bereits deutlich gestiegen ist.

Ein zweiter Kostenblock entsteht durch zu viele parallel aktivierte Detailebenen. Tiefeneinblick, der für einen abgeschlossenen Vorfall eingerichtet wurde, aber nie wieder deaktiviert wird, läuft unbemerkt weiter und erzeugt dauerhaft Kosten für einen längst gelösten Fall.

Der dritte Kostenblock ist die Zahl der beobachteten Kennzahlen selbst. Jede zusätzliche Kennzahl, die niemand regelmäßig ansieht, kostet Speicherplatz und liefert keinen Gegenwert. Eine jährliche Durchsicht, welche Kennzahlen tatsächlich genutzt werden, deckt diesen Überhang zuverlässig auf.

Aufbewahrungsfristen, die Speicherkosten begrenzen

Rohdaten mit vollem Detail müssen selten länger als wenige Wochen aufbewahrt werden, weil sie vor allem für die Untersuchung eines aktuellen Vorfalls gebraucht werden. Danach reicht eine verdichtete Zusammenfassung, etwa stündliche oder tägliche Werte statt jeder einzelnen Anfrage.

Diese Verdichtung reduziert den Speicherbedarf um ein Vielfaches, ohne die Fähigkeit zu verlieren, langfristige Trends zu erkennen. Ein Anstieg der Fehlerrate über mehrere Monate lässt sich aus verdichteten Werten genauso ablesen wie aus Rohdaten.

Sinnvoll ist eine gestaffelte Frist: kurze Aufbewahrung im vollen Detail, mittlere Aufbewahrung in stündlicher Verdichtung, lange Aufbewahrung in täglicher Verdichtung. Diese Staffelung gehört von Anfang an eingerichtet, nicht erst, wenn die erste hohe Rechnung eintrifft.

Viele Dienste erlauben, diese Fristen je Datenart getrennt einzustellen. Wer diese Einstellung einmal bewusst durchgeht, statt die Voreinstellung des Anbieters unverändert zu übernehmen, verhindert den häufigsten Grund für eine überraschend hohe Rechnung im zweiten oder dritten Monat.

Der simulierte Ausfall: der Test, den fast niemand macht

Eine rote Warnleuchte leuchtet auf einer technischen Schalttafel in einem Betriebsraum
LudwigSebastianMicheler / BY-SA 4.0

Ein System zur Beobachtung, das nie unter echten Bedingungen getestet wurde, funktioniert im Ernstfall häufig anders als erwartet. Der einzige verlässliche Test ist ein bewusst herbeigeführter Ausfall, angekündigt und begrenzt.

Dabei wird etwa ein einzelner Dienst kurzzeitig abgeschaltet oder eine künstliche Verzögerung eingebaut, während das Team beobachtet, ob die Alarmierung wie erwartet auslöst und ob die angezeigten Werte die Ursache erkennen lassen.

Ein solcher Test einmal pro Quartal deckt zuverlässig auf, welche Alarme fehlen, welche zu spät kommen und welche Kennzahl im Ernstfall nichtssagend bleibt. Diese Erkenntnisse lassen sich in Ruhe beheben, statt sie während eines echten Vorfalls zum ersten Mal zu entdecken.

Der Test sollte angekündigt, aber nicht bis ins letzte Detail vorher besprochen werden. Wer genau weiß, wann und wo der simulierte Ausfall stattfindet, reagiert anders, als er im echten Ernstfall reagieren würde, und der Test verliert einen Teil seines Werts.

Nach dem Test gehört eine kurze Auswertung dazu, ähnlich einem kleinen Postmortem: Was wurde bemerkt, wie schnell, und was hätte schneller gehen können. Diese Auswertung ist der eigentliche Ertrag der Übung, nicht der simulierte Ausfall selbst.

Was gekauft wird, und was selbst betrieben wird

Für ein kleines Team lohnt sich in fast allen Fällen ein fertiger Dienst statt einer selbst betriebenen Lösung. Der Betrieb einer eigenen Beobachtungsinfrastruktur bindet Zeit, die in einem Team dieser Größe an anderer Stelle fehlt.

Ausnahmen bestehen dort, wo Daten aus rechtlichen oder vertraglichen Gründen einen bestimmten Standort nicht verlassen dürfen. In diesem Fall lohnt sich die Prüfung, welcher Anbieter diesen Standort anbietet, bevor eine vollständig selbst betriebene Lösung in Betracht gezogen wird.

Wie sich Abhängigkeiten von einzelnen Anbietern insgesamt bewerten lassen, beschreibt der Beitrag über Cybersicherheit für kleine Unternehmen. Dieselbe Abwägung zwischen Aufwand und Kontrolle gilt auch für die Beobachtung des eigenen Betriebs.

Ein Wechsel zwischen Anbietern sollte dabei nicht zu schwer gemacht werden. Wer die eigenen Daten und Regeln in einem Format hält, das sich exportieren lässt, vermeidet eine Abhängigkeit, die erst beim ersten Preissprung des Anbieters unangenehm auffällt.

Häufige Fragen

Reicht ein kostenloser Dienst dauerhaft aus?

Für die ersten beiden Stufen häufig ja. Sobald mehrere Dienste gleichzeitig beobachtet werden oder die Zahl der Anfragen deutlich steigt, stößt ein kostenloser Umfang meist an eine Grenze, die sich vorher kaum abschätzen lässt.

Wie viele Kennzahlen braucht ein kleines Team wirklich?

Für den Anfang genügen Erreichbarkeit, Fehlerrate und Antwortzeit für die wichtigsten Bereiche. Weitere Kennzahlen kommen erst hinzu, wenn eine konkrete Frage sie verlangt, nicht auf Vorrat.

Was tun, wenn ein Ausfall außerhalb der Arbeitszeit auftritt?

Dafür ist die wöchentlich wechselnde Zuständigkeit gedacht. Wichtig ist eine klare Ersatzregel für den Fall, dass die zuständige Person nicht erreichbar ist, damit ein Ausfall nicht unbeantwortet bleibt.

Lohnt sich ein eigenes Team für Systembeobachtung?

Bei unter zwanzig Personen selten. Die Aufgabe verteilt sich besser auf die bestehende technische Rolle im Wechsel als auf eine eigens dafür geschaffene Stelle.

Wie hängt Beobachtung mit vertraglichen Zusagen an Kunden zusammen?

Wer eine bestimmte Erreichbarkeit vertraglich zusichert, braucht eine verlässliche Messung dieser Erreichbarkeit als Nachweis. Die konkrete Ausgestaltung solcher Zusagen gehört in eine vertragliche Prüfung, nicht in die technische Umsetzung allein.

Was ist der erste Schritt, wenn heute noch nichts existiert?

Ein externer Test der wichtigsten Adressen, eingerichtet innerhalb einer Stunde. Dieser erste Schritt liefert bereits einen spürbaren Teil des gesamten Nutzens und schafft die Grundlage für die folgenden Stufen.

Ein kleines Team braucht keine Nachbildung der Systeme großer Unternehmen, sondern drei Stufen in der richtigen Reihenfolge und eine Aufbewahrungsfrist, die von Anfang an feststeht. Wer damit beginnt, erfährt von einem Ausfall zuerst über das eigene System, nicht über den ersten verärgerten Anruf.

levent-kaya


Levent Kaya verfolgt technische Entwicklungen und die Regeln, die ihnen hinterherlaufen. Er ordnet ein, was für ein Unternehmen mit zwölf Mitarbeitenden praktisch relevant ist und was nicht. Bei Hype bleibt er auffallend unbeeindruckt.