Supervision agentischer Workflows · Build & Run

Ein Agent in Produktion driftet. Wir behalten ihn im Blick

Die Daten ändern sich, die Modelle ändern sich, die Kosten laufen weg - und ein Agent, der im Januar richtig antwortete, antwortet im Juni falsch, ohne dass je etwas abgestürzt wäre. Wir überwachen Ihre agentischen Workflows fortlaufend: Kosten pro Anfrage, Fehlerquote, Drift der Antwortqualität, Konformität. Ein monatliches Abo, kein Projekt.

Projekt besprechen Methodik ansehen
Sie vertrauen uns
Monatliches Abo
3 000 €

Zzgl. MwSt., pro Monat, ab. Die Stufe hängt von der Zahl überwachter Workflows und vom Volumen ab.

Bindung
6 Monate, danach monatlich · 2 Monate Kündigungsfrist
Einrichtung
2 bis 3 Wochen Instrumentierung vor der ersten Rechnung
Über Ihren Run sprechen

Wir überwachen auch Systeme, die wir nicht gebaut haben.

Was wir überwachen

  • Kosten pro Anfrage und pro Workflow, mit Schwellenwert-Alarm
  • Fehlerquote, Wiederholungsquote, Ende-zu-Ende-Latenz
  • Drift der Antwortqualität, gemessen an einem versionierten Testsatz
  • Leitplanken-Aktivität: Ablehnungen, Umgehungen, unerwartete Tool-Aufrufe
  • Nachvollziehbarkeit der Entscheidungen und AI-Act-Konformitätsprotokoll
  • Zustand der MCP-Konnektoren und RAG-Quellen (Aktualität, Abdeckung, Fehler)
  • Einstündiges Monats-Review mit Ihren Teams
  • Leitplanken und Testsätze laufend an die Weiterentwicklung angepasst

Was Sie dauerhaft haben

  • Ein Dashboard, auf das Ihre Teams zugreifen
  • Einen schriftlichen Monatsbericht: Kosten, Vorfälle, Drift, Entscheidungen
  • Mit Ihnen definierte und gemessene SLOs
  • Einen benannten, erreichbaren Architekten, der Ihr System kennt

Was nicht enthalten ist

  • Keine Entwicklung neuer Funktionen
  • Kein Managed Service für Ihre gesamte Infrastruktur
  • Kein Endanwender-Support auf Level 1
  • Keine 24/7-Rufbereitschaft standardmäßig - siehe FAQ

Die Ausgangslage

Was nach dem Go-live kaputtgeht

Ein gelungener Go-live ist kein Ende: Er ist der Beginn der Phase, in der die Dinge langsam und ohne Warnung schlechter werden. Nichts davon löst einen 500er aus - und genau deshalb bleibt es monatelang unbemerkt.

  1. 01 Die Kosten pro Anfrage verdreifachen sich nach einem Modellwechsel, niemand sieht es
  2. 02 Die Antwortqualität sinkt, während die Referenzdaten altern
  3. 03 Ein Agent erhält bei einer Weiterentwicklung erweiterte Rechte und behält sie
  4. 04 Leitplanken werden durch Formulierungen umgangen, die niemand vorhergesehen hat
  5. 05 Der Testsatz wurde seit der Lieferung nicht aktualisiert und erkennt nichts mehr
  6. 06 Niemand kann rekonstruieren, warum ein Agent vor drei Monaten so entschieden hat

Unsere Methodik

Wie wir liefern

Architekten mit zwanzig Jahren Praxis und ein von KI instrumentiertes Delivery: Scoping, Code-Review, Qualität und Sicherheit in jeder Phase werkzeuggestützt. Jede Etappe liefert konkrete Ergebnisse, und wir bleiben im Run.

01
2 bis 3 Wochen

Instrumentierung

Vor dem Überwachen steht das Messen. Wir instrumentieren Ihre Workflows und legen mit Ihnen fest, was als Anomalie gilt - eine Schwelle, die niemand gesetzt hat, löst nie aus.
Ergebnisse
  • Ende-zu-Ende-Tracing der agentischen Ketten
  • Referenz-Testsatz, versioniert wie Code
  • Kosten-, Latenz- und Fehlerquoten-Schwellen mit Ihren Teams festgelegt
  • Schriftlich fixierte und bestätigte SLOs
  • Dashboard eingerichtet und zugänglich
02
Woche 3

Unter Supervision gehen

Umstellung auf laufende Supervision. Das Alerting läuft auf Ihre Kanäle, nicht auf unsere: Sie sehen, was wir sehen, im selben Moment.
Ergebnisse
  • Alerting an Ihre Kanäle angebunden (Slack, Teams, PagerDuty oder E-Mail)
  • Schriftlicher Eskalationsweg mit benannten Ansprechpartnern
  • Erste Basismessung von Kosten und Qualität
  • Runbook bekannter Vorfälle
03
Laufend

Der Monatsrhythmus

Jeden Monat: ein schriftlicher Bericht und eine Stunde Review. Der Bericht kommt vor dem Termin, damit die Stunde dem Entscheiden dient und nicht dem Entdecken.
Ergebnisse
  • Monatsbericht: Kosten, Vorfälle, gemessene Drift, anstehende Entscheidungen
  • Einstündiges Review mit Ihren Teams
  • Aktualisierung von Leitplanken und Testsatz
  • Kalkulierte Optimierungsabwägungen (KI-FinOps)
04
Alle 3 Monate

Das Quartals-Review

Ein Schritt zurück auf die Architektur selbst: was sich ändern muss, was mehr kostet als es einbringt, was abgeschaltet gehört.
Ergebnisse
  • Architektur- und Schulden-Review
  • Kalkulierte Weiterentwicklungsempfehlungen
  • Konformitäts-Review und Aktualisierung des AI-Act-Dossiers
  • SLO-Bilanz des Quartals

Geschäftswert

Was Sie konkret gewinnen

Erwartete Ergebnisse

Drift zeigt sich vor Ihren Nutzern

Kosten werden wieder steuerbar

Konformität bleibt aktuell

  1. 01

    Drift zeigt sich vor Ihren Nutzern

    Ein versionierter, laufend ausgeführter Testsatz erkennt sinkende Antwortqualität, solange sie noch behebbar ist - nicht erst, wenn der Fachbereich sich beschwert.

  2. 02

    Kosten werden wieder steuerbar

    Kosten pro Anfrage und pro Workflow, mit Schwellenwert-Alarm. Der Abstand zwischen zwei Umsetzungen derselben Funktion kann Faktor zwölf erreichen - man muss ihn nur messen.

  3. 03

    Konformität bleibt aktuell

    Nachweisprotokoll und AI-Act-Dossier werden laufend gepflegt. Ein Lieferantenfragebogen ist an einem Tag beantwortet, nicht in drei Wochen Rekonstruktion.

  4. 04

    Ein Architekt, kein Service-Desk

    Dieselbe Person, die Ihr System entworfen oder auditiert hat, überwacht es. Kein Ticket, das drei Ebenen hochläuft, bevor es jemanden erreicht, der die Architektur versteht.

Häufig gestellte Fragen

Ihre Fragen, unsere Antworten

01 Können Sie ein System überwachen, das Sie nicht gebaut haben?
Ja, und das ist häufig. Wir gehen dann über eine vorgelagerte Diagnose - zwei Wochen, um den Bestand zu verstehen und sauber zu instrumentieren. Ein System zu überwachen, das man nicht versteht, heißt Grafiken anzusehen, ohne zu wissen, was sie bedeuten.
02 Bieten Sie 24/7-Rufbereitschaft?
Nicht im Basis-Abo, und wir sagen das lieber klar, als es anzudeuten. Die Überwachung läuft durchgängig, das menschliche Eingreifen erfolgt zu Geschäftszeiten mit zugesagter Übernahmezeit. Erweiterte Rufbereitschaft wird separat vereinbart, auf Basis Ihrer realen SLOs - viele Organisationen bezahlen sie, ohne sie zu brauchen.
03 Was passiert konkret, wenn ein Agent driftet?
Der Alarm erreicht Ihre und unsere Kanäle gleichzeitig. Wir qualifizieren, dokumentieren und legen Ihnen eine Abwägung vor: Sofortkorrektur, temporäre Einschränkung des Agenten-Umfangs oder Rollback. Die Entscheidung bleibt bei Ihnen - wir ändern kein Produktivsystem ohne Ihre Zustimmung.
04 Warum ein Abo statt punktueller Einsätze?
Weil Drift fortlaufend ist und der punktuelle Einsatz immer zu spät kommt. Abrechnung auf Abruf lässt Sie Vorfälle bezahlen; das Abo bezahlt deren Ausbleiben. Hatten Sie in sechs Monaten weder Vorfall noch Kostenüberschreitung, hat das Abo seine Arbeit getan.
05 Und wenn wir aufhören wollen?
Sechs Monate Erstbindung, danach monatlich mit zwei Monaten Frist. Beim Ausstieg behalten Sie alles: Instrumentierung, Testsätze, Dashboards, Runbooks und Dokumentation. Nichts liegt so bei uns, dass Sie abhängig würden.
06 Wovon hängt der Preis genau ab?
Von der Zahl überwachter Workflows, vom Anfragevolumen und vom vereinbarten SLO-Niveau. 3 000 € im Monat entsprechen einem Produktivsystem mit ein bis zwei Workflows und moderatem Volumen. Die Stufe wird nach der Instrumentierung festgelegt, nie davor: eine Supervision ohne Messung zu kalkulieren wäre Raten.

Wer beobachtet Ihre Agenten gerade?

Lautet die Antwort „niemand" oder „wir schauen in die Logs, wenn sich jemand meldet", lassen Sie uns dreißig Minuten sprechen. Wir sagen Ihnen, ob eine Supervision in Ihrem Stadium gerechtfertigt ist.

Gespräch vereinbaren Alle Lösungen ansehen