Responsible AI · Betriebssicherheit

Vertrauen wird mitgebaut.

Ein KI-System ist nur dann produktionsreif, wenn Menschen seinen Zweck, seine Grenzen und seine Verantwortlichkeiten verstehen. Deshalb planen wir Kontrolle, Evaluation und Fehlerbehandlung von Anfang an ein.

Fünf Grundsätze

Verantwortung im Systemdesign.

Die konkrete Ausgestaltung hängt von Daten, Nutzern und Risiko ab. Die folgenden Grundsätze bilden unseren Ausgangspunkt.

Transparenz

Menschen erkennen, wann sie mit KI interagieren, wofür das System eingesetzt wird und wann ein Team übernimmt.

Datensparsamkeit

Nur Daten, Aufbewahrung und Zugriffe vorsehen, die der konkrete Ablauf begründet benötigt.

Menschliche Aufsicht

Sensible, unklare oder nicht freigegebene Situationen gezielt an verantwortliche Menschen übergeben.

Evaluation

Verhalten anhand repräsentativer Aufgaben, Grenzfälle und klarer Kriterien vor und nach dem Start prüfen.

Incident-Handling

Fehler dokumentieren, Auswirkungen begrenzen, Ursachen untersuchen und Änderungen erneut evaluieren.

Illustrative Systemarchitektur mit Daten, Werkzeugen, Agentenentscheidungen, Leitplanken und menschlicher Kontrolle
Kontrollierte SystemarchitekturDaten, Werkzeuge und Aktionen werden durch Leitplanken und menschliche Kontrolle begrenzt.
Illustrativer Kreislauf aus Evaluation, Monitoring, Incident-Handling und Verbesserung
Evaluation im BetriebTesten, beobachten, Vorfälle behandeln und kontrolliert verbessern.

Zweck und Grenzen werden konkret

Wir beschreiben, welche Aufgabe das System übernehmen soll und welche nicht. Erlaubte Aktionen, unzulässige Inhalte, Nutzergruppen und Übergabefälle werden vor der Umsetzung festgelegt. Bei interaktiven KI-Systemen gehört eine klare Kennzeichnung zur Nutzerführung.

Daten und Berechtigungen nach Bedarf

Datenquellen werden nicht pauschal angebunden. Wir prüfen, welche Inhalte für den Ablauf nötig sind, wer darauf zugreifen darf und wie lange Daten gebraucht werden. Werkzeuge erhalten begrenzte Berechtigungen, damit ein Agent nur vorgesehene Aktionen ausführen kann.

Menschliche Kontrolle als eigener Ablauf

Eine Schaltfläche „an Menschen übergeben“ reicht nicht. Wir definieren Auslöser, Zielrolle, benötigten Kontext und Reaktionsweg. Das Team muss eine Entscheidung nachvollziehen und den Vorgang ohne unnötige Wiederholung übernehmen können.

Evaluation vor und nach dem Start

Qualität wird für den jeweiligen Prozess messbar gemacht. Dazu können korrekte Einordnung, Vollständigkeit, sichere Verweigerung, richtige Übergabe und erfolgreiche Systemaktion gehören. Die passende Messmethode hängt vom Einsatzfall ab.

Fehler erkennen und behandeln

Produktive Systeme brauchen einen Weg für Fehlermeldungen und operative Vorfälle. Kritische Aktionen müssen stoppbar sein. Erkenntnisse aus Vorfällen fließen kontrolliert in Regeln, Daten oder Systemlogik zurück.

Rechtliche EinordnungDiese Seite beschreibt Entwicklungsgrundsätze und ist keine Rechtsberatung. Datenschutzrecht, EU AI Act und weitere Anforderungen müssen für den konkreten Einsatzfall fachlich geprüft werden.
Prüffragen

Was vor dem Start beantwortet sein muss.

Die Fragen machen Verantwortung für Fachbereich, Technik und Betrieb sichtbar.

Wer entscheidet?

Wer besitzt den Prozess, gibt Daten frei und trägt die Verantwortung für Änderungen?

Wann wird übergeben?

Welche Unsicherheit, Sensibilität oder Ausnahme löst eine menschliche Bearbeitung aus?

Wie wird geprüft?

Welche Testfälle und Betriebsdaten zeigen, dass das System innerhalb der vereinbarten Qualität arbeitet?

Verantwortung konkretisieren

Risiken früh sichtbar machen.

Im Strategiegespräch betrachten wir neben dem Nutzen auch Daten, Entscheidungen und Übergaben eines konkreten Prozesses.