Ein KI-gestütztes Tool zur Angebotserstellung kann einem Handwerksbetrieb Zeit sparen. Bewertet es jedoch Kundendaten falsch, übernimmt ungeprüfte Preise oder benachteiligt Bewerber bei der Vorauswahl, wird aus einer hilfreichen Anwendung schnell ein unternehmerisches Risiko. Eine Risikobewertung für KI Anwendungen schafft Klarheit, bevor ein System fest in Prozesse eingebunden wird – und sie verhindert, dass Effizienzgewinne später durch Beschwerden, Fehlerkosten oder Compliance-Aufwand verloren gehen.
Für kleine und mittelständische Unternehmen geht es dabei nicht darum, umfangreiche Gutachten zu produzieren. Entscheidend ist eine nachvollziehbare Prüfung, die zum Einsatzbereich, zur Tragweite der Entscheidung und zur Komplexität des Systems passt. Wer strukturiert vorgeht, erkennt kritische Punkte früh und kann wirksame Maßnahmen in bestehende Qualitäts- und Prozessmanagementabläufe integrieren.
Warum die Risikobewertung bei KI vor dem Einsatz beginnt
Viele KI-Anwendungen kommen unauffällig in den Betrieb: als Funktion im ERP-System, als Chatbot auf der Website, als Assistent für Texte oder als Auswertungstool für Bilder und Dokumente. Die technische Einführung erfolgt oft schnell. Die Frage, welche Entscheidungen das System beeinflusst, welche Daten es verarbeitet und wer Ergebnisse kontrolliert, wird dagegen erst später gestellt.
Genau dort liegt das Problem. KI liefert Wahrscheinlichkeiten, Muster und Vorschläge – keine Garantie für richtige Ergebnisse. Fehlerhafte Trainingsdaten, unklare Eingaben, verzerrte Ergebnisse oder eine falsche Nutzung durch Mitarbeitende können sich unmittelbar auf Kunden, Beschäftigte und betriebliche Entscheidungen auswirken. Bei einer automatisierten Prüfung von Rechnungen ist ein Fehler meist korrigierbar. Bei der Bewertung von Bewerbungen, Bonität, Sicherheit oder Zugang zu Leistungen kann er erhebliche Folgen haben.
Zusätzlich gelten je nach Rolle und Anwendung gesetzliche Anforderungen. Der europäische AI Act ordnet KI-Systeme nach ihrem Risiko ein und sieht insbesondere für Hochrisiko-Systeme weitreichende Pflichten vor. Datenschutz, Informationssicherheit, Arbeitsrecht und branchenspezifische Vorgaben bleiben davon unberührt. Eine Risikobewertung ist daher kein isoliertes IT-Thema, sondern Teil verantwortlicher Unternehmenssteuerung.
Risikobewertung für KI Anwendungen: Erst den Einsatzfall verstehen
Die wichtigste Frage lautet nicht: Welche KI nutzen wir? Sie lautet: Wofür nutzen wir sie konkret? Dieselbe Technologie kann je nach Einsatz unterschiedlich zu bewerten sein. Ein Sprachmodell, das interne Entwürfe formuliert, ist etwas anderes als ein System, dessen Empfehlung über Personal, Preise oder Sicherheitsfreigaben entscheidet.
Beschreiben Sie den Anwendungsfall so konkret, dass ein außenstehender Dritter ihn versteht. Dazu gehören der Zweck, die betroffenen Personen oder Gruppen, die verwendeten Daten, die Ergebnisse des Systems und die anschließende Entscheidung im Betrieb. Halten Sie auch fest, ob die KI lediglich unterstützt oder ob ihr Ergebnis praktisch ohne echte Prüfung übernommen wird.
In der Praxis hilft eine einfache Prozesssicht: Was löst die KI-Anwendung aus, welche Informationen gehen hinein, welches Ergebnis kommt heraus und was geschieht anschließend damit? Diese Darstellung macht Abhängigkeiten sichtbar. Sie zeigt beispielsweise, ob sensible Kundendaten in einen externen Dienst gelangen oder ob ein fehlerhafter Vorschlag direkt in ein Angebot, eine Bestellung oder eine Personalentscheidung übernommen werden kann.
Die Rolle des Unternehmens sauber klären
Für die Pflichten nach dem AI Act ist relevant, welche Rolle ein Unternehmen einnimmt. Wer ein KI-System entwickelt oder unter eigenem Namen bereitstellt, trägt andere Verantwortung als ein Betrieb, der eine Standardsoftware einsetzt. Auch derjenige, der ein vorhandenes System wesentlich verändert oder für einen neuen Zweck verwendet, kann zusätzliche Pflichten übernehmen.
Ein Handwerksbetrieb, der eine marktübliche Software zur Tourenplanung nutzt, ist in der Regel kein KI-Anbieter. Werden jedoch eigene Bewertungskriterien, Datenquellen und automatisierte Folgen ergänzt, muss genauer geprüft werden. Pauschale Aussagen helfen hier nicht. Maßgeblich sind die tatsächliche Nutzung und der Einfluss auf das System.
Risiken systematisch erfassen und bewerten
Nach der Beschreibung des Einsatzfalls werden die einzelnen Risikofelder betrachtet. Es reicht nicht, nur nach technischen Schwachstellen zu suchen. Gerade im Mittelstand entstehen Schäden häufig durch unklare Verantwortlichkeiten, ungeprüfte Ergebnisse oder fehlende Regeln für die Dateneingabe.
Bei der Bewertung sollten mindestens diese Fragen beantwortet werden:
- Können falsche Ergebnisse zu finanziellen Schäden, Sicherheitsproblemen oder Fehlentscheidungen führen?
- Werden personenbezogene, vertrauliche oder geschäftskritische Daten verarbeitet?
- Kann das System einzelne Personen oder Gruppen benachteiligen?
- Ist nachvollziehbar, wie ein Ergebnis zustande gekommen ist und welche Daten verwendet wurden?
- Gibt es eine qualifizierte Person, die Ergebnisse prüft, korrigiert und die Nutzung bei Bedarf stoppt?
- Wie abhängig ist ein Prozess von der KI-Anwendung, und gibt es einen funktionierenden manuellen Ersatzweg?
Anschließend wird bewertet, wie wahrscheinlich ein Schaden ist und wie schwer seine Auswirkungen wären. Eine übersichtliche Risikomatrix mit den Stufen niedrig, mittel und hoch reicht für viele Anwendungen aus. Wichtig ist nicht die Anzahl der Felder, sondern eine plausible Begründung. Ein Risiko sollte so beschrieben sein, dass daraus eine konkrete Maßnahme entstehen kann.
Beispiel: Ein KI-Tool erstellt anhand von Fotos Schadensschätzungen für Reparaturaufträge. Das Risiko besteht nicht nur in einer falschen Schätzung. Kritisch wird es, wenn Mitarbeitende den Vorschlag ungeprüft in ein verbindliches Angebot übernehmen, Kundenfotos unzulässig gespeichert werden oder schlechte Lichtverhältnisse die Ergebnisse systematisch verfälschen. Daraus folgen klare Maßnahmen: fachliche Freigabe vor Angebotsversand, Vorgaben zur Datenspeicherung und regelmäßige Stichproben bei unterschiedlichen Bildqualitäten.
Den AI Act richtig einordnen
Der AI Act unterscheidet zwischen verbotenen Praktiken, Hochrisiko-Systemen, Systemen mit Transparenzpflichten und Anwendungen mit geringerem Risiko. Nicht jede KI im Betrieb ist automatisch ein Hochrisiko-System. Das ist für viele Unternehmen eine wichtige Entlastung. Dennoch bedeutet eine niedrige Risikoklasse nicht, dass keine Prüfung erforderlich ist.
Besondere Aufmerksamkeit ist geboten, wenn KI im Personalbereich eingesetzt wird, etwa zur Vorauswahl von Bewerbungen oder zur Bewertung von Beschäftigten. Auch Anwendungen in bestimmten Bereichen der Bildung, Kreditwürdigkeit, kritischen Infrastruktur, Strafverfolgung oder biometrischen Identifizierung können unter die Hochrisiko-Regelungen fallen. Bei solchen Einsatzfällen reichen informelle Kontrollen nicht aus. Es können Anforderungen an Risikomanagement, Dokumentation, Datenqualität, menschliche Aufsicht und laufende Überwachung entstehen.
Transparenz ist ebenfalls ein praktisches Thema. Kommunizieren Kunden mit einem KI-Chatbot, sollte klar erkennbar sein, dass sie mit einem automatisierten System interagieren. Werden KI-generierte Inhalte eingesetzt, braucht es je nach Kontext klare Regeln für Kennzeichnung, Prüfung und Freigabe. Wer hier früh saubere Abläufe schafft, vermeidet spätere Korrekturen unter Zeitdruck.
Maßnahmen müssen im Arbeitsalltag funktionieren
Eine Risikobewertung hat nur dann Wert, wenn sie zu konkretem Handeln führt. Für ein geringes Risiko kann eine kurze Arbeitsanweisung mit einer Freigaberegel ausreichen. Bei höheren Risiken sind weitergehende Kontrollen notwendig, etwa Zugriffsrechte, Vier-Augen-Prinzip, Testfälle, Protokollierung oder ein verbindlicher Eskalationsweg.
Menschliche Aufsicht wird oft missverstanden. Es genügt nicht, dass theoretisch jemand eingreifen könnte. Die zuständige Person muss die Ergebnisse fachlich beurteilen können, ausreichend Zeit für die Prüfung haben und die Befugnis besitzen, eine KI-Entscheidung zu überstimmen. Andernfalls bleibt die Kontrolle nur auf dem Papier.
Ebenso wichtig ist die Lieferantenprüfung. Lassen Sie sich erklären, welche Daten verarbeitet werden, wo diese gespeichert sind, welche Sicherheitsmaßnahmen gelten und welche Dokumentation der Anbieter bereitstellt. Bei externen KI-Diensten sollte klar geregelt sein, ob eingegebene Unternehmensdaten zum Training verwendet werden dürfen. Bei sensiblen Informationen ist Zurückhaltung häufig die wirtschaftlich vernünftigere Entscheidung.
Risikobewertungen regelmäßig aktualisieren
Eine einmalige Prüfung reicht nicht aus, weil sich KI-Systeme, Datenbestände und Einsatzbereiche verändern. Ein Update kann Funktionen ergänzen, ein neues Team kann das Tool anders nutzen und ein zunächst harmloser Assistent kann schrittweise in einen kritischen Entscheidungsprozess rutschen.
Legen Sie deshalb feste Auslöser für eine erneute Bewertung fest: wesentliche Änderungen am System, neue Datenarten, ein neuer Verwendungszweck, auffällige Fehler, Beschwerden oder Änderungen der Rechtslage. Verbinden Sie die Prüfung mit bestehenden Abläufen aus Qualitätsmanagement, Datenschutz, internen Audits und Prozessfreigaben. Das reduziert Doppelarbeit und sorgt dafür, dass KI-Compliance nicht neben dem Tagesgeschäft stehen bleibt.
Für viele Betriebe ist ein schlankes KI-Verzeichnis der beste Start. Es enthält die eingesetzten Anwendungen, Verantwortliche, Zwecke, Datenarten, Risikoeinstufungen und vereinbarte Maßnahmen. Damit entsteht eine belastbare Grundlage für Audits, Lieferantengespräche und interne Entscheidungen.
Eine gute Risikobewertung bremst sinnvolle KI nicht aus. Sie sorgt dafür, dass Mitarbeitende die Technik mit klaren Grenzen einsetzen können, Verantwortliche den Überblick behalten und der Nutzen einer Anwendung auch dann trägt, wenn etwas nicht wie erwartet funktioniert.
