Wöchentliches KI-Briefing — direkt ins Postfach.
Danke! Schau in dein Postfach.
Mehr Newsletter-Formate →
Intelligence Brief
Teil 1 von 2 der Serie zum Outputrisiko. Teil 2 zu agentischen Systemen: Wenn KI nicht mehr antwortet, sondern handelt.
Du nutzt KI-Tools: im Alltag, im Team, vielleicht schon in kritischen Prozessen. Und du hast wahrscheinlich schon mal einen Output bekommen, der sich gut angefühlt hat, aber nicht ganz stimmte. Vielleicht hast du ihn korrigiert. Vielleicht auch nicht.
Genau da liegt das Problem.
Dieser Artikel erklärt, was Outputrisiko ist, warum es häufiger auftritt als die meisten Unternehmen ahnen und warum die Antwort „jeder muss halt selbst schauen" keine Lösung ist, sondern das Risiko erst richtig entstehen lässt. Wenn du in einem regulierten Umfeld arbeitest, KI-Tools im Team einsetzt oder Kunden mit KI-gestützten Ergebnissen belieferst, ist das hier Pflichtlektüre.
Generative KI ist in vielen Unternehmen angekommen. ChatGPT, Copilot, Claude: die Tools sind da, die Nutzung wächst, und die Produktivitätsgewinne sind real. Recherchen, Zusammenfassungen, Entwürfe, Analysen: LLMs übernehmen Aufgaben, für die früher Stunden gebraucht wurden.
Was dabei oft fehlt: ein systematischer Blick darauf, was diese Tools eigentlich ausgeben und was passiert, wenn der Output nicht stimmt.
Das ist keine Nischenfrage für IT-Sicherheitsexperten. Das ist eine operative Frage für jede Organisation, die KI produktiv einsetzt.
Kurze Einordnung, bevor wir tiefer einsteigen: Risikomanagement für digitale Tools kennen die meisten Unternehmen bereits gut. Datenschutz und Inputrisiko, also die Frage, welche Daten in ein System fließen, ist seit Jahren etabliert. Es gibt Datenschutzbeauftragte, DSGVO-Prozesse, Einwilligungsmanagement. Cybersicherheit und Prozessrisiko (also die Frage, wie Systeme angegriffen oder missbraucht werden können) ist ebenfalls ein bekanntes Feld mit klaren Rollen: CISOs, IT-Security-Teams, Incident-Response-Prozesse.
Outputrisiko ist anders. Es ist neu. Und es ist neu aus einem spezifischen Grund: LLMs sind nicht deterministisch.
Klassische Software macht, was man ihr sagt: immer gleich, nachvollziehbar, testbar. Ein LLM macht bei derselben Eingabe heute etwas anderes als morgen. Es generiert, es interpoliert, es erfindet, und das ist keine Fehlfunktion, sondern das Funktionsprinzip. Genau diese nicht-deterministische Natur erzeugt eine Risikokategorie, die es vorher schlicht nicht gab: dass das Ergebnis eines Tools plausibel klingt, aber falsch ist, ohne dass das System dabei „kaputt" ist.
Und hier liegt der blinde Fleck: Für Inputrisiko gibt es den Datenschutzbeauftragten. Für Prozessrisiko gibt es den CISO. Für Outputrisiko gibt es in den meisten Organisationen (noch) niemanden. Keine Rolle, keine Verantwortlichkeit, kein Prozess. Das ist kein Zeichen von Nachlässigkeit, sondern zeigt: Diese Risikokategorie ist im kollektiven Bewusstsein schlicht noch nicht angekommen. Und es bedeutet auch: Den Datenschutzbeauftragten oder den IT-Security-Verantwortlichen einfach „auch noch" für Outputrisiko zuständig zu machen, greift zu kurz. Das sind andere Fragen, die andere Expertise und andere Prozesse brauchen.
KI-Output-Risiko bezeichnet alle negativen Konsequenzen, die direkt aus den Ausgaben eines KI-Systems entstehen, also aus dem, was das Modell generiert, bevor ein Mensch entscheidet, ob er es nutzt, weitergibt oder in einen Prozess einspeist.
Das klingt abstrakt. Ist es aber nicht. Konkret bedeutet das:
Halluzinationen und Fehlinformationen: Das Modell erfindet Fakten, Quellen, Zahlen, und tut das mit einer Überzeugungskraft, die erschreckend ist. Eine MIT-Studie aus 2025 zeigt: Bei Falschantworten nutzen LLMs mit 34 % höherer Wahrscheinlichkeit Formulierungen wie „definitiv", „zweifellos" oder „belegt durch" als bei korrekten Antworten. Das Modell klingt sicherer, wenn es irrt.
Bias und Diskriminierung: Ausgaben können systematisch bestimmte Gruppen benachteiligen, in Formulierungen, Empfehlungen oder Bewertungen. Das ist oft nicht offensichtlich, summiert sich aber.
Datenschutzverstöße: LLMs können im Output unbeabsichtigt personenbezogene Daten oder vertrauliche Unternehmensinformationen preisgeben, die im Kontext lagen.
Urheberrechtsverletzungen: Generierte Texte, Bilder oder Code können geschützte Inhalte reproduzieren, mit rechtlichen Konsequenzen für denjenigen, der sie verwendet.
Improper Output Handling: Wenn KI-generierter Code oder strukturierte Daten (SQL, HTML, JSON) ungeprüft in IT-Systeme übernommen werden, entstehen klassische Sicherheitslücken: SQL-Injection, Cross-Site Scripting und ähnliches.
Das ist kein theoretisches Szenario. In der Praxis begegnet uns das regelmäßig.
Agenturen, die in regulierten Bereichen arbeiten. Dienstleister, die Kunden mit KI-gestützten Ergebnissen beliefern. Kanzleien, Steuerberatungen, Compliance-Teams: Bereiche, in denen Genauigkeit keine Option ist, sondern Pflicht. Und trotzdem wird KI dort eingesetzt, ohne dass die richtigen Rahmenbedingungen vorhanden sind.
Warum? Weil es eine Weile gut geht.
Das ist kein Vorwurf. Es ist menschlich. Aber es ist auch ein Muster, das wir kennen und das irgendwann bricht.
„Jeder Einzelne muss halt schauen, dass der Output stimmt."
Das klingt vernünftig. Ist es aber nicht. Aus zwei Gründen:
Erstens: Es ist nicht systematisch.
Wenn die Qualitätskontrolle vom individuellen Urteil jedes Teammitglieds abhängt, hast du keine Qualitätskontrolle. Du hast Glück. An guten Tagen, mit aufmerksamen Menschen, bei überschaubarem Volumen. Aber nicht als verlässlichen Prozess.
Zweitens: Es funktioniert bei LLM-Outputs oft schlicht nicht.
Das ist die eigentliche Crux. LLMs halluzinieren nicht wie schlechte Schüler, die offensichtlich raten. Sie halluzinieren wie sehr gute Schüler, die selbstsicher falsch liegen. Der Output ist grammatikalisch korrekt, stilistisch überzeugend, inhaltlich plausibel und trotzdem falsch. Wer nicht tief in der Materie steckt, erkennt das im Einzelfall oft nicht.
McKinsey zeigt in seiner State-of-AI-Studie: Über 50 % der Unternehmen haben bereits konkrete negative Konsequenzen durch generative KI erlitten. Das am häufigsten eingetretene Einzelrisiko ist Inaccuracy, fehlerhafter Output. Noch vor Cyberangriffen. Noch vor Datenschutzverstößen.
Und Forrester Research hat errechnet, dass Mitarbeiter im Schnitt 4,3 Stunden pro Woche damit verbringen, KI-Outputs manuell zu prüfen und zu korrigieren. Das sind versteckte Kosten von rund 14.200 US-Dollar pro Mitarbeiter und Jahr, für eine Kontrolle, die trotzdem nicht systematisch funktioniert.
Outputrisiko lässt sich nicht mit einem einzigen Tool lösen. Es braucht ein Zusammenspiel aus Technik, Prozess und Governance.
Ziel dieser Ebene ist es, den rohen KI-Output automatisch zu filtern und abzusichern, bevor er von Menschen gelesen oder in nachgelagerte IT-Systeme eingespeist wird.
Retrieval-Augmented Generation (RAG): das gezielte Verankern der KI in deinen eigenen, geprüften Unternehmensdokumenten. Statt das Modell frei antworten zu lassen, zwingst du es, Antworten auf geprüfte, interne Wissensquellen zu stützen. Das reduziert Halluzinationen drastisch, weil das Modell nicht mehr raten muss, sondern nachschlagen kann.
Output-Guardrails: Systeme wie Llama Guard oder NeMo Guardrails scannen Ausgaben automatisch auf Richtlinienverstöße, toxische Inhalte, PII-Leaks oder Compliance-Probleme, bevor der Output den Nutzer erreicht oder in einen Prozess eingespeist wird.
Output-Sanitization: KI-generierter Code oder strukturierte Daten müssen wie unsichere Nutzereingaben behandelt werden. Genauso wie Eingaben auf einer Website automatisch auf Schadcode geprüft werden, müssen auch KI-generierte Skripte oder Datenformate vor der Ausführung isoliert und bereinigt werden (Zero-Trust-Prinzip).
Human-in-the-Loop bedeutet nicht, dass jeder Output gleich behandelt wird. Es bedeutet: Du definierst, welche Outputs welches Risikopotenzial haben und richtest Freigabeprozesse nur dort ein, wo sie wirklich nötig sind.
Im Medizin-, Finanz- oder Rechtsbereich: Kein KI-Output geht ohne qualifizierte Prüfung in einen bindenden Prozess. In Low-Stakes-Bereichen: Stichproben, Monitoring, klare Eskalationspfade. Dabei gibt es einige Frameworks und Rahmenbedingungen, die gute Orientierung bieten:
Frameworks nutzen: NIST AI RMF 1.0 und ISO/IEC 42001 bieten strukturierte Ansätze, um Risikomanagement für KI systematisch zu verankern, nicht als Einmalprojekt, sondern als laufenden Prozess.
EU AI Act beachten: Wer KI in Hochrisiko-Anwendungen einsetzt, hat konkrete Pflichten: Transparenz, Risikobewertung, menschliche Aufsicht. Das ist kein optionales Nice-to-have, sondern regulatorische Realität.
Um die Vorgehensweise kontinuierlich zu schärfen, gilt es nicht nur den Einzelfall zu betrachten, sondern systemisch die Performance und die Qualität zu überwachen. Hieraus werden dann fortlaufend Rückschlüsse gezogen für die Praxis.
Kontinuierliches Monitoring: Modelle degradieren. Gartner zeigt: 67 % aller Enterprise-Modelle zeigen innerhalb von 12 Monaten messbare Leistungsabfälle. Das Tückische: Sie arbeiten dabei geräuschlos weiter, Silent Failure. Ohne Monitoring merkst du es erst, wenn der Schaden da ist.
Wenn du bei mehr als zwei dieser Fragen zögerst: Das ist der Startpunkt.
Outputrisiko ist das häufigste KI-Risiko in der Praxis, und eines der am schlechtesten gemessenen. Es entsteht nicht durch spektakuläre Angriffe, sondern durch den Alltag: überzeugend klingende Falschantworten, ungeprüfte Outputs in kritischen Prozessen, fehlende Systematik bei der Qualitätskontrolle.
Die Lösung ist keine Raketenwissenschaft, aber sie erfordert, dass du aufhörst, Outputrisiko als individuelles Problem zu behandeln, und anfängst, es als organisatorisches zu managen.
In Teil 2 dieser Serie geht es um den Punkt, an dem Outputrisiko richtig teuer wird: agentische Systeme, bei denen aus Worten Taten werden.
Wo steht dein Unternehmen beim Thema Outputrisiko? Wenn du das strukturiert angehen willst:
Governance-Check buchen (30 Min mit Sarah)
Bei diesem Artikel hatte ich digitale Unterstützung: KI hat beim Research und beim Formulieren geholfen, die Endredaktion und inhaltliche Verantwortung liegen bei mir als Autor.
.svg)
.svg)
Kai, Digital Governance Experte & Co-Founder von DECAID.secure, revolutioniert die sichere KI-Implementierung für Unternehmen. Sein Weg führte von Führungspositionen im Konzern bis zum erfolgreichen Unternehmertum, darunter die Leitung der Charter of Trust bei Siemens und die Förderung digitaler Transformation bei Identity Valley. Als einer der führenden Köpfe im Bereich Digital Trust entwickelt er mit der twinds foundation zukunftsweisende Vertrauenslösungen. Seine Expertise bringt er aktiv im World Economic Forum und Munich Security Network ein.
.svg)
0 Comments
Login or Register to Join the Conversation
Create an AccountLog in