

Der lauteste Thread der Woche in den Anwender-Communities rund um Enterprise-KI-Plattformen begann mit einer Beobachtung aus der Search Console: ungewöhnliche Suchanfragen, die von KI-Fan-out-Suchen zu stammen scheinen, manche mit Fragmenten aus Prompts und System-Instruktionen. Daraus wurden vier Fragen an den Plattformanbieter, die nach vier Tagen noch offen waren. Werden Suchanfragen vor der Weitergabe auf vertrauliche Inhalte geprüft? Ist das interne Wissen im Kontext von der Erzeugung externer Suchanfragen getrennt? Gibt es empfohlene Guardrails oder Workspace-Einstellungen? Oder ist das Risiko aus technischen Gründen in der Praxis irrelevant?
Wenn ein Agent mit Websuche oder Deep Research eine Frage beantwortet, stellt er nicht eine Suchanfrage, sondern viele. Er zerlegt die Aufgabe, formuliert Teilfragen und schickt sie an einen Suchanbieter. Die Teilfragen entstehen aus dem, was der Agent im Kontext hat: eure Frage, eure Dokumente, eure Instruktionen. Genau da liegt das Problem. Eine einzelne Anfrage wie "Lieferantenwechsel Kunststoffgehäuse Q1 2027" wirkt harmlos. Zehn solcher Anfragen aus demselben Kontext ergeben ein Mosaik, aus dem sich lesen lässt, woran euer Unternehmen gerade arbeitet.
Ein Mitglied hat das mit einer Studie unterlegt, die im Mai erschienen ist: MosaicLeaks, eine Benchmark aus 1.001 mehrstufigen Rechercheaufgaben, bei denen Agents private Unternehmensdokumente mit öffentlichem Web kombinieren müssen. Ein Angreifer-Modell sah nur die externen Suchanfragen. Ergebnis: Modelle aller Familien und Größen leaken regelmäßig, auf drei Ebenen, von der Forschungsabsicht bis zu prüfbaren Aussagen über die Dokumente. Ein Datenschutz-Hinweis im Prompt senkt die Rate, beseitigt sie aber nicht. Training auf Aufgabenerfolg allein macht es schlimmer.
Das zweite Mitglied im Thread hat nachgesehen. Die Plattform dokumentiert Websuche, Deep Research, EU-Hosting und den Verzicht auf Training mit Kundendaten. Was fehlt, ist eine Aussage darüber, ob vertrauliche Inhalte vor der Websuche bereinigt werden, was genau als Anfrage die Plattform verlässt und wie lange der Suchanbieter sie speichert. Das ist keine Anklage. Es ist eine Lücke in der Dokumentation, und bis sie geschlossen ist, gilt in der Community eine Zwischenregel, der vier Tage lang niemand widersprochen hat: keine personenbezogenen oder streng vertraulichen Inhalte mit aktivierter Websuche oder Deep Research verarbeiten. Für anonymisierte Inhalte wird das Risiko deutlich niedriger eingeschätzt.
Die Regel ist vernünftig. Sie hat nur einen Haken: Sie stammt aus der Abwesenheit einer Aussage, nicht aus einer Messung. Deshalb der Test.
Ein Kanarienwert ist ein erfundener, eindeutiger Begriff, den es sonst nirgends gibt. Ein Projektname wie "Projekt Zinnober-Fjord" oder eine erfundene Artikelnummer. Legt ein Testdokument an, das aussieht wie ein internes Memo, und baut den Wert an drei Stellen ein: im Titel, in einer Tabelle, in einem Fließtextsatz. Verknüpft das Dokument mit einem Testprojekt und stellt dem Agenten mit aktivierter Websuche oder Deep Research eine Frage, die ihn zwingt, das Dokument zu nutzen und gleichzeitig extern zu suchen: "Vergleiche die Annahmen in diesem Memo mit aktuellen Marktdaten."
Dann öffnet ihr das Tracing des Agenten und lest die tatsächlich abgesetzten Suchanfragen. Nicht die Antwort, die Anfragen. Taucht der Kanarienwert auf, wisst ihr, dass Kontext nach draußen wandert. Taucht er nicht auf, wisst ihr noch nichts Endgültiges, aber ihr habt eine erste Messung statt einer Vermutung. Das Ganze dauert zehn Minuten.
Der Kanarienwert ist der einfache Fall. Der schwierige ist das Mosaik. Legt die Suchanfragen aus fünf Durchläufen nebeneinander und fragt euch, was ein Außenstehender daraus über das Memo ableiten könnte. Noch besser: Gebt die reine Liste der Anfragen einem zweiten Chat ohne jeden Kontext und lasst ihn raten, woran das Unternehmen arbeitet. Das ist der Versuchsaufbau der Studie, mit Bordmitteln nachgebaut. Wenn der zweite Chat richtig liegt, ist die Zwischenregel der Community für euch keine Vorsichtsmaßnahme mehr, sondern Pflicht.
Aus dem Ergebnis folgt eine Regel, die in die Nutzungsrichtlinie gehört, nicht in ein Onboarding-Video. Zwei Klassen reichen: Inhalte, die mit Websuche verarbeitet werden dürfen, und Inhalte, bei denen Websuche und Deep Research aus bleiben. Die Grenze läuft entlang der Frage, ob ein Dritter aus Bruchstücken Schaden anrichten könnte: Personendaten, laufende Verhandlungen, unveröffentlichte Zahlen, Rechtsfälle. Wer Projekte nutzt, verankert die Regel dort: ein Projekt für Recherche mit Websuche, eines für vertrauliche Arbeit ohne. Die Trennung nach Projekt ist leichter durchzusetzen als eine Trennung nach Disziplin.
Plattformen ändern sich, und die Fan-out-Logik ändert sich mit. Der Kanarien-Test gehört deshalb in die Quartals-Routine, zusammen mit den vier Fragen an den Anbieter, die die Community gestellt hat. Schriftlich, mit Antwortdatum. Ein Anbieter, der ernsthaft für Unternehmen baut, beantwortet sie. Und wenn die Antwort kommt, prüft der Kanarien-Test, ob sie stimmt.
Die Community hat es selbst richtig eingeordnet: Die Regel "Websuche aus für vertrauliche Arbeit" stammt aus einer Lücke in der Dokumentation, nicht aus einem bekannten Fehler. Das ist der ungünstigste Zustand, weil er weder Vertrauen noch Vorsicht rechtfertigt. Der Ausweg ist nicht mehr Vertrauen. Es ist eine Messung, die zehn Minuten kostet. Wie ihr das Wissen, das der Agent dabei nutzt, sauber vom Chat trennt, zeigen wir am 6. Oktober live. Und was Anwender-Communities sonst gerade beschäftigt, lest ihr ab dem 22. September alle zwei Wochen im Langdock Insider.
Zum Webinar: Nichts Wichtiges bleibt im Chat (Di 06.10., 11:30)
Langdock Insider abonnieren: alle zwei Wochen aus der Anwender-Community


0 Comments
Login or Register to Join the Conversation
Create an AccountLog in