Langdock Agent-Tests (Evals): Agenten prüfen, bevor dein Team sie nutzt

Stand: 28.10.2026

Alle Beispiele haben wir im DECAID-Demo-Workspace mit der fiktiven Firma Quellberg und einem Microsoft-365-Testmandanten nachgebaut und getestet. Händler, Produkte und Preise im Praxisfall sind erfunden.

Kurz gesagt: Mit den Agent-Tests (in der Doku »Evals«) legst du für einen Agenten feste Testfälle an und prüfst nach jeder Änderung auf einen Klick, ob er noch richtig antwortet. Bewertet wird mit drei Checks: einem KI-Prüfer, einem Tool-Check und einer Keyword-Prüfung. In unserem Test lieferten derselbe Agent und dieselben sechs Fälle im Test-Modus 3 von 6 bestanden und im Live-Modus 1 von 6, deshalb gehören beide Modi und ein Blick in die Details zu jedem ernsthaften Agenten-Test.

Was sind Agent-Tests in Langdock?

Agent-Tests sind ein Prüfwerkzeug im Agenten-Editor. Statt einen Agenten nach jeder Änderung von Hand mit ein paar Fragen auszuprobieren, sammelst du typische Anfragen als Testfälle, beschreibst je Fall eine gute Antwort und lässt alle Fälle auf einmal laufen (Quelle: Langdock-Doku »Agent Evals«).

Die Begriffe in der Oberfläche:

• Tests: der Tab oben im Agenten-Editor, neben »Konfiguration« und »Analytics«. Die Doku nennt ihn noch »Evals«, deutschsprachige Nutzer sehen seit Release v7.20 »Tests« (Quelle: Release Notes v7.20).
• Test-Set: eine Sammlung von Testfällen mit gemeinsamen Checks, bis zu 50 Fälle je Set.
• Fall: ein Prompt mit erwarteter Antwort, erwarteten Tools und Pflicht- oder Verbotswörtern.
• Durchlauf: ein Lauf aller oder ausgewählter Fälle, mit Ergebnis je Fall und Gesamtquote.
• Test-Modus und Live-Modus: ob Integrationsaktionen beim Testen nur aufgezeichnet oder wirklich ausgeführt werden.

Die drei Checks im Vergleich

Quelle: Langdock-Doku »Agent Evals« und eigene Tests am 28.10.2026.

So richtest du ein Test-Set ein

1. Öffne den Agenten im Editor und wechsle in den Tab Tests. Klicke auf Neues Test-Set.
2. Vergib einen Namen. Als Konversationsform gibt es derzeit nur Einzelner Turn, also ein Prompt und eine Antwort. »Mehrere Turns« ist sichtbar, aber als »Demnächst« markiert.
3. Wähle die Checks. Beim KI-Prüfer wählst du das Prüfmodell, voreingestellt war bei uns GPT-5.6 Luna.
4. Unter Erweitert legst du die Tool-Ausführung fest: Test-Modus (Standard) oder Live-Modus.
5. Klicke auf Test-Set erstellen.

Langdock weist im Dialog darauf hin: Durchläufe zählen zu den Nutzungslimits des Workspaces, mit KI-Prüfer kommt je Fall mit erwarteter Antwort ein eigener Prüfaufruf dazu (Quelle: Oberfläche und Langdock-Doku »Agent Evals«).

Fälle legst du einzeln mit Fall hinzufügen an oder lädst sie mit CSV importieren. Die CSV braucht die Spalte prompt und kann must_contain, must_not_contain, reference_answer und expected_tools enthalten. Im Dialog gibt es eine Beispiel-CSV zum Herunterladen.

Gestartet wird mit Ausführen. Über den Pfeil daneben wählst du für diesen Lauf Im Testmodus ausführen oder Live ausführen. Pro Test-Set läuft immer nur ein Durchlauf, pro Workspace bis zu drei gleichzeitig (Quelle: Langdock-Doku »Agent Evals«).

Praxisfall: Lieferzusagen für Quellberg

Quellberg ist ein fiktiver Getränkehersteller aus München. Der Agent »Lieferzusage (Quellberg)« beantwortet Händleranfragen: Er sucht die Mail in Outlook, holt über eine eigene Integration die gesetzlichen Feiertage des Bundeslands, rechnet per Code rückwärts, bis wann Quellberg den Auftrag bestätigen muss (Lieferzeit fünf Werktage), und legt eine Antwort als Entwurf an. Gesendet wird nie.

Das Test-Set »Liefertermine (Quellberg)« hat sechs Fälle. Die Sollwerte haben wir vorher selbst gerechnet und gegen zwei öffentliche Feiertagsquellen geprüft:

Die Fälle 1 bis 4 erwarten das Tool »Feiertage abrufen«. Fall 6 ist eine Falle für die Keyword-Prüfung: Wer »nicht gesendet« schreibt, enthält das Verbotswort.

Wir haben das Set dreimal laufen lassen:

Die Quote allein sagt wenig über die Ursache. In Lauf 3 waren alle vier Datumsantworten richtig und im verlangten Format. Alle vier fielen trotzdem durch, weil der Agent die Feiertage aus dem eigenen Wissen nahm, statt die Aktion aufzurufen. Was dahintersteckt, zeigen die Befunde.

Was wir beim Testen gelernt haben

Alle Befunde stammen aus drei Durchläufen am 28.10.2026 mit sechs Fällen, dem Bearbeiten der Fälle und einer Gegenprobe über die API.

1. Im Test-Modus meldet Langdock dem Agenten Erfolg ohne Daten, und der Agent macht daraus Aussagen. Im Test-Modus zeichnet Langdock Integrationsaktionen nur auf, auch lesende wie eine Postfachsuche. In der Detailansicht steht dann »Feiertage abgerufen · Nicht ausgeführt«. Der Agent bekommt statt Daten nur die Rückmeldung, die Aktion sei erfolgreich gelaufen und er solle mit der Antwort weitermachen. Das tut er: In Fall 2 rief er die Feiertage viermal ab und setzte sie dann »selbst ein«, in Fall 5 schrieb er »In deinem Postfach habe ich keine Preisliste … gefunden«, obwohl die Suche nie lief. Der KI-Prüfer gab für Fall 5 die volle Punktzahl.

2. Test-Modus und Live-Modus kommen zu anderen Ergebnissen. Fall 5 bestand im Test-Modus und fiel live mit 10 von 100 Punkten durch. Live fand der Agent im Postfach zwei Angebotsentwürfe aus früheren Tests und nannte daraus 23,60 EUR netto je Kiste, mit Quelle und dem Hinweis, dass es keine offizielle Preisliste ist. Wir haben die Entwürfe im Postfach geprüft: Die Antwort stimmte, unsere Erwartung war falsch. Der Test-Modus hatte das verdeckt. Prüfe Agenten mit lesenden Integrationen deshalb mindestens einmal live, und schreibe erwartete Antworten nach den echten Daten.

3. Ein roter Tool-Check kann heißen: Der Agent hat die Aktion übersprungen und behauptet trotzdem, sie benutzt zu haben. In 8 von 12 Datumsfällen über alle drei Läufe meldete der Tool-Check »Feiertage abrufen · Nicht aufgerufen«. Die Detailansicht zeigt dann nur einen Code-Schritt »Ausgeführt«. In diesem Code standen die Feiertage fest eingetippt, aus dem Wissen des Modells, die Aktion lief in keinem dieser Fälle. Trotzdem schrieb der Agent in Lauf 3 »Der Feiertagsabruf für Bayern liefert im Zeitraum 01.12. bis 08.12.2026 keine gesetzlichen Feiertage« und in einem anderen Fall »laut Feiertagsabfrage«. Die Daten stimmten, weil die Feiertage in diesen Zeiträumen gut bekannt sind. Verlassen kannst du dich darauf nicht. Der Tool-Check hat hier genau das gefunden, wofür er da ist. Den Code-Schritt kannst du in der Detailansicht nicht aufklappen, achte deshalb auf die Werkzeugschritte über der Antwort. Über die Langdock-API rief derselbe Agent mit demselben Prompt die Aktion einmal direkt auf: Ob er das Werkzeug nimmt, schwankt von Lauf zu Lauf.

4. Die Keyword-Prüfung ist wörtlich. Laut Doku ist sie ein Teilstring-Vergleich ohne Rücksicht auf Groß- und Kleinschreibung. Das hat zwei Folgen, die beide in unserem Test auftraten: Das Pflichtwort »Entwurf« fehlte, weil der Agent »Antwortentwürfe« schrieb, und »01.12.2026« fehlte, weil er im Live-Modus »Dienstag, 1. Dezember 2026« schrieb. Abhilfe: einen Wortstamm wie »Entw« als Pflichtwort nehmen und in der Agent-Anweisung ein festes Datumsformat verlangen.

5. Im Feld »Muss enthalten« trennt das Komma. Wir wollten den Preis »23,60« als Pflichtwort eintragen. Das Feld machte daraus zwei Begriffe, »23« und »60«. Deutsche Beträge lassen sich so nicht prüfen. Nimm stattdessen ein Wort, das nur in der richtigen Antwort vorkommt, oder prüfe den Betrag über den KI-Prüfer.

6. Der KI-Prüfer achtet auf das Kernergebnis. In Fall 1 des Test-Modus behauptete der Agent, Mariä Empfängnis (08.12.) gelte in Bayern »nur regional«. Das ist falsch, der Tag ist in Bayern kein gesetzlicher Feiertag. Der KI-Prüfer gab 84 von 100 Punkten, lobte die Einordnung der Feiertage und bemängelte nur die Darstellung der Rückwärtsrechnung. Schreibe in die erwartete Antwort auch, was nicht vorkommen darf, oder sichere solche Punkte über Verbotswörter ab.

7. Nachschärfen wirkt nicht überall, und die Tests zeigen beides. Nach Lauf 2 haben wir die Agent-Anweisung um zwei Regeln ergänzt (Feiertage immer über die Aktion und nie aus eigenem Wissen, Datum immer als TT.MM.JJJJ) und die Fälle 5 und 6 korrigiert. In Lauf 3 waren alle Pflichtwörter grün, der Preisfall und die Entwurfsfrage bestanden. Die Feiertagsregel half dagegen nicht: In Lauf 2 rief der Agent die Aktion in zwei von vier Datumsfällen auf, in Lauf 3 in keinem. Genau dafür sind Agent-Tests da: Du siehst nach jeder Änderung, was besser und was schlechter geworden ist. Für Werte, die stimmen müssen, heißt das: im Tool-Check als erwartetes Tool eintragen und rote Fälle ernst nehmen.

Test-Modus oder Live-Modus?

Quelle: Langdock-Doku »Agent Evals«, Oberfläche und eigene Tests am 28.10.2026.

Unsere Empfehlung: Lass schreibende Aktionen im Agenten immer mit Bestätigung laufen. Laut Doku stoppt der Live-Modus dann genau diesen Fall, und du testest lesende Integrationen mit echten Daten (Quelle: Langdock-Doku »Agent Evals«). Selbst ausgelöst haben wir eine solche Freigabe im Test nicht.

Team, Admin und Governance

• Wer testet: Test-Sets liegen im Tab Tests des Agenten-Editors. Die Durchlauf-Liste zeigt, wer einen Lauf gestartet hat und gegen welche Version (bei uns »Entwurf (v2)« und nach dem Nachschärfen »Entwurf (v3)«).
• Kosten: Jeder Fall verbraucht Nutzung wie eine normale Agenten-Unterhaltung, der KI-Prüfer kommt bei Fällen mit erwarteter Antwort dazu (Quelle: Langdock-Doku »Agent Evals«).
• Vor der Veröffentlichung: Teste die Entwurfsversion, bevor du sie mit Aktualisieren oder per API mit publish freigibst. So erreicht ein Rückschritt dein Team nicht.
• Daten: Nutze im Live-Modus Testpostfächer und erfundene Fälle. Was der Agent im Live-Modus aus Postfächern liest, steht danach in den Testergebnissen.
• Nachvollziehbarkeit: Ergebnisse lassen sich je Durchlauf mit CSV herunterladen exportieren, etwa für eine Abnahme.

Grenzen und Limits

Häufige Fragen

Wo finde ich die Evals in Langdock?

Im Agenten-Editor im Tab Tests. Die Doku nennt die Funktion »Evals« oder »Agent Evals«, in der deutschen Oberfläche heißt sie seit Release v7.20 »Tests«.

Was kostet ein Testlauf?

Jeder Fall verbraucht Nutzung wie eine normale Unterhaltung mit dem Agenten. Ist der KI-Prüfer aktiv, kommt für jeden Fall mit erwarteter Antwort ein weiterer Modellaufruf dazu. Beides zählt zu den Nutzungslimits deines Workspaces.

Kann ein Testlauf Mails versenden?

Im Test-Modus nicht, dort werden Aktionen nur aufgezeichnet. Im Live-Modus führt Langdock alle Aktionen aus, die keine Freigabe brauchen. Stell schreibende Aktionen deshalb auf Bestätigung, dann stoppt der Fall an dieser Stelle.

Welches Modell prüft die Antworten?

Das wählst du beim Anlegen des Test-Sets. Bei uns war GPT-5.6 Luna voreingestellt. Der KI-Prüfer zeigt je Fall Punktzahl, Ergebnis (bestanden, nicht bestanden oder unsicher) und Begründung.

Kann ich Testfälle aus Excel übernehmen?

Ja, als CSV mit den Spalten prompt, must_contain, must_not_contain, reference_answer und expected_tools. Achte darauf, dass Pflichtwörter keine Kommas enthalten.

Kann ich Agent-Tests über die API starten?

Nein, Test-Sets und Durchläufe gibt es nur in der Oberfläche. Einzelne Prompts kannst du über die Agents API gegenprüfen, siehe unseren API-Artikel.

Ersetzt ein Test-Set das Ausprobieren im Chat?

Nein. Ein Test-Set zeigt dir schnell, ob sich etwas verschlechtert hat. Warum ein Fall scheitert, siehst du nur in der Detailansicht, und neue Aufgaben findest du weiterhin im echten Einsatz.

Ihr wollt Agenten im Team ausrollen und sichergehen, dass sie nach jeder Änderung noch richtig antworten? Wir bauen eure Agenten mit Test-Sets aus echten Anfragen und zeigen euch, wie ihr die Ergebnisse richtig lest. Gespräch mit uns vereinbaren