Der präziseste KI‑Scribe für Tierärzte: unsere Benchmark‑Ergebnisse

Ich leite das KI‑Labor bei Lupa. Wir hatten Feedback, dass unser KI‑Scribe nicht so gut performt, wie wir es erwarten – also haben wir gezielt große Upgrades umgesetzt, um die Genauigkeit spürbar zu verbessern. Diese Arbeit hat eine Frage aufgeworfen, die eine saubere Antwort verdient: Welche KI‑Modelle sind für tierärztliche Konsultationen tatsächlich am besten? Es gibt nicht „das eine“ beste Modell. Ein Modell kann in einer Aufgabe hervorragend sein und in einer anderen nur mittelmäßig – deshalb muss jemand die Arbeit für genau den Anwendungsfall „tierärztliche klinische Sprache“ machen. Genau das haben wir getan: fünf Modelle, getestet an echten Konsultationen, bewertet gegen Transkripte, die ein Tierarzt per Hand korrigiert hat, und gemessen anhand der Faktoren, die eine klinische Notiz richtig oder falsch machen. Das Modell, das wir für Lupas Scribe ausgewählt haben, lag in unseren Tests vor allen Alternativen – einschließlich des führenden Human‑Medical‑Scribes, der inzwischen an Tierarztpraxen verkauft wird. Jeder KI‑Scribe behauptet, genau zu sein. Fast niemand veröffentlicht jedoch, was gemessen wurde, wogegen gemessen wurde und wie.

Warum die Wortfehlerrate das falsche Maß ist

Das Standardmaß für Speech‑to‑Text ist die Wortfehlerrate: Wie viele Wörter wurden falsch transkribiert? Für eine tierärztliche Konsultation ist diese Zahl nahezu unbrauchbar. Ein Transkript kann bei der Wortfehlerrate gut aussehen und trotzdem gefährlich sein. Wenn ein Modell 98 Wörter korrekt transkribiert, aber den Medikamentennamen falsch hat, ändert sich der Score kaum – die Notiz ist klinisch aber falsch. Deshalb haben wir etwas anderes gemessen: wie zuverlässig jedes Modell die Details erkennt, die eine klinische Dokumentation korrekt oder inkorrekt machen:

• Medikamentennamen
• Dosierungen
• Diagnosen
• Patientenamen

Wenn diese stimmen, ist ein kleiner Fehler im Rest des Satzes meist weniger relevant. Wenn eines davon falsch ist, hilft dir der Rest des perfekten Transkripts nicht.

Wie wir den Benchmark durchgeführt haben

Wir haben echte Konsultationen aus Lupa gesampelt – bewusst über verschiedene Nutzer und Akzente verteilt, statt nur „saubere“ Audios auszuwählen. Praxen sind laut, Tierärzte haben Akzente, und ein Benchmark mit Studio‑Audio sagt nichts über einen Dienstagmittag im Sprechzimmer aus. Wir haben eine Ground‑Truth per Hand gebaut: Ein Tierarzt hat jedes Konsultations‑Transkript manuell korrigiert. Das war die Referenz, gegen die jedes Modell bewertet wurde. Wir haben fünf Modelle getestet – sowohl General‑Purpose‑Speech‑to‑Text als auch Modelle, die auf medizinisches Audio spezialisiert sind. Danach haben wir den Schritt „Zusammenfassung“ separat getestet. Ein Scribe macht zwei Jobs: erst Audio → Transkript, dann Transkript → strukturierte klinische Zusammenfassung. Ein Modell kann in einem Schritt stark sein und im anderen schwach – deshalb haben wir sie getrennt bewertet. Für die Zusammenfassung haben praktizierende Tierärzte Ausgaben blind verglichen und nach fünf Kriterien bewertet:

• Prägnanz
• klinische Nützlichkeit
• Halluzination
• Vollständigkeit
• klinische Genauigkeit

Hier sind die zentralen Erkenntnisse:

Ergebnis 1: Medizinische Modelle schneiden bei tierärztlichem Audio schlechter ab

Das Ergebnis, das wir nicht erwartet hatten. Das speziell auf medizinische Daten trainierte Sprache-zu-Text-Modell schnitt bei unseren tierärztlichen Konsultationen schlechter ab als das allgemeine Modell desselben Anbieters: 0,79 bei der Entitätsgenauigkeit gegenüber 0,83, und eine höhere Wortfehlerrate. Bei der reinen Transkriptionsgenauigkeit ist der Unterschied noch größer. Das Modell von Lupa hat 22,1 % der Wörter falsch erkannt. Das führende medizinische Diktiersystem hat 39,1 % falsch erkannt, fast doppelt so viel. Unsere Einschätzung ist, dass diese Modelle stark auf humanmedizinischen Daten trainiert wurden. Humanmedizin und Veterinärmedizin teilen einen großen Teil ihres Vokabulars. Sie unterscheiden sich jedoch bei Medikamentennamen, Dosierungskonventionen, artspezifischen Begriffen und dem Ablauf einer Konsultation. Ein Modell, das intensiv auf das eine optimiert wurde, ist beim anderen nicht automatisch besser, und kann sogar deutlich schlechter abschneiden. Das ist der wichtigste Grund, warum das von uns für Lupas Diktiersystem ausgewählte Modell die humanmedizinischen Tools übertrifft, die derzeit an Tierarztpraxen verkauft werden. Wir haben diese Modelle nicht selbst entwickelt; wir haben sie getestet und dasjenige ausgewählt, das bei tierärztlichen Konsultationen am besten abschneidet. Die medizinischen Tools sind den umgekehrten Weg gegangen: für die Humanmedizin entwickelt und dann übertragen, wobei die Spezialisierung, die ihnen in der Humanmedizin hilft, bei einer tierärztlichen Konsultation gegen sie arbeitet. Wenn du einen KI‑Scribe evaluierst: „Für Medizin gebaut“ ist nicht dasselbe wie „auf tierärztlichen Konsultationen genau“.

Ergebnis 2: Lupas Notizen waren am vollständigsten

Das Transkript ist nur die halbe Arbeit. Entscheidend ist, daraus eine strukturierte klinische Notiz zu machen – deshalb haben wir die Zusammenfassung separat bewertet, Konsultation für Konsultation, in beiden Reihenfolgen, um Bias zu reduzieren. Bei Vollständigkeit war Lupa am stärksten: In 67 % der Konsultationen wurde die Lupa‑Notiz als besser bewertet, in 9 % als schlechter. Bei Halluzination (Inhalte, die nie gesagt wurden) lagen beide Systeme meist gleichauf. Beide waren in 58 % der Konsultationen gleich bewertet. Auf „Erfindungen“ ist ein führender medizinischer Scribe ungefähr so sicher wie wir – und beide sind besser, als viele annehmen. Halluzination ist trotzdem der Failure‑Mode, der dich bei der Wahl eines Scribes am meisten beschäftigen sollte. Eine zu lange Zusammenfassung kostet 30 Sekunden. Eine Zusammenfassung, die einen klinischen Befund erfindet, landet in der Patientenakte, beeinflusst die nächste Entscheidung und wird im Zweifel zum juristischen Problem. Testen Sie jedes Diktiersystem konkret selbst. Lesen Sie die Zusammenfassung gegen das ab, was in Ihren eigenen Konsultationen tatsächlich gesagt wurde, und zählen Sie, was darin auftaucht, das dort nicht hingehört.

Ergebnis 3: Lupas Notizen liegen näher an der eigenen Notiz eines Tierarztes als zwei Tierärzte untereinander

Das war der härteste Test. Zwei Tierärzte haben für einen Satz Konsultationen jeweils ihre eigene Notiz geschrieben – so, wie sie es normalerweise tun. Dann haben wir gemessen, wie viel davon Lupas Version abdeckt. Gegen die Notizen des ersten Tierarztes erfasste Lupa 94 % der klinischen Fakten und 91 % der Zahlen. Gegen die Notizen des zweiten: 85 % für beides. Der wichtige Vergleich: Die beiden Tierärzte stimmten untereinander nur zu 84 % überein. Zwei erfahrene Kliniker schreiben für dieselbe Konsultation nicht identische Notizen – das ist die realistische Obergrenze. Lupas Notizen lagen für beide Tierärzte auf oder über dieser Linie.

Ergebnis 4: Tierärzte bearbeiten Lupas Notizen immer weniger

Benchmarks werden unter kontrollierten Bedingungen durchgeführt. Die interessantere Kennzahl ergibt sich daraus, was Tierärzt:innen mit den Notizen tun, sobald sie ihnen vorliegen. Jede von Lupa erstellte Notiz kann vor der Übernahme in die Akte bearbeitet werden, und wir messen, wie viel davon geändert wird. Mitte Juli überarbeitete der durchschnittliche Tierarzt/die durchschnittliche Tierärztin 12 % der Notiz. Anfang August war dieser Wert auf 4,4 % gesunken. Dieser Rückgang folgt auf eine Reihe von Verbesserungen, die wir in diesen Wochen am Diktiersystem vorgenommen haben, und ist der klarste Beweis, den wir dafür haben, dass sie gewirkt haben. Tierärzt:innen korrigieren Lupas Notizen jetzt dreimal seltener als zuvor, was über eine Woche voller Konsultationen hinweg eine enorme Zeitersparnis bedeutet.

Wie ein Tierarzt die Notizen bewertet hat

Scores sind das eine. Was jemand wirklich unterschreiben würde, das andere. Deshalb hat ein praktizierender Tierarzt 18 Konsultationen gelesen und jeweils die beste Notiz gewählt – ohne zu wissen, welches System sie erstellt hat. Eine Notiz von Lupa wurde in 17 von 18 Fällen ausgewählt. Von den Notizen, für die sich der Tierarzt entschied, benötigten 14 von 15 nicht mehr als kleinere Änderungen, bevor er sie bedenkenlos verwenden würde. Ein Tierarzt bei 18 Konsultationen ist eine kleine Stichprobe, und das sagen wir lieber so, als es zu beschönigen. Sie weist in dieselbe Richtung wie alles andere hier, und wir bauen sie weiter aus.

Warum Lupas Scribe genauer ist

Wir verfügen über gelabelte tierärztliche Daten, die sonst niemand hat. Praktizierende Tierärzte haben Modellausgaben aus echten Konsultationen durchgesehen und korrigiert, sowohl für die Transkripte als auch für die schriftlichen Zusammenfassungen, was uns einen bewerteten Datensatz liefert, der speziell auf die tierärztliche Arbeit in jedem einzelnen Schritt zugeschnitten ist. Das ist es, was uns erlaubt zu sagen, ob ein neues Modell wirklich besser oder nur neuer ist. Es testet außerdem, wie wir jedes Modell einsetzen. Gibt man einem Modell beispielsweise vor Beginn der Aufzeichnung eine Liste tierärztlicher Medikamentennamen, erkennt es deutlich mehr davon richtig. Wir testen alle drei Monate erneut. Neue Spitzenmodelle erscheinen etwa in diesem Takt, und das beste Modell für diese Aufgabe ändert sich. Ein Anbieter, der sich vor zwei Jahren für ein Modell entschieden und es seitdem nie wieder überprüft hat, setzt veraltete Technologie ein, egal wie gut das Marketing ist. Unsere nächste Genauigkeitsprüfung ist für September geplant. Ein Benchmark ist eine Momentaufnahme. Wie diese Genauigkeit nach Monaten des täglichen Einsatzes in echten Praxen aussieht, statt nach einem einmaligen Test, zeigt KI-Diktiersystem-Genauigkeit in der Praxis.

Immer mehr Tierärzte nutzen Lupas KI‑Scribe

Die Upgrades haben das Verhalten verändert. In den vier Wochen nach dem Rollout hat sich der Anteil der Termine, die mit dem Scribe dokumentiert wurden, in Lupa‑Praxen verdoppelt – von 4,8 % auf 10 %. Auch bestehende Nutzer nutzen ihn intensiver: Unter aktiven Scribe‑Nutzern stieg der Anteil ihrer eigenen Konsultationen, die sie scriben, im gleichen Zeitraum von 22 % auf 32 %. Und jede Woche probiert eine neue Gruppe von Tierärzten und Pflegekräften ihren ersten Termin aus – ein großer Teil des Wachstums kommt von Menschen, die es testen und dann dabeibleiben. Sprache wird in Lupa‑Praxen zur Standard‑Methode, um Termine zu dokumentieren. Solche Kurven entstehen nicht, weil ein Feature „da“ ist – sondern, weil es funktioniert.

Was das für deine Praxis bedeutet

Sprache wird zur Normalität, um Termine zu dokumentieren. Tierärzte, die es nutzen, tippen ihre Notizen nicht mehr wie vorher und sparen pro Konsultation spürbar Zeit. Dr. Michelle Mooridge bei Burghley Vets spart mit Lupa etwa drei Minuten pro Konsultation. Über eine volle Liste ist das fast eine Stunde pro Tag. Wie viel ein KI‑Scribe spart, hängt von Caseload und Dokumentationsgewohnheiten ab – und lohnt sich, für die eigene Praxis konkret zu berechnen. Die Genauigkeit ist es, die diese Einsparung real macht. Ein Scribe, den man Zeile für Zeile prüfen muss, spart nichts – deshalb benchmarken wir so. KI‑Scribing kostet bei Lupa 35 € pro Nutzer und Monat, transparent ausgewiesen und getrennt vom Basispreis. Außerdem sitzt Lupas Scribe direkt im Praxismanagementsystem – nicht daneben. Die KI ist in der Software eingebettet und kann mehr tun als nur eine Notiz liefern, die man irgendwo einfügt. Sie kann z.B. automatisch Gebühren markieren, die in der Konsultation genannt wurden, aber nicht auf der Rechnung stehen. Sie kann Diagnosen in die Akte übernehmen. Sie kann Beobachtungen gegen die Historie des Patienten abgleichen. Das ist ein großer Schritt für Tierärzte, die pünktlich nach Hause wollen: weniger Admin, mehr Effizienz.

Sieh es an deinen eigenen Konsultationen

Der einzige Benchmark, der für dich entscheidend sein sollte, ist dein eigener. Buche eine Demo, und wir lassen Lupas Scribe auf die Art von Terminen laufen, die du wirklich siehst.