Latenz in der KI-Telefonie ist die Zeit zwischen dem Ende einer Äußerung des Anrufers und dem Beginn der Antwort. Am Telefon erwartet ein Mensch eine Reaktion in unter einer Sekunde. Ist die Verzögerung höher, wirkt das Gespräch stockend und unnatürlich. Millisekunden entscheiden über das Gefühl eines echten Dialogs.
Inhaltsverzeichnis:
- Was Latenz am Telefon bedeutet
- Die Technik-Kette und wo Verzögerung entsteht
- Welche Werte typisch sind
- Wie sich Latenz senken lässt
- Warum das für das Kundenerlebnis zählt
- Häufige Fragen
Was Latenz am Telefon bedeutet
Latenz meint die Verzögerung, bis eine Antwort einsetzt. In einem Gespräch zwischen zwei Menschen liegt die natürliche Pause zwischen den Sprechern nur bei wenigen hundert Millisekunden. Diese Erwartung nehmen Anrufer mit ans Telefon, auch wenn am anderen Ende eine KI arbeitet.
Wird die Pause spürbar länger, entsteht ein unangenehmer Effekt. Der Anrufer weiß nicht, ob die Gegenseite ihn verstanden hat, und beginnt oft nachzufragen oder erneut zu sprechen. Beim Menschen genügt eine halbe Sekunde Stille, um Unsicherheit auszulösen. Am Telefon fehlt zudem der Blickkontakt, der eine Pause sonst überbrücken würde.
Für einen KI-Telefonassistenten ist eine niedrige Latenz deshalb kein technisches Detail, sondern die Grundlage eines natürlichen Gesprächs. Weitere Begriffe rund um diese Technik klärt das Glossar (interner Link: „Glossar zur KI-Telefonie").
Die Technik-Kette und wo Verzögerung entsteht
Zwischen dem gesprochenen Wort und der hörbaren Antwort liegen mehrere Verarbeitungsschritte. Jeder Schritt kostet Zeit, und die Summe ergibt die wahrgenommene Latenz.
Zuerst wandelt die Spracherkennung, kurz ASR, das Gesagte in Text um. Dann verarbeitet ein Sprachmodell diesen Text und erzeugt eine Antwort, der Schritt heißt Reasoning. Zuletzt setzt die Sprachausgabe, kurz TTS, den Antworttext in eine hörbare Stimme um. Dazu kommt die reine Übertragungszeit im Telefonnetz.
Das Reasoning ist meist der größte Zeitfresser, weil das Sprachmodell die Antwort erst berechnen muss. Auch die Erkennung des Sprechendes zählt: Das System muss zuverlässig merken, wann der Anrufer fertig ist, bevor es antwortet. Ein zu früher Start unterbricht, ein zu später Start wirkt träge. Wie ein solches System grundsätzlich arbeitet, beschreibt der Beitrag zum Voicebot (interner Link: „wie ein Voicebot funktioniert").
Welche Werte typisch sind
Für ein natürliches Gespräch gilt die Gesamtlatenz unter einer Sekunde als Zielmarke. Genauer wird die Einordnung erst mit belegten Messwerten, die je nach Aufbau schwanken.
Diese Werte sind keine festen Größen. Sie hängen von den gewählten Modellen, der Servernähe und der Frage ab, ob das System die Antwort bereits während der Verarbeitung ausgibt. Ein belastbarer Vergleich braucht Messungen unter realen Bedingungen, nicht Laborwerte.
Wie sich Latenz senken lässt
Die wirksamste Methode ist Streaming. Statt jeden Schritt komplett abzuwarten, beginnt das System, Zwischenergebnisse sofort weiterzureichen. Die Spracherkennung liefert Text schon während des Sprechens, das Sprachmodell startet die Antwort, sobald der Anfang feststeht, und die Stimme setzt ein, bevor der ganze Satz berechnet ist.
Ein zweiter Hebel ist die Modellwahl. Kleinere und auf Geschwindigkeit optimierte Sprachmodelle antworten schneller als große Allzweckmodelle. Für die eng umrissenen Aufgaben eines Telefonassistenten, etwa Terminvergabe oder Anrufannahme, genügt oft ein schlankes Modell, das seine Antwort in Sekundenbruchteilen liefert.
Dazu kommen die Rahmenbedingungen. Server in der Nähe des Anrufers verkürzen die Netzlaufzeit, und eine gute Erkennung des Sprechendes verhindert unnötige Wartezeit. Erst das Zusammenspiel dieser Hebel bringt die Gesamtlatenz verlässlich unter die kritische Sekunde.
Warum das für das Kundenerlebnis zählt
Am Ende erlebt der Anrufer keine Millisekunden, sondern ein Gefühl. Antwortet der Assistent flüssig, wirkt das Gespräch kompetent und der Anrufer bleibt in der Leitung. Stockt es, steigt die Wahrscheinlichkeit, dass er auflegt oder ungeduldig wird.
Für einen Betrieb hängt daran unmittelbar der Geschäftswert. Ein Assistent, der Termine bucht und Anliegen aufnimmt, tut das nur erfolgreich, wenn der Anrufer das Gespräch als angenehm empfindet. Niedrige Latenz ist damit ein direkter Faktor für die Zahl der Anrufe, die tatsächlich zum Ziel führen.
Der Unterschied zwischen einer flüssigen und einer trägen Antwort lässt sich nicht auf dem Papier beurteilen. Er wird erst im Ohr entschieden, im echten Gespräch am Telefon.