Benchmark

Facundia made the fewest errors.

South Africa's finance minister in parliament, on how contracts were split up to avoid public tenders. 27 seconds, translated live into German by four tools. Each translation appears at the moment it arrived in the test.

ToolCorrect meaning sentencesImprecise spotsSeconds to text median after the end of a sentence
Facundiaprepared for this speech5 of 513.0 s
GPT-5.6 Lunawith Whisper5 of 546.8 s
gpt-audioOpenAI, listens directly3 of 521.7 s
DeepL Translatewith Whisper2 of 521.0 s

Said

If you know, if you read this SIU report, what they were doing, they would avoid the tendering system by saying, putting all tenders that are below 500, you are not supposed to tender, you are supposed to ask for three quotes. And then people would go on and ask for three quotes and split tenders to be under 500.

Live into German

Facundia prepared for this speech

Median 3.0 s

  1. Wenn Sie diesen SIU-Bericht lesen ...

    Sentence 1: 3.0 s after the end of the sentence

  2. was sie da gemacht haben: Sie haben das Ausschreibungssystem umgangen, indem sie sagten,

    Sentence 2: 6.4 s after the end of the sentence

  3. sie vergeben alle Aufträge unter 500.

    Sentence 3: 1.9 s after the end of the sentence

    • ~Reads an award of contracts into it

  4. Dafür muss man nicht ausschreiben. Man muss nur 3 Angebote einholen.

    Sentence 4: 2.7 s after the end of the sentence

  5. Und dann gehen die Leute hin, holen 3 Angebote ein und stückeln die Aufträge, damit sie unter 500 liegen.

    Sentence 5: 3.1 s after the end of the sentence

GPT-5.6 Luna with Whisper

Median 6.8 s

  1. Wenn du es weißt, wenn du diesen SIU-Bericht gelesen hast …

    Sentence 1: 1.8 s after the end of the sentence

    • ~Informal du instead of Sie

  2. Was sie taten, war, das Ausschreibungssystem zu umgehen, indem sie sagten,

    Sentence 2: 1.8 s after the end of the sentence

  3. alle Ausschreibungen, die unter 500 liegen,

    Sentence 3: 6.8 s after the end of the sentence

    • ~Should be contracts

  4. Sie sollen keine Ausschreibung durchführen. Sie sollen drei Angebote einholen.

    Sentence 4: 8.0 s after the end of the sentence

  5. und dann würden die Leute weiterhin drei Angebote einholen und Ausschreibungen aufteilen, damit sie unter 500 bleiben.

    Sentence 5: 7.6 s after the end of the sentence

    • ~weiterhin (still) shifts the meaning
    • ~It is contracts that get split

gpt-audio OpenAI, listens directly

Median 1.7 s

  1. Wenn Sie diesen SIU-Bericht lesen.

    Sentence 1: 1.3 s after the end of the sentence

  2. Was sie taten, war, das Ausschreibungssystem zu umgehen, indem sie sagten:

    Sentence 2: 1.8 s after the end of the sentence

  3. Nimm es bitte herunter, nimm alle Angebote, die unter 500 liegen.

    Sentence 3: 1.7 s after the end of the sentence

    • !Heckle translated as speech
    • ~Unclear meaning, informal du

  4. Du sollst nicht direkt ein Angebot abgeben, du sollst drei Angebote einholen.

    Sentence 4: 1.4 s after the end of the sentence

    • !Means: don't put it out to tender
    • ~Informal du instead of Sie

  5. Und dann gingen die Leute hin und fragten nach drei Angeboten und teilten die Aufträge auf, um unter 500 zu bleiben.

    Sentence 5: 1.8 s after the end of the sentence

DeepL Translate with Whisper

Median 1.0 s

  1. Wenn Sie es wissen, wenn Sie diesen SIU-Bericht gelesen haben...

    Sentence 1: 1.0 s after the end of the sentence

  2. Um das zu erreichen, umgingen sie das Ausschreibungsverfahren, indem sie sagten:

    Sentence 2: 1.0 s after the end of the sentence

    • !Invented purpose

  3. Bei der Ausschreibung gelten alle Angebote, die unter 500 liegen,

    Sentence 3: 1.0 s after the end of the sentence

    • !Meaning twisted

  4. Sie sollen kein Angebot abgeben. Sie sollen drei Angebote einholen.

    Sentence 4: 0.9 s after the end of the sentence

    • !Means: don't put it out to tender

  5. Und dann würden die Leute weitermachen und drei Angebote einholen und die Ausschreibungen so aufteilen, dass sie unter 500 liegen.

    Sentence 5: 1.1 s after the end of the sentence

    • ~Literal and clumsy
    • ~It is contracts that get split

Measured live on 6 October 2026, one run per tool, on 27 seconds of Enoch Godongwana's budget speech (CNBC Africa). Facundia had the occasion and a list of names, the others a plain instruction. Seconds from the end of a sentence to the translated text, median over five sentences. Errors as judged blind by two AI reviewers from different providers.

Get in touch See the benchmark