Im Detail
- Benchmark umfasst 14 simulierte Räume, validiert gegen reale Messungen; Community kann Modelle einreichen
- Zeigt großen Leistungsabfall: Far‑Field‑WER bei niedrigem SNR ist deutlich höher als Nahfeld‑WER für dieselben Modelle
- Methodik: hybrid wave‑basierte Simulation, gehaltene Audiodaten, standardisierte Evaluations‑Hardware; Pareto‑Plots für WER vs. RTFx
- Roadmap: Multi‑talker‑Szenarien, Mikrofon‑Array‑Support und Echo‑Cancellation geplant
Warum es zählt
Für Produkte mit Sprachinterfaces (Konferenzsysteme, Robotik, Automotive) liefert ein offener Far‑Field‑Benchmark realistischere Erwartungen an Feldleistung und hilft bei der Auswahl von Modellen nach Genauigkeit und Laufzeit‑Tradeoffs.
Für dich Teste deine eingesetzten ASR‑Modelle gegen das FFASR‑Leaderboard‑Setup oder reiche ein Modell ein, um praxisnahe WER‑ und Latenzkennzahlen unter realen Raumakustiken zu erhalten.