VOXCX / BENCH
Русский диагностический пилот
Методология оценки голосового тракта на фиксированном синтетическом dev-наборе.
Как проходит проверка
Восемь сценариев выполняются по три раза: 24 голосовые попытки и отдельный текстовый контроль с теми же моделью и инструментами. Каждая попытка сохраняется, включая ошибки и отмены.
Успех требует завершения, подтверждённой доставки, правильного состояния и точного журнала действий. Недостаточные доказательства не считаются ни успехом, ни доказанной ошибкой задачи. Покрытие — число оцениваемых попыток; pass³ — число сценариев с тремя успехами.
Это малый выбранный набор для разработки, а не рейтинг моделей или доказательство превосходства. Для сравнения необходим независимый набор. WER и CER требуют независимой человеческой разметки аудио; при её отсутствии они не измеряются.
Опубликованные результаты
Дата: 2026-10-29T10:56:23.634975Z · Набор: ru-voice-dev-pilot-20261029 · n = 24
SHA-256 набора: 0f7282ffd041db55c84c989f5d03ec14193ff34d74c4d81514b62f43a36aeeec
SHA-256 конфигурации: 534f8fe6a880a645832e41918b919216b5b2f811af52bc05672c390cedac56a0
Модели: Qwen3.5 9B Q5 K M ревизия 3885219b6810b007914f3a7950a8d1b469d598a5, Whisper large v3 turbo ревизия 0a363e9161cbc7ed1431c9597a8ceaf0c4f78fcf, Silero CIS ревизия e382298387332f2bf461fe6eadfde99104611b0c, Silero stress ревизия d38096cae9bf3ac846bbb88705428f3ed3801b96, Silero VAD SHA-256 4cbf549b8326f60f80f2536d9eefeb450a9abe83365a098031c89719f1be17d2
Голос
Успешно: 0 / 24 · Покрытие: 0 / 24 · pass³: 0 / 8
- A01: Недостаточно данных / Недостаточно данных / Недостаточно данных
- A02: Недостаточно данных / Недостаточно данных / Недостаточно данных
- A03: Недостаточно данных / Недостаточно данных / Недостаточно данных
- A04: Недостаточно данных / Недостаточно данных / Недостаточно данных
- O01: Недостаточно данных / Недостаточно данных / Недостаточно данных
- O02: Недостаточно данных / Недостаточно данных / Недостаточно данных
- O03: Недостаточно данных / Недостаточно данных / Недостаточно данных
- O04: Недостаточно данных / Недостаточно данных / Недостаточно данных
Текстовый контроль
Успешно: 6 / 24 · Покрытие: 24 / 24 · pass³: 2 / 8
- A01: Несоответствие / Несоответствие / Несоответствие
- A02: Несоответствие / Несоответствие / Несоответствие
- A03: Успех / Успех / Успех
- A04: Несоответствие / Несоответствие / Несоответствие
- O01: Несоответствие / Несоответствие / Несоответствие
- O02: Несоответствие / Несоответствие / Несоответствие
- O03: Успех / Успех / Успех
- O04: Несоответствие / Несоответствие / Несоответствие
Ограничения: Небольшой синтетический набор для разработки не является рейтингом или доказательством превосходства; Голосовое покрытие равно нулю из-за недостаточности доказательств доставки включая происхождение реплики и корректирующие слова; Отсутствующие доказательства не означают доказанную ошибку задачи; Независимой человеческой разметки нет и WER CER не измерялись; Доступ к полному отчёту и аудио ограничен владельцем; Хеши описывают снимок файлов на диске и не подтверждают содержимое памяти модели
Идентификаторы доказательств: 29b550de-725e-4e2d-bf51-81ac85b4cccb