2026-11-16
ИИ-поддержка на русском и казахском: проверка качества
Как проверить ответы ИИ-помощника поддержки на русском и казахском: 24 тестовых запроса, оценка по языкам и матрица передачи человеку.
Казахский ответ может звучать вежливо и всё равно менять условие обслуживания. Русский — точно пересказывать справку, но обещать уже состоявшуюся передачу оператору, хотя запрос ещё стоит в очереди. Поэтому ИИ-поддержку на русском и казахском стоит принимать не по красивой демонстрации, а по одинаковым задачам, раздельным результатам и проверке того, что произошло после ответа.
Руководителю поддержки нужны три ответа: одинаково ли помощник понимает обращение на двух языках; сохраняет ли факты и ограничения компании; действительно ли передаёт вопрос человеку, когда это требуется. Ни наличие казахского языка в каталоге модели, ни средний процент «хороших ответов» этого не подтверждают.
Ниже — способ собрать первую приёмку для компании в Казахстане. В комплекте есть 24 синтетических входа: десять пар RU/KK и четыре дополнительных смешанных случая, оценочная карточка и матрица эскалации. Это не результаты внедрения и не тест конкретной модели. Набор показывает, что проверять; рабочее качество измеряют отдельно на разрешённых типах обращений вашей компании.
Начните с двух одинаковых вопросов, а не с перевода готового ответа
Предположим, вы проверяете поддержку B2B-поставщика. Сначала зафиксируйте короткую учебную справку. В нашем вымышленном примере поддержка работает с понедельника по пятницу, с 09:00 до 18:00 UTC+5. Возврат денег разрешает сотрудник, срок доставки без проверки заказа неизвестен, статус чужой компании не раскрывают. Эти условия нужны только для воспроизводимого теста: это не часы работы и не политика GolemWorkers.
Теперь возьмите одно намерение в двух естественных формулировках:
- RU: «Где мой заказ?»
- KK: «Тапсырысым қайда?»
В обоих случаях помощник должен запросить номер заказа, а перед выдачей непубличного статуса — проверить личность клиента по предусмотренной процедуре. Вежливый ответ «Ваш заказ уже в пути» не проходит, если таких данных нет. Идеальный перевод этой фразы на казахский тоже не проходит.
В паре сравнивают не совпадение слов, а одинаковое решение: какие сведения нужны, на какой источник опирается ответ, что разрешено сообщить, какой следующий шаг предложен. Носитель или ответственный эксперт, уверенно работающий с казахским и русским, отдельно проверяет естественность и смысл. Дословность не должна превращать вежливое уточнение в требование или возможность — в обещание.
Такой подход соответствует принципу предметных оценок OpenAI: тест отражает конкретную задачу, а автоматические метрики сверяют с человеческой оценкой. Здесь используется общий метод, не предложение подключить определённый сервис оценивания.
Какие обращения включить в первые 24 входа
Возьмите реальные типы вопросов, но не переносите рабочую переписку в стороннюю модель без согласованного порядка обработки данных. Для первого обсуждения достаточно синтетических сообщений; для приёмки их необходимо дополнить разрешёнными примерами своего потока.
В нашем наборе каждая из десяти ситуаций имеет RU- и KK-вариант: часы работы, заказ без номера, чужие данные, возврат оплаты, конфликт старой и новой справки, неопределённая дата доставки, сброс пароля, просьба о человеке, попытка отменить правила и недоступность сервиса. Все тексты и ожидаемые решения доступны в полном наборе приёмки.
На телефоне таблицу можно прокручивать по горизонтали.
| Случай | Что проверяем | Что считается ошибкой |
|---|---|---|
| «Когда работает поддержка?» / «Қолдау қызметі қай уақытта жұмыс істейді?» | Те же дни, часы и часовой пояс | Казахский ответ обещает 24/7 вместо учебных пн–пт 09:00–18:00 UTC+5 |
| «Верните оплату сегодня» / «Бүгін төлемді қайтарыңыз» | Денежное решение остаётся у уполномоченного сотрудника | Помощник сам одобряет возврат или обещает дату выплаты |
| «Хочу поговорить с человеком» / «Маманмен сөйлескім келеді» | Просьба запускает предусмотренную передачу | Помощник игнорирует просьбу или пишет «передано» без подтверждения |
| В старой справке — 24/7, в новой — рабочие часы | Конфликт явно виден владельцу справки | Выбирается удобная версия без проверки применимости |
Ещё четыре входа проверяют то, что теряется при обычном переводе. Один смешивает русский и казахский и явно просит ответить по-казахски. Второй содержит казахское сообщение с просьбой ответить по-русски. Третий написан латиницей: «Qazaqsha jauap beriniz: mamanmen soileskim keledi». Четвёртый меняет язык во втором сообщении, сохраняя номер заказа A-204. По целевому языку ответа получается 12 RU и 12 KK.
Не заставляйте помощника копировать смешение языков. Если клиент явно выбрал язык — проверяйте этот выбор. Если выбор неясен и влияет на понимание, допустим короткий вопрос. В многоходовом диалоге смена языка не должна стирать номер заказа, уже сделанные проверки или причину обращения. Английская версия этой статьи объясняет тот же двуязычный тест, а не добавляет английские обращения в его знаменатель.

Оцените факты, язык, следующий шаг и маршрут отдельно
В карточке результата сохраните точный вход и историю, версию модели, инструкции, справку, полный ответ, использованный источник и фактическое действие. Если модель ответила на разных прогонах по-разному, сохраняйте каждый результат, а не только удачный.
Предлагаем четыре оси от 0 до 2:
- Факты: 2 — верны и подтверждены актуальным источником; 1 — неполно; 0 — ошибочны или придуманы.
- Язык: 2 — естественно и однозначно; 1 — понятно, но нужна редактура; 0 — неверный язык или искажение смысла.
- Следующий шаг: 2 — конкретен и выполним; 1 — неполон; 0 — бесполезен либо невозможен.
- Маршрут: 2 — соответствует правилу и реальному состоянию передачи; 1 — не хватает некритической детали; 0 — неверен.
В учебном критерии случай засчитывается при сумме не ниже 7/8, причём факты и маршрут должны получить по 2, остальные оси — не ниже 1; критических ошибок быть не должно. Это наш пример для согласования, не отраслевой норматив и не достаточный порог промышленного запуска.
Выдача чужих данных, неразрешённое денежное действие, выдуманный срок и ложное сообщение о передаче блокируют допуск независимо от среднего балла. Зато не всякая стилистическая шероховатость требует отключить помощника: её можно исправить, если смысл однозначен и действие верно. Ответственный эксперт должен объяснить замечание — например, «в KK потеряно условие проверки личности», а не просто «звучит хуже».
Сначала два проверяющих независимо оценят несколько одинаковых ответов, затем разберут расхождения по источнику и правилу. Если они не могут договориться об ожидаемом действии, проблема может быть в справке компании, а не в модели. У Anthropic в разборе оценок агентов также разделены задача, отдельные прогоны и способы проверки: один удачный ответ не заменяет оценку результата процесса.
Почему общий результат 75% может скрывать провал
Возьмём заранее выдуманные результаты, а не ответы какой-либо модели: русский — 10 зачтённых случаев из 12, казахский — 8 из 12. Общий результат — 18 из 24, или 75%. Но по отдельности это 83,3% и 66,7%. Два провала в демонстрации помечены критическими: неподтверждённая передача и выдуманное время восстановления.
Средний показатель не исправляет ни одну из этих ошибок. Он может даже улучшиться, если добавить много простых русских FAQ, оставив казахскую часть без изменений. Поэтому в отчёте нужны числитель и знаменатель для RU и KK, список смешанных случаев и отдельный счётчик критических ошибок. Для десяти пар полезно также отметить, где одно и то же намерение прошло на одном языке и не прошло на другом.
Малый набор помогает найти дефекты, но не даёт надёжной оценки всего потока. После исправлений добавьте новые типичные и сложные обращения, а часть новых случаев отложите и не используйте для настройки инструкций. Иначе вы проверите запоминание собственного набора. Долю обращений, задержки, исправления сотрудников и стоимость измеряют уже в согласованном пилоте; из наших 24 синтетических входов нельзя вывести SLA, экономию или ROI.
Передача человеку: проверить приём, а не фразу
«Передам специалисту» описывает намерение. Созданный запрос — начало передачи. Подтверждённый приём в нужной очереди — другой результат. Если помощник пишет «оператор подключён», а ответственный сотрудник ничего не получил, языковая оценка может быть высокой, но процесс не прошёл приёмку.
На телефоне таблицу можно прокручивать по горизонтали.
| Ситуация | Что сказать клиенту | Что проверить в процессе |
|---|---|---|
| Нужен человек, запрос ещё не создан | Кратко объяснить причину передачи | Есть разрешённый маршрут и минимальный контекст |
| Запрос создан или поставлен в очередь, приёма нет | «Запрос ожидает приёма» | Идентификатор запроса и очередь, без обещания ответа к выдуманному сроку |
| Уполномоченный сотрудник подтвердил приём | Сообщить только подтверждённое состояние | Подтверждение относится к этому обращению и этой очереди |
| Сотрудник недоступен или передача не удалась | Честно назвать статус и согласованный альтернативный путь | Обращение не закрыто как решённое; назначен владелец ожидания |
Состояния requested → queued → acknowledged в комплекте — наша схема проверки, не имена готового API. Если ваша система подтверждает только создание записи, нельзя приравнивать это к приёму человеком. Проверьте получение на реальном тестовом маршруте с ответственным сотрудником. Формулировки ответа и техническую доставку оценивайте отдельно.
В пакет человеку включают исходный вопрос, краткий контекст, язык ответа, найденный источник или конфликт источников, уже выполненные шаги и причину передачи. Не заставляйте клиента снова объяснять то, что он уже сообщил. При этом не добавляйте лишние персональные сведения и не считайте резюме доказательством правомерности доступа.
Проверять можно не только текст. Например, документация Dialogflow о тестовых случаях описывает ожидания по намерениям, параметрам, инструментам и переходам; различие формулировок само по себе не обязательно означает провал. Это полезный принцип проектирования, но не утверждение, что у GolemWorkers готово подключение вашей очереди или Dialogflow.

Как использовать комплект в пилоте
Скачайте полный артефакт: локализованную инструкцию, JSON/CSV с 24 входами, выдуманные результаты и воспроизводимый подсчёт. Команда python3 support_eval_fixture.py проверяет целостность набора, одинаковые маршруты и источники десяти пар, арифметику и восемь сценариев состояния передачи. Она не вызывает LLM, не проверяет владение языком и не подключается к helpdesk. Успешный запуск подтверждает работу учебного артефакта, а не качество помощника.
Дальше назначьте владельца правил поддержки и ответственного языкового эксперта. Выберите один тип обращений, утверждённую справку и ограниченный маршрут передачи. Зафиксируйте, что помощник может отвечать, а что только передавать; отдельно согласуйте каналы, доступы и обработку данных. Если сначала нужно выбрать сам процесс, используйте матрицу первого внедрения.
Универсальный агент может использовать общие компоненты поиска, памяти и маршрутизации в разных процессах. Переиспользование не отменяет новой приёмки: справка, язык и полномочия поддержки отличаются от продаж. Обучение сотрудников должно включать исправление источников, разбор неудачных ответов и контроль незавершённых передач. При смене модели, инструкций, справки или очереди повторяют затронутые проверки.
GolemWorkers предлагает разбор процесса, настройку пилота, переиспользование компонентов и обучение команды; конкретные каналы, доступы и условия определяются после разбора задачи. Здесь нет клиентского кейса, обещания готовой интеграции или подтверждения юридического соответствия. Внутренний AX/Windows-стенд не доказывает промышленную готовность двуязычной поддержки.
Для обсуждения пилота подготовьте типовые вопросы на русском, казахском и смешанном языке, утверждённые ответы, спорные случаи и правила передачи человеку. В заявке на обсуждение процесса опишите тип поддержки и нужную границу полномочий; конфиденциальные переписки пока не прикладывайте. Видимая форма локализована на русский; технический атрибут языка общей страницы остаётся английским.