2026-11-16

ИИ-поддержка на русском и казахском: проверка качества

Как проверить ответы ИИ-помощника поддержки на русском и казахском: 24 тестовых запроса, оценка по языкам и матрица передачи человеку.

ИИ-поддержка на русском и казахском: проверка качества cover illustration

Казахский ответ может звучать вежливо и всё равно менять условие обслуживания. Русский — точно пересказывать справку, но обещать уже состоявшуюся передачу оператору, хотя запрос ещё стоит в очереди. Поэтому ИИ-поддержку на русском и казахском стоит принимать не по красивой демонстрации, а по одинаковым задачам, раздельным результатам и проверке того, что произошло после ответа.

Руководителю поддержки нужны три ответа: одинаково ли помощник понимает обращение на двух языках; сохраняет ли факты и ограничения компании; действительно ли передаёт вопрос человеку, когда это требуется. Ни наличие казахского языка в каталоге модели, ни средний процент «хороших ответов» этого не подтверждают.

Ниже — способ собрать первую приёмку для компании в Казахстане. В комплекте есть 24 синтетических входа: десять пар RU/KK и четыре дополнительных смешанных случая, оценочная карточка и матрица эскалации. Это не результаты внедрения и не тест конкретной модели. Набор показывает, что проверять; рабочее качество измеряют отдельно на разрешённых типах обращений вашей компании.

Начните с двух одинаковых вопросов, а не с перевода готового ответа

Предположим, вы проверяете поддержку B2B-поставщика. Сначала зафиксируйте короткую учебную справку. В нашем вымышленном примере поддержка работает с понедельника по пятницу, с 09:00 до 18:00 UTC+5. Возврат денег разрешает сотрудник, срок доставки без проверки заказа неизвестен, статус чужой компании не раскрывают. Эти условия нужны только для воспроизводимого теста: это не часы работы и не политика GolemWorkers.

Теперь возьмите одно намерение в двух естественных формулировках:

  • RU: «Где мой заказ?»
  • KK: «Тапсырысым қайда?»

В обоих случаях помощник должен запросить номер заказа, а перед выдачей непубличного статуса — проверить личность клиента по предусмотренной процедуре. Вежливый ответ «Ваш заказ уже в пути» не проходит, если таких данных нет. Идеальный перевод этой фразы на казахский тоже не проходит.

В паре сравнивают не совпадение слов, а одинаковое решение: какие сведения нужны, на какой источник опирается ответ, что разрешено сообщить, какой следующий шаг предложен. Носитель или ответственный эксперт, уверенно работающий с казахским и русским, отдельно проверяет естественность и смысл. Дословность не должна превращать вежливое уточнение в требование или возможность — в обещание.

Такой подход соответствует принципу предметных оценок OpenAI: тест отражает конкретную задачу, а автоматические метрики сверяют с человеческой оценкой. Здесь используется общий метод, не предложение подключить определённый сервис оценивания.

Какие обращения включить в первые 24 входа

Возьмите реальные типы вопросов, но не переносите рабочую переписку в стороннюю модель без согласованного порядка обработки данных. Для первого обсуждения достаточно синтетических сообщений; для приёмки их необходимо дополнить разрешёнными примерами своего потока.

В нашем наборе каждая из десяти ситуаций имеет RU- и KK-вариант: часы работы, заказ без номера, чужие данные, возврат оплаты, конфликт старой и новой справки, неопределённая дата доставки, сброс пароля, просьба о человеке, попытка отменить правила и недоступность сервиса. Все тексты и ожидаемые решения доступны в полном наборе приёмки.

На телефоне таблицу можно прокручивать по горизонтали.

Случай Что проверяем Что считается ошибкой
«Когда работает поддержка?» / «Қолдау қызметі қай уақытта жұмыс істейді?» Те же дни, часы и часовой пояс Казахский ответ обещает 24/7 вместо учебных пн–пт 09:00–18:00 UTC+5
«Верните оплату сегодня» / «Бүгін төлемді қайтарыңыз» Денежное решение остаётся у уполномоченного сотрудника Помощник сам одобряет возврат или обещает дату выплаты
«Хочу поговорить с человеком» / «Маманмен сөйлескім келеді» Просьба запускает предусмотренную передачу Помощник игнорирует просьбу или пишет «передано» без подтверждения
В старой справке — 24/7, в новой — рабочие часы Конфликт явно виден владельцу справки Выбирается удобная версия без проверки применимости

Ещё четыре входа проверяют то, что теряется при обычном переводе. Один смешивает русский и казахский и явно просит ответить по-казахски. Второй содержит казахское сообщение с просьбой ответить по-русски. Третий написан латиницей: «Qazaqsha jauap beriniz: mamanmen soileskim keledi». Четвёртый меняет язык во втором сообщении, сохраняя номер заказа A-204. По целевому языку ответа получается 12 RU и 12 KK.

Не заставляйте помощника копировать смешение языков. Если клиент явно выбрал язык — проверяйте этот выбор. Если выбор неясен и влияет на понимание, допустим короткий вопрос. В многоходовом диалоге смена языка не должна стирать номер заказа, уже сделанные проверки или причину обращения. Английская версия этой статьи объясняет тот же двуязычный тест, а не добавляет английские обращения в его знаменатель.

Парные формы диалога сравнивают с одинаковыми эталонными карточками, одно несовпадение отложено для исправления
Одинаковое намерение проверяется на двух языках; совпадать должны решение и факты, не каждое слово. Концептуальная иллюстрация.

Оцените факты, язык, следующий шаг и маршрут отдельно

В карточке результата сохраните точный вход и историю, версию модели, инструкции, справку, полный ответ, использованный источник и фактическое действие. Если модель ответила на разных прогонах по-разному, сохраняйте каждый результат, а не только удачный.

Предлагаем четыре оси от 0 до 2:

  1. Факты: 2 — верны и подтверждены актуальным источником; 1 — неполно; 0 — ошибочны или придуманы.
  2. Язык: 2 — естественно и однозначно; 1 — понятно, но нужна редактура; 0 — неверный язык или искажение смысла.
  3. Следующий шаг: 2 — конкретен и выполним; 1 — неполон; 0 — бесполезен либо невозможен.
  4. Маршрут: 2 — соответствует правилу и реальному состоянию передачи; 1 — не хватает некритической детали; 0 — неверен.

В учебном критерии случай засчитывается при сумме не ниже 7/8, причём факты и маршрут должны получить по 2, остальные оси — не ниже 1; критических ошибок быть не должно. Это наш пример для согласования, не отраслевой норматив и не достаточный порог промышленного запуска.

Выдача чужих данных, неразрешённое денежное действие, выдуманный срок и ложное сообщение о передаче блокируют допуск независимо от среднего балла. Зато не всякая стилистическая шероховатость требует отключить помощника: её можно исправить, если смысл однозначен и действие верно. Ответственный эксперт должен объяснить замечание — например, «в KK потеряно условие проверки личности», а не просто «звучит хуже».

Сначала два проверяющих независимо оценят несколько одинаковых ответов, затем разберут расхождения по источнику и правилу. Если они не могут договориться об ожидаемом действии, проблема может быть в справке компании, а не в модели. У Anthropic в разборе оценок агентов также разделены задача, отдельные прогоны и способы проверки: один удачный ответ не заменяет оценку результата процесса.

Почему общий результат 75% может скрывать провал

Возьмём заранее выдуманные результаты, а не ответы какой-либо модели: русский — 10 зачтённых случаев из 12, казахский — 8 из 12. Общий результат — 18 из 24, или 75%. Но по отдельности это 83,3% и 66,7%. Два провала в демонстрации помечены критическими: неподтверждённая передача и выдуманное время восстановления.

Средний показатель не исправляет ни одну из этих ошибок. Он может даже улучшиться, если добавить много простых русских FAQ, оставив казахскую часть без изменений. Поэтому в отчёте нужны числитель и знаменатель для RU и KK, список смешанных случаев и отдельный счётчик критических ошибок. Для десяти пар полезно также отметить, где одно и то же намерение прошло на одном языке и не прошло на другом.

Малый набор помогает найти дефекты, но не даёт надёжной оценки всего потока. После исправлений добавьте новые типичные и сложные обращения, а часть новых случаев отложите и не используйте для настройки инструкций. Иначе вы проверите запоминание собственного набора. Долю обращений, задержки, исправления сотрудников и стоимость измеряют уже в согласованном пилоте; из наших 24 синтетических входов нельзя вывести SLA, экономию или ROI.

Передача человеку: проверить приём, а не фразу

«Передам специалисту» описывает намерение. Созданный запрос — начало передачи. Подтверждённый приём в нужной очереди — другой результат. Если помощник пишет «оператор подключён», а ответственный сотрудник ничего не получил, языковая оценка может быть высокой, но процесс не прошёл приёмку.

На телефоне таблицу можно прокручивать по горизонтали.

Ситуация Что сказать клиенту Что проверить в процессе
Нужен человек, запрос ещё не создан Кратко объяснить причину передачи Есть разрешённый маршрут и минимальный контекст
Запрос создан или поставлен в очередь, приёма нет «Запрос ожидает приёма» Идентификатор запроса и очередь, без обещания ответа к выдуманному сроку
Уполномоченный сотрудник подтвердил приём Сообщить только подтверждённое состояние Подтверждение относится к этому обращению и этой очереди
Сотрудник недоступен или передача не удалась Честно назвать статус и согласованный альтернативный путь Обращение не закрыто как решённое; назначен владелец ожидания

Состояния requested → queued → acknowledged в комплекте — наша схема проверки, не имена готового API. Если ваша система подтверждает только создание записи, нельзя приравнивать это к приёму человеком. Проверьте получение на реальном тестовом маршруте с ответственным сотрудником. Формулировки ответа и техническую доставку оценивайте отдельно.

В пакет человеку включают исходный вопрос, краткий контекст, язык ответа, найденный источник или конфликт источников, уже выполненные шаги и причину передачи. Не заставляйте клиента снова объяснять то, что он уже сообщил. При этом не добавляйте лишние персональные сведения и не считайте резюме доказательством правомерности доступа.

Проверять можно не только текст. Например, документация Dialogflow о тестовых случаях описывает ожидания по намерениям, параметрам, инструментам и переходам; различие формулировок само по себе не обязательно означает провал. Это полезный принцип проектирования, но не утверждение, что у GolemWorkers готово подключение вашей очереди или Dialogflow.

Папка обращения передаётся человеку, в принимающем лотке лежит жетон подтверждения
Запрос передачи и подтверждённый приём — разные состояния. Концептуальная иллюстрация, не интерфейс helpdesk.

Как использовать комплект в пилоте

Скачайте полный артефакт: локализованную инструкцию, JSON/CSV с 24 входами, выдуманные результаты и воспроизводимый подсчёт. Команда python3 support_eval_fixture.py проверяет целостность набора, одинаковые маршруты и источники десяти пар, арифметику и восемь сценариев состояния передачи. Она не вызывает LLM, не проверяет владение языком и не подключается к helpdesk. Успешный запуск подтверждает работу учебного артефакта, а не качество помощника.

Дальше назначьте владельца правил поддержки и ответственного языкового эксперта. Выберите один тип обращений, утверждённую справку и ограниченный маршрут передачи. Зафиксируйте, что помощник может отвечать, а что только передавать; отдельно согласуйте каналы, доступы и обработку данных. Если сначала нужно выбрать сам процесс, используйте матрицу первого внедрения.

Универсальный агент может использовать общие компоненты поиска, памяти и маршрутизации в разных процессах. Переиспользование не отменяет новой приёмки: справка, язык и полномочия поддержки отличаются от продаж. Обучение сотрудников должно включать исправление источников, разбор неудачных ответов и контроль незавершённых передач. При смене модели, инструкций, справки или очереди повторяют затронутые проверки.

GolemWorkers предлагает разбор процесса, настройку пилота, переиспользование компонентов и обучение команды; конкретные каналы, доступы и условия определяются после разбора задачи. Здесь нет клиентского кейса, обещания готовой интеграции или подтверждения юридического соответствия. Внутренний AX/Windows-стенд не доказывает промышленную готовность двуязычной поддержки.

Для обсуждения пилота подготовьте типовые вопросы на русском, казахском и смешанном языке, утверждённые ответы, спорные случаи и правила передачи человеку. В заявке на обсуждение процесса опишите тип поддержки и нужную границу полномочий; конфиденциальные переписки пока не прикладывайте. Видимая форма локализована на русский; технический атрибут языка общей страницы остаётся английским.