Почему ИИ ошибается при оценке звонков: как руководителю проверять его выводы

Прежде чем исправлять работу сотрудника, проверьте, на каких данных построено замечание ИИ.

Почему убедительное замечание ещё нужно проверить

В отчёте написано: «Менеджер не выявил потребность клиента». Формулировка ясная, рядом стоит низкая оценка. Хочется сразу отправить сотрудника на обучение.

Но текущий звонок мог быть согласованием уже подготовленного предложения. Потребность выяснили раньше, и повторять весь опрос не требовалось. Если ИИ получил только расшифровку последнего разговора, он оценивает ограниченный фрагмент работы.

Полезно разделять три вещи: что прозвучало, какое требование применимо и какой вывод из этого следует. В записи действительно может не быть вопроса о потребности. Однако это не доказывает ошибку менеджера, пока неизвестны цель звонка и предыдущие договорённости.

Контроль качества диалогов начинается с проверки основания оценки. Чем серьёзнее последующее решение, тем важнее разобраться в конкретном разговоре.

Ошибка первая: запись или расшифровка меняет смысл

В разговоре прозвучало: «Не нужно оформлять второй заказ». Если в расшифровке потерялось «не», смысл становится противоположным. Неверно распознанная сумма, дата или название продукта тоже может привести к ошибочному замечанию.

Это условные примеры, а не результаты проверки Прозвона. Они показывают, почему текст расшифровки стоит сопоставлять с аудио, особенно когда замечание касается обещания, отказа или условий предложения.

9 октября 2026 года Twilio сообщила, что Voice Insights теперь отмечает звонки с HD-аудио и случаи снижения качества до узкополосного звука. Компания предлагает сопоставлять эти признаки с точностью расшифровки и работой ИИ. Обновление касается Twilio; оно даёт практический повод проверить качество записей, которые использует ваша система анализа. Источник: Twilio.

Что проверить: слышны ли оба собеседника, нет ли обрыва, совпадает ли спорная фраза в тексте и записи. Если разобрать её невозможно, оставьте вывод неподтверждённым. Неразборчивый фрагмент не даёт достаточного основания для отрицательной оценки сотрудника.

Ошибка вторая: ИИ видит звонок без истории клиента

Клиент говорит: «Отправьте тот вариант, который мы обсуждали». Менеджер соглашается и завершает разговор. Без предыдущих контактов это выглядит как консультация без уточнения задачи и объяснения предложения.

В карточке CRM ситуация может быть понятнее: варианты уже сравнили, клиент выбрал один, сегодняшний звонок нужен только для подтверждения. История общения меняет интерпретацию того же аудиофрагмента.

6 октября Genesys опубликовала материал о развитии анализа разговоров: компания описывает объединение содержания диалога с данными CRM и предыдущих обращений для определения дальнейших действий. Это позиция поставщика о подходе к технологии, а не исследование частоты ошибок ИИ. Источник: Genesys.

Что проверить: какие данные действительно получил инструмент анализа — один звонок, карточку сделки, переписку или предыдущие обращения. Наличие интеграции с CRM само по себе не означает, что весь контекст доступен ИИ. Если его не передают автоматически, руководитель учитывает его при проверке.

При смене канала важна и переписка после звонка: договорённость могла появиться там. Об организации общей истории — в статье «Почему интеграция мессенджеров в CRM важна для бизнеса».

Ошибка третья: к разным обращениям применяют один стандарт

Первичная консультация, согласование встречи и вопрос о графике работы требуют разных действий. Если все разговоры проверять по одной карте продаж, короткий ответ о времени работы может получить замечания за отсутствие выявления потребности и обсуждения бюджета.

Такая оценка плохо объясняет качество обслуживания: сотрудник решил вопрос, а система проверяла другой сценарий.

Что проверить: правильно ли определён тип обращения и применим ли каждый критерий. Для первого разговора можно оценивать выяснение задачи. Для повторного — выполнение предыдущей договорённости. Для поддержки — точность ответа и решение вопроса либо корректную передачу специалисту.

Предусмотрите вариант «не применимо» в процессе оценки. Он отличается от «не выполнено». Если выбранный инструмент не поддерживает такой статус, способ исключения неприменимых критериев нужно согласовать при настройке.

Не требуйте дословного повторения скрипта там, где важен смысл. Клиент может получить точный ответ в иной формулировке. При этом обязательные сведения должны проверяться по отдельным, понятным правилам.

Ошибка четвёртая: интерпретацию принимают за факт

«Клиент раздражён», «менеджер не проявил интереса», «сотрудник потерял продажу» — выводы разной степени определённости. Не каждый из них можно подтвердить одним фрагментом разговора.

Короткие ответы клиента могут означать, что ему неудобно разговаривать. Просьба подумать не объясняет причину отказа. Даже неудачный ответ менеджера сам по себе не доказывает, что именно он сорвал сделку.

Что проверить: можно ли заменить общий вывод наблюдаемым действием. Вместо «не проявил интереса» — «не ответил на вопрос клиента о сроках». Вместо «потерял продажу» — «завершил разговор без согласования запрошенного расчёта». Такие замечания проще проверить и использовать в обратной связи.

Для оценки AI оператора действуют те же правила. Проверяйте точность ответа и передачу обращения по установленному сценарию. Сам факт завершения автоматического диалога не показывает, получил ли клиент нужное решение.

Как проверить спорную оценку за пять шагов

1. Откройте основание замечания. Найдите фразу или фрагмент записи, на котором построен вывод. Если отчёт не показывает основание, уточните, можно ли настроить его отображение. При ручной проверке зафиксируйте фрагмент самостоятельно.

2. Сверьте расшифровку с аудио. Проверьте ключевые слова, числа и принадлежность реплик. Если качество записи не позволяет установить сказанное, отметьте ограничение.

3. Установите цель обращения. Это первый контакт, продолжение переговоров или поддержка? Нужен ли здесь критерий, по которому выставлено замечание?

4. Посмотрите контекст в CRM. Проверьте предыдущие договорённости и связанные сообщения. Учитывайте сведения, которые существовали в момент оцениваемого действия; последующий исход сделки не должен подменять анализ разговора.

5. Зафиксируйте результат проверки. Замечание подтверждено, не подтверждено или данных недостаточно. Затем определите, что изменить: действие сотрудника, качество записи, передачу контекста или правило оценки.

Например, ИИ отметил отсутствие следующего шага. Руководитель обнаружил, что после звонка менеджер отправил согласованное приглашение на встречу, а клиент его подтвердил. Замечание о работе с обращением не подтверждается. Если стандарт отдельно требует проговаривать время встречи по телефону, проверять нужно именно это требование, а не утверждать, что договорённости вообще нет.

Так разбор показывает и ошибки сотрудников, и ограничения самой системы контроля.

Что измерять при проверке автоматического анализа

Начните с небольшой выборки: включите разговоры с замечаниями, без замечаний, короткие и длинные звонки, разные типы обращений. Объём выбирайте по нагрузке команды. Это рабочая проверка настройки; небольшая выборка не доказывает точность системы на всём потоке.

• Подтверждённые замечания. Сколько проверенных выводов ИИ руководитель подтвердил по записи и контексту.
• Неподтверждённые замечания. Какие причины повторяются: расшифровка, недоступный контекст, неверный тип обращения или критерий.
• Пропущенные нарушения. Какие ошибки обнаружены при проверке разговоров, где ИИ не оставил замечаний.
• Случаи с недостаточными данными. Сколько оценок нельзя уверенно подтвердить или отклонить.
• Время на проверку. Учитывайте поиск записи, чтение истории клиента и подготовку обратной связи.

Долю подтверждённых замечаний рассчитывайте среди проверенных замечаний, а найденные пропуски — отдельно среди проверенных разговоров без замечаний. Это разные показатели. Их нельзя объединять в одну «точность ИИ» без определения метода расчёта.

После изменения правил повторите проверку на новых разговорах. Если используете несколько проверяющих, согласуйте критерии на общих примерах: разные трактовки руководителей тоже могут давать противоречивые оценки.

Как подготовить такой сценарий в Прозвоне

На странице ИИ Прозвона интеллектуальный куратор описан как инструмент анализа работы команды, показателей и качества коммуникаций. Для его настройки полезно подготовить примеры трёх типов: подтверждённая ошибка сотрудника, спорный вывод и разговор, к которому отдельный критерий неприменим.

Запись разговоров — основа такого разбора. С командой Прозвона обсудите, какие записи и сведения из CRM доступны анализу, как задаются критерии и где руководитель проверяет результат. Если виртуальная АТС связана с карточками клиентов, проверьте привязку записи к нужному обращению. Отдельно уточните доступность фрагментов, оснований замечаний и процедуры их пересмотра в вашей конфигурации.

Начните с одного сценария и согласованной карты оценки. Разберите первые результаты вместе с сотрудниками, уточните неоднозначные критерии и только затем расширяйте применение. Так контроль качества диалогов получает понятную основу: команда знает, что проверяют, откуда взялось замечание и как его можно обсудить.

Хотите настроить анализ разговоров под задачи вашей команды? Расскажите, какую CRM используете, какие звонки проверяете и что сейчас вызывает споры при оценке.