Классификация обращений с помощью ИИ: разметка без догадок
Как разметить выгрузку обращений с помощью ИИ: задать категории, разобрать сообщения с двумя темами и проверить CSV перед ручным распределением.
Классификация обращений с помощью ИИ помогает присвоить каждому сообщению из выгрузки категории по вашему справочнику и получить таблицу для проверки и ручного распределения. Для этого нужны ID обращений, исходные тексты и правила, по которым человек сможет проверить каждую метку.
Допустим, руководитель поддержки разбирает сообщения за день. Он читает строки, отмечает оплату и доставку, передает спорные случаи старшему смены. Если поручить разметку выгрузки обращений, результат стоит запросить в той же построчной форме. Категория, цитата и предложение команды останутся рядом с ID. Руководитель сможет исправить конкретную запись, не перечитывая весь ответ.
Подготовьте один файл с устойчивыми ID
Сохраните копию выгрузки в CSV с кодировкой UTF-8. Для начала достаточно двух колонок: id и text. Одна строка должна содержать одно обращение целиком. Не разбивайте сообщение на предложения: фраза о доставке и просьба вернуть деньги могут относиться к одному случаю.
ID храните как текст, чтобы начальные нули не пропали. Проверьте, что они заполнены и не повторяются. Ненужные для разметки имена, телефоны, адреса и платежные реквизиты удалите до отправки. Сохраните смысл сообщения и условный ID, по которому найдете оригинал у себя.
Пустые тексты оставьте с их ID. Их отсутствие в результате тоже нужно заметить. Если внутри сообщения есть переносы строк или запятые, сохраняйте CSV через табличный редактор: он заключит такие поля в кавычки.
В окне новой задачи Otdano можно приложить CSV через скрепку. Для этого сценария нужен один файл; лимит одного вложения в текущем интерфейсе составляет 10 МБ.
Опишите границы пяти категорий
Названия категорий сами по себе слишком широки. «Деньги не пришли» может означать возврат или незачисленную оплату. Задайте границы до разбора и сохраните эту версию справочника для проверки.
Ниже учебный справочник. Названия команд условные; перед работой замените их на свои.
| Категория | Что сюда относится и где граница | Пример | Предлагаемая команда |
|---|---|---|---|
| Оплата | Списание, счет, подтверждение платежа. Возврат уже уплаченных денег относится к возврату | «Списали дважды» | Расчеты |
| Доставка | Срок, маршрут, получение заказа. Просьба отменить покупку требует отдельной метки возврата | «Курьер не приехал» | Логистика |
| Доступ | Вход в кабинет, восстановление пароля, открытие оплаченного раздела. Само списание относится к оплате | «Не могу войти» | Техническая поддержка |
| Возврат | Отказ от покупки, возврат товара или денег, срок возмещения | «Хочу вернуть товар» | Возвраты |
| Прочее | Понятное обращение за пределами четырех категорий. Непонятный текст сюда не прячем | «Где посмотреть вакансии?» | Общая поддержка |
Тему храните отдельно от срочности. Слово «срочно» не меняет категорию «доставка». Приоритет задает руководитель поддержки своим правилом, например по просрочке обещанного срока. Если исходный файл не содержит нужных сведений, приоритет остается неопределенным. Модель не должна назначать его по раздраженному тону.
Разрешите несколько категорий в одной записи. «Оплата прошла, но войти не могу» относится к доступу: платеж здесь лишь контекст. «Списали дважды, и войти не могу» содержит две самостоятельные проблемы. Такое различие стоит прямо записать в задаче.
Проверьте правила на восьми сообщениях
Все данные ниже синтетические. Ожидаемую разметку составляет человек заранее, до получения ответа ИИ. Это небольшой учебный эталон, который показывает границы справочника.
| ID | Исходный текст | Ожидаемые категории | Статус |
|---|---|---|---|
| T001 | Деньги за заказ списали дважды | Оплата | Ожидает проверки |
| T002 | Курьер вчера не приехал. Когда будет доставка? | Доставка | Ожидает проверки |
| T003 | Оплата прошла, но войти в кабинет не могу | Доступ | Ожидает проверки |
| T004 | Хочу вернуть товар. Как оформить возврат? | Возврат | Ожидает проверки |
| T005 | Списали дважды, и войти в кабинет не могу | Оплата; Доступ | Ожидает проверки |
| T006 | Деньги не пришли | Не определены | На проверку |
| T007 | Пустой текст | Не определены | На проверку |
| T008 | Где посмотреть вакансии? | Прочее | Ожидает проверки |
В исходном CSV у T007 поле text пустое. Надпись в таблице только обозначает этот случай.
«Ожидает проверки» означает, что метки предложены, но человек их еще не подтвердил. «На проверку» требует ручного разбора из-за недостатка данных. У T006 нельзя угадать, идет ли речь об оплате или возврате. Категории и предлагаемую команду для такой строки оставляем пустыми.
Если вам нужны общие темы и доли по множеству сообщений, подойдет отдельный разбор отзывов с помощью ИИ. Здесь сохраняем запись для каждого обращения.
Задайте форму CSV и вставьте постановку
В итоговом файле нужны пять колонок: id, categories, reason, review_status, suggested_team. Основание содержит короткий дословный фрагмент исходного сообщения. По нему проверяющий увидит, почему появилась метка.
Учебная строка результата для T005:
id,categories,reason,review_status,suggested_team
T005,Оплата;Доступ,"Оплата: «Списали дважды»; Доступ: «войти в кабинет не могу»",Ожидает проверки,Расчеты;Техническая поддержка
Несколько команд здесь только предложения по справочнику. Кто возьмет обращение целиком и кого привлечет к разбору, решает человек.
Скопируйте постановку и добавьте справочник из статьи либо свой:
Разметь приложенный CSV с колонками id и text по справочнику ниже. Одна входная строка означает одно обращение. Используй только заданные категории и команды. Сохраняй ID как текст без изменений. Не добавляй обращения.
Выбирай все явно выраженные темы. Упоминание успешной оплаты как контекста не требует метки «Оплата». Для каждой метки дай короткое основание с дословным фрагментом сообщения. Не определяй срочность и приоритет.
Пустой или неоднозначный текст отметь статусом «На проверку», оставь categories и suggested_team пустыми и объясни причину. Понятный текст вне справочника отнеси к «Прочее». Для остальных строк используй статус «Ожидает проверки».
Верни файл result.csv в UTF-8. Разделитель колонок — запятая, нескольких категорий и команд внутри поля — точка с запятой. Колонки: id, categories, reason, review_status, suggested_team. Каждому ID должна соответствовать одна строка, даже при нескольких темах. Отдельно перечисли ID со статусом «На проверку». Команды только предложи. Ничего не отправляй клиентам и никому не назначай.
Демонстрационная задача на синтетических данных. Показано поле постановки задачи; кадр не подтверждает выполненную разметку или связь с системой поддержки.
Принимайте результат по строкам
Сначала сверяйте ID. Каждый входной ID должен встретиться в результате ровно один раз. Новых ID быть не должно. Затем откройте спорные строки, проверьте цитаты и убедитесь, что категории взяты из справочника.
Сравните ответ с заранее размеченным эталоном. Совпадение для многотемной строки означает совпадение всего набора меток. Долю совпадений считайте так: число совпавших строк разделить на число строк эталона. Если в учебных восьми строках совпали семь, это 87,5% на этом наборе. Такая цифра не доказывает качество на всей выгрузке.
Отдельно просмотрите многотемные обращения и редкие категории: общий показатель может скрыть ошибки именно в них. Фразу модели «уверен на 95%» не принимайте за измеренную точность. При ошибке уточните границу категории и повторите проверку.
Для первого разбора достаточно подготовить обезличенный файл и этот справочник. Передайте их агенту Otdano одной задачей, затем подтвердите метки и команды перед распределением.