Анализ отзывов с помощью ИИ: темы, цифры и цитаты вместо общего впечатления
Как отдать ИИ выгрузку отзывов и получить разбор по темам: что приложить, как задать темы и счет, почему нужны цитаты с номером строки и что проверить в итоге.
Полезный анализ отзывов с помощью ИИ — это не абзац «клиенты в целом довольны, но есть замечания по доставке». Это список тем, где у каждой есть число отзывов, доля от общего количества и две-три дословные цитаты с номером строки, плюс отдельный список отзывов, которые не подошли ни к одной теме. С таким результатом можно спорить, проверять и принимать решения. С общим впечатлением — нет.
Ниже разберем, как подготовить выгрузку отзывов с маркетплейса, из анкеты или из обращений в поддержку, как поставить задачу и что проверить в ответе. Все примеры и цифры в статье синтетические.
Почему «прочитай и скажи, что думают» не работает
Просьба «прочитай отзывы и скажи, что думают покупатели» дает пересказ, а не разбор. У модели нет правила, по которому один отзыв весит больше другого, поэтому в ответ попадают самые яркие и длинные тексты. Покупатель, который написал три абзаца про опоздавшего курьера, заметнее двадцати человек, которые коротко написали «маломерит».
Вторая проблема — нет счета. «Многие жалуются на упаковку» может означать и пять отзывов из пятисот, и двести. Без числа нельзя понять, что чинить первым.
Третья — редкие, но важные жалобы пропадают. Два отзыва про сломанную застежку не станут «главной темой», но именно они могут оказаться браком партии. В общем впечатлении им нет места, а в списке тем со счетом они видны.
Поэтому задача формулируется как классификация: разложить каждый отзыв по темам, посчитать и подтвердить цитатами. Если у вас уже есть готовые числа — оценки, продажи, возвраты — и нужно их свести, это другая работа, она разобрана в статье как сделать отчет с помощью нейросети.
Что приложить и как подготовить выгрузку
Вычитывать сотни отзывов подряд вручную долго, и к середине внимание уже устает. Если вы решили отдать разбор отзывов целиком, десять минут подготовки файла сэкономят больше времени, чем любая формулировка задачи.
Одна строка — один отзыв. Если отзыв с маркетплейса разбит на «достоинства», «недостатки» и «комментарий», склейте их в одну ячейку или оставьте отдельными колонками, но в одной строке. Номер строки станет адресом отзыва: по нему вы потом найдете цитату.
Колонки: текст, оценка, дата, источник. Оценка помогает сравнить темы у недовольных и довольных покупателей. Дата — увидеть, не связана ли жалоба с одной партией. Источник нужен, если вы смешиваете маркетплейс, анкету и поддержку.
Уберите служебные строки. Итоги, пустые строки, повторенные заголовки и ответы продавца внутри выгрузки попадут в счет как отзывы и испортят доли.
Не смешивайте разные товары без колонки товара. Жалоба «маломерит» про куртку и про перчатки — разные проблемы. Либо один товар на файл, либо колонка с названием товара, и тогда в задаче попросите считать темы по каждому товару отдельно.
Уберите персональные данные до отправки. Имена покупателей, телефоны, адреса и номера заказов для разбора по темам не нужны. Удалите эти колонки в копии файла.
Если таблица в Excel, сохраните ее как CSV в кодировке UTF-8: в окне задачи Otdano принимает TXT, CSV и PDF, файлы XLSX туда не прикладываются. Отзывы из разных источников можно положить несколькими файлами: до пяти файлов по 10 МБ за раз и до 25 файлов в одной задаче. Собирать отзывы с маркетплейсов и сайтов Otdano сам не умеет и к кабинету продавца не подключается — выгрузку делаете вы.
Окно «Новая задача» в кабинете Otdano. В поле задачи видны все части постановки: сгруппировать отзывы по темам, посчитать число отзывов в каждой теме, дать две-три дословные цитаты с номером строки и отдельно выписать отзывы, которые не подошли ни к одной теме. Ниже — строка вложений с форматами TXT, CSV и PDF и ограничениями по размеру. Файл на кадре еще не приложен, задача не отправлена.
Темы: задать самому или дать выделить
Есть два пути, и выбор зависит от того, знаете ли вы уже свой вопрос.
Свой список тем. Подходит, когда вопрос известен: например, после смены поставщика упаковки вы хотите понять, стало ли меньше жалоб на повреждения. Перечислите темы в задаче и попросите относить к ним только то, что явно про них, а остальное — в неразобранные.
Темы выделяет модель. Подходит для первого разбора, когда вы не знаете, что искать. Попросите сначала предложить список тем с коротким описанием каждой, прочитайте его, объедините или разделите лишнее и только потом запускайте подсчет по закрепленному списку. Если выделение и подсчет идут в одном шаге, темы могут «плыть»: похожие отзывы окажутся в разных группах.
В обоих случаях действует одно правило: одна тема — одна проблема. Темы-корзины вроде «качество», «сервис» или «прочее» ничего не объясняют. «Качество» может означать и разошедшийся шов, и запах, и выцветание после стирки. Это три разных решения, значит три темы.
Форма результата, с которой можно работать
Результат удобнее всего получить таблицей: тема, число отзывов, доля от общего числа, цитаты с номером строки. Ниже — образец. Данные выдуманы, это пример формы, а не статистика.
| Тема | Отзывов | Доля | Цитата (номер строки) |
|---|---|---|---|
| Доставка дольше обещанного срока | 52 | 26% | «Ждали девять дней вместо трех» (строка 14) |
| Размер не совпал с таблицей размеров | 41 | 20,5% | «Взяла свой размер, пришлось менять на больший» (строка 87) |
| Хвалят ткань и швы | 37 | 18,5% | «Ткань плотная, швы ровные, после стирки не села» (строка 3) |
| Упаковка повреждена при получении | 29 | 14,5% | «Пакет порван, вещь пришла мятая» (строка 121) |
| В посылке нет инструкции по уходу | 22 | 11% | «Как стирать — непонятно, бирки нет» (строка 58) |
| Не подошли ни к одной теме | 19 | 9,5% | список отдельно |
| Всего | 200 | 100% |
В реальном разборе у каждой темы должно быть две-три цитаты, а не одна. В образце каждый отзыв отнесен к одной главной теме, поэтому сумма равна числу строк. Строка «Всего» нужна, чтобы сразу увидеть, сходится ли сумма с числом отзывов в файле. Неразобранные отзывы стоит получить отдельным списком с номерами строк и текстом: иногда там прячется тема, которую никто не заметил.
Где разбор ошибается
Отзыв с двумя темами. «Пришло поздно, и размер маленький» можно посчитать один раз по главной теме или дважды — в каждой. Оба правила рабочие, но его нужно задать заранее. Иначе сумма по темам не сойдется с числом строк, и вы не поймете, ошибка это или двойной счет.
Сарказм и отрицание. «Ну просто отличная доставка, всего две недели» — жалоба, хотя в тексте есть «отличная». «Не маломерит, как писали другие» — похвала, а не жалоба на размер. Такие фразы легко отнести не в ту тему, поэтому на точную тональность полагаться не стоит: спорные случаи проверяйте глазами.
Цитата пересказана. Вместо слов покупателя в ответе оказывается гладкая фраза модели. Требуйте дословные цитаты и проверяйте их по номеру строки.
Сумма не сходится. Если в файле 200 отзывов, а по темам получилось 186, четырнадцать куда-то делись. Это повод спросить, какие строки не попали в разбор.
Тема из одного отзыва. Одна яркая жалоба превратилась в отдельную тему с громким названием. Смотрите на число: тема из одного-двух отзывов — это сигнал для проверки, а не вывод.
Проверка за десять минут
Прежде чем нести разбор коллегам, пройдите четыре шага.
- Сверьте сумму по темам и неразобранным с числом строк в файле, с учетом правила для отзывов с двумя темами.
- Откройте файл и найдите по номеру строки три цитаты из разных тем. Текст должен совпадать дословно, а отзыв — действительно быть про эту тему.
- Прочитайте список неразобранных целиком. Если там несколько похожих отзывов, это пропущенная тема.
- Посмотрите на самую малочисленную тему: прочитайте все ее отзывы и решите, отдельная это проблема или часть соседней темы.
Больше приемов — в статье как проверить ответ нейросети.
Пример формулировки
Эту постановку можно взять за основу и поменять под свою выгрузку:
Во вложении CSV с отзывами покупателей: одна строка — один отзыв, колонки «текст», «оценка», «дата», «источник», первая строка — заголовок. Разложи отзывы по темам, одна тема — одна конкретная проблема или похвала, без общих тем вроде «качество». Если в отзыве две темы, засчитай его в каждую и отметь это. Верни таблицу: тема, число отзывов, доля от общего числа, две-три дословные цитаты с номером строки из файла. Отдельно дай список отзывов, которые не подошли ни к одной теме, с номерами строк. В конце укажи, сколько строк прочитано, и сверь сумму по темам с этим числом. Цитаты не пересказывай.
Если темы заданы заранее, добавьте их список и попросите не придумывать новые.
С чего начать
Возьмите одну выгрузку за понятный период, уберите из нее персональные данные и служебные строки, сохраните в CSV и поставьте задачу обычными словами по образцу выше. Агент выполнит разбор и отдаст отчет, а вы за десять минут проверите его по номерам строк.