В данной статье мы разберем, каким образом можно избежать ошибок при работе с НЛУ.
| Message Box | ||||
|---|---|---|---|---|
| ||||
|
Основные ошибки
Копирование агента
...
NLU не умеет работать с числами - при внесении какого-либо числа в намерение, все другие числа будут распределяться в это намерение. Поэтому не стоит вносить в модель, например, номера телефонов.
Для работы с числами и номерами есть другие инструменты - ветки с типом число и номер телефона.
Также не стоит вносить в намерения и сущности дни недели, месяца, и т.п.
В настройках агента стоит поставить галочку "всегда Всегда использовать актуальную версию", если вдруг при тестировании не учитываются новые внесенные фразы.
Также при необходимости можно использовать старую версию модели, если необходимо вернуться на прошлую версию.
Переключать версии агента можно во вкладке Версии агента.
...
Еще рекомендуется вносить туда созвучия - система распознавания не всегда может правильно определить какое-либо сложное слово, либо клиент может неверно что-либо произнести при разговоре с ботом, и наличие созвучий поможет правильно определить намерение.
Также не стоит использовать длинные фразы (4 слова и более) при наполнении агента - NLU разбивает фразы на слово сочетания длиной до 3 слов, например, фраза "привет как у тебя дела" будет разбита на словосочетания длиной от 1 до 3 слов: "привет", "привет как", "привет как у", "как", "как у", "как у тебя", "у", "у тебя", "у тебя дела" и так далее. При использовании длинных фраз на точность определения намерения может повлиять порядок слов, а также в намерение с длинной фразой может быть распределена не подходящая по смыслу фраза, если ее слова частично будут соответствовать фразе из набора данных.
Стоит убрать из фразы все лишнее, и оставить только слова, несущие смысловую нагрузку, например, фразу "привет как у тебя дела" можно преобразовать во фразу "привет как дела", не потеряв смысл фразы. Это может повысить точность определения.
Тестирование агента
Тестирование прошлых версий агента
Во вкладке Версии агента можно протестировать, как обрабатывали фразы предыдущие версии агента, для этого необходимо перейти в эту вкладку, и нажать на кнопку чата напротив прошлой версии агента. Тогда в окне для тестирования NLU будет открыта предыдущая версия агента.
Автоматическое тестирование: бот NLU Tester
Для тестирования агентов можно использовать нашего Telegram-бота TWIN: NLU TESTER - это позволяет провести тест с большим набором данных.
Бот принимает файл в формате .csv, содержащий в себе фразы и ожидаемые намерения, после чего отправляет в сообщении краткую информацию о проведенном тесте, и подробную информацию в форме excel-таблицы.
Пример файла для отправки можно получить в самом боте по команде /example.
При заполнении файла фразы стоит писать в нижнем регистре, иначе бот может выдать ошибку.
Получить информацию по заполнению файла можно также в самом боте, по команде /help - там подробно описано оформление файла, и откуда нужно брать значения полей для входного файла.
С помощью этого бота можно протестировать агента, используя большой объем данных. Учитывайте, что для теста с большим объемом данных может потребоваться некоторое время.