Вы просматриваете старую версию данной страницы. Смотрите текущую версию.

Сравнить с текущим просмотр истории страницы

« Предыдущий Версия 13 Текущий »

В данной статье мы разберем, что за окно появляется после обучения агента NLU, и какая информация в нем выводится.

Не пугайтесь при появлении данного окна - это не сообщение об ошибке.

Пример сообщения

Выводимая информация

ПолеЗначение
New model trained!Сообщение о том, что была обучена новая модель.
Training info:Информация о том, как прошло обучение модели.

X training examples

Количество фраз, внесенных в сущности и намерения агента. Системные намерения и сущности не учитываются.

X intents

Количество намерений в агенте.

X entities

Количество сущностей в агенте.

X% model loss

Потери модели. Чем ниже - тем лучше.
При высоких значениях (близких к 10% и выше) может означать, что в данных присутствует много пересечений - например,
схожие фразы могут относиться к разным намерениям - из-за этого может повышаться значение потерь модели.

X% model accuracy

Точность модели. Чем выше - тем лучше.
Определяется на основе тестовой выборки - из каждого намерения берется случайная выборка фраз, примерно 5% от количества
фраз в каждом намерении (но не менее одной фразы), из-за этого рекомендуется вносить не менее 30 фраз в каждое намерение,
и чем их больше, тем лучше. Далее агент прогоняет эту тестовую выборку, и, допустим, если удалось корректно распределить
90 из 100 фраз тестовой выборки в намерения - точность будет 90%.

Elapsed time: X s / Y min / Z hВремя потраченное на обучение агента в секундах, минутах, и часах.
Время обучения зависит от количества фраз, сущностей и намерений - чем их больше, тем дольше будет идти обучение.
Например, базовый агент, содержащий ~1000 фраз, обучается за одну-две минуты.

Снижение потерь модели (model loss)

При высоких значениях потерь модели (10% и выше) стоит проверить набор фраз в разных намерениях на наличие схожих фраз. Например, если в разные намерения внесены фразы «привет, как дела?» и «привет как попасть в метро»  - будет расти значение потерь, так как эти фразы схожи.  

Если при тестах фраза попадает в два намерения с достаточно близкой друг к другу точностью распознавания, стоит проверить набор фраз на пересекающиеся фразы.

Повышение точности модели (model accuracy)

При низкой точности модели (90% и ниже) стоит проверить набор данных - это может означать, что недостаточно данных для обучения, и стоит наполнить агента большим количеством фраз  - в каждом намерении должно быть не менее 30 различных фраз.


  • Нет меток