В данной статье мы разберем, что за окно появляется после обучения агента НЛУNLU, и какая информация в нем выводится.
...
Пример сообщения
Выводимая информация
| Поле | Значение |
|---|---|
| New model trained! |
...
| Сообщение о том, что была обучена новая модель. |
...
X training examples |
...
| Количество фраз, внесенных в сущности и намерения агента. Системные намерения и сущности не учитываются. | |
X intents |
...
| Количество намерений в агенте. | |
X entities |
...
| Количество сущностей в агенте. | |
X% model loss |
...
Потери модели. Чем ниже - тем лучше. | |
X% model accuracy |
...
Точность модели. Чем выше - тем лучше. | |
| Elapsed time: X s / Y min / Z h |
...
| Время потраченное на обучение агента в секундах, минутах, и часах. Время обучения зависит от количества фраз, сущностей и намерений - чем их больше, тем дольше будет идти обучение. Например, базовый агент, содержащий ~1000 фраз, обучается за одну-две минуты. |
Снижение потерь модели (model loss)
При высоких значениях потерь модели (10% и выше) стоит проверить набор фраз в разных намерениях на наличие схожих фраз. Например, если в разные намерения внесены фразы «привет, как дела?» и «привет как попасть в метро» - будет расти значение потерь, так как эти фразы схожи.
Если при тестах фраза попадает в два намерения с достаточно близкой друг к другу точностью распознавания, стоит проверить набор фраз на пересекающиеся фразы.
Повышение точности модели (model accuracy)
При низкой точности модели (90% и ниже) стоит проверить набор данных - это может означать, что недостаточно данных для обучения, и стоит наполнить агента большим количеством фраз - в каждом намерении должно быть не менее 30 различных фраз.