| Message Box | ||||||
|---|---|---|---|---|---|---|
| ||||||
|
Для чего нужен бот-имитатор?
Бот имитатор поможет вам в тестировании поведения сценария в разных вариантах диалога. Данный бот проверяет поведение бота и сравнивает его с ожидаемым поведением, загруженным через файл, в котором содержится ожидаемый формат диалога с ботом. По результатам проверки будет сформирован отчёт со статистикой и ошибками (с указанием в каком блоке сценария возникла и какой результат ожидался).
| Подсказка |
|---|
Использование бота-имитатора особенно удобно, для тестирования больших сценариев. Кроме того, бот-имитатор можно использовать при тестировании сценария после внесения изменений в сценарий. |
Как пользоваться ботом?
1) Для начала нужно открыть бот по ссылке - https://t.me/twin_imitator_bot;
2) У бота запрашиваем .xlsx файл с примером, для этого используется команда - /example;
3) Заполнение файла:
Инструкция по заполнению файла:
| Столбец | Для чего используется | Какие значения могут быть установлены | ||
|---|---|---|---|---|
| "A" | Выбор режима проверки сценария | 0 - "строгий" режим, в таком режиме имитатор ожидает, что ответы будут точно такими же как в загруженном файле (учитывается регистр, знаки препинания, пробелы и т.д.); 1 - "мягкий" режим, будут игнорироваться знаки препинания, пробелы и регистр. | ||
| "B" | Идентификатор сценария | В этом столбце указывается id сценария, который мы хотим проверить. | ||
| Начиная со столбца "С" | Используются для размещения реплик по ходу диалога. | В каждый из столбцов вносятся реплики в формате: BOT-CLIENT-BOT.
|
Особенности при заполнении файла:
Несколько реплик бота идут подряд.
Если несколько реплик бота идут подряд, но в разных блоках сценария, между репликами используется разделитель - "@@@".
Например, если реплики бота выглядят так:
BOT: Меня зовут Максим.
BOT: Как твои дела?
То требуется использовать одну ячейку. Запись в ячейке будет выглядеть - "Меня зовут Максим.@@@Как твои дела?".
В сценарии используется блок "Случайный выбор".
Если в сценарии используется случайный выбор из нескольких ответов, то между репликами используется разделитель - "|||".
Например, если реплики бота выглядят так:
BOT: Меня зовут Максим. ИЛИ Меня зовут Платон.
То требуется использовать одну ячейку. Запись в ячейке будет выглядеть - "Меня зовут Максим.|||Меня зовут Платон".
Несколько реплик бота идут подряд и используется блок "Случайный выбор".
Если в сценарии несколько реплик бота идут подряд, а также используется случайный выбор, то требуется сначала сделать разделение нескольких сообщений ("@@@"), а потом рандом ("III").
Например, сообщения от бота выглядят так:
BOT:Привет!
BOT:Дружище! ИЛИ Друг!
BOT:Как дела?
То требуется использовать одну ячейку. Запись в ячейке будет выглядеть - "Привет!@@@Дружище!@@@Как дела?|||Привет!@@@Друг!@@@Как дела?"
4) Команды бота:
/help – показывает полезную информацию о том, как использовать бота;
- /example – бот отправляет пользователю пример входного файла для тестирования сценария.
5) Запуск тестирования. Сформированный файл, загружаем в бота. Ждём результатов тестирования.
Результаты тестирования:
Сразу после завершения тестирования бот отправит вам файл с результатами тестирования, а также выведет общую информацию о результатах тестирования (Успешно/Не успешно/Ошибка сервера).
| Примечание |
|---|
В редких случаях вместо результатов, прейдёт текст ошибки. В этом случае требуется оформить тикет через портал тех. поддержки. При оформлении тикета, требуется указать текст ошибки. |
Содержание файла с результатами тестирования:
Пример успешного тестирования:
Пример не успешного тестирования:
Описание файла с результатами тестирования:
| Столбец | Содержит | ||
|---|---|---|---|
| Mode | Указывается какой использовался режим проверки ("строгий" - 0, "мягкий" - 1) | ||
| BotId | id тестируемого сценария | ||
| Результат теста | 1 - если проверка прошла успешно, ошибок не выявлено; 0 - проверка прошла с ошибкой
| ||
| Подтверждение | Результаты записанные в "Подтверждение" из блока "Результат". | ||
| NPS | Результаты записанные в "NPS" из блока "Результат". | ||
| Прочие результаты | Содержат начальные переменные бота, а также произвольный результат из блока "Результат". | ||
| Остальные столбцы | Содержат реплики по ролям (BOT-CLIENT-BOT). В случае если в блок обнаружена ошибка, ячейка выделяется красной заливкой. В случае обнаружения ошибки с начала выводится ожидаемое значение, после "Ответ бота:" с |
реальным ответом бота в данном диалоге. Далее идёт информация о том, в каком блоке зафиксирована ошибка и id сценария.
|