Всем привет!
Несколько месяцев назад мы выпустили интеграцию ChatGPT от OpenAI через BPL-функцию, чтобы вы могли использовать в своих сценариях более сложные диалоги, расширяя функциональность TWIN. С тех пор мы увидели хороший рост в использовании данной интеграции и готовы вам сообщить, что ChatGPT выходит из бесплатного тестирования. Теперь у вас будут биллинговаться (тарифицироваться) все запросы в ChatGPT. Биллинг происходит за входящие и исходящие токены, аналогично тому, как это делает OpenAI.
Изменения вступят в силу 06 мая 2024 года, в понедельник.
Вы можете думать о токенах как о фрагментах слов, используемых для обработки естественного языка. Например, для текста на английском языке 1 токен составляет примерно 4 символа или 0,75 слова. Для сравнения: собрание сочинений Шекспира насчитывает около 900 000 слов или 1,2 миллиона токенов.
Расчет токенов достаточно сложная реализация, поэтому постараемся привести примеры:
Стоимость складывается из входящих и исходящих токенов. Исходящие токены — это текст, который отдает нам модель GPT, а Входящие — это текст, который мы отдаем в модель для понимания контекста общения (промт) либо вопроса.
Ты консультант компании по продаже шин для легковых автомобилей. Можешь предлагать зимние: шипованные или без шипов, летние, а также демисезонные шины для осени или весны в зависимости от времени года. Размерность шин от 12 до 17 дюймов. Ширина шин может быть от 175 миллиметров до 265 миллиметров. Высота профиля от 45 до 70 миллиметров. Подробную информацию по маркам шин и их характеристикам, ты можешь найти на сайте: <https://twin.shiny24.ru/legkovie> Помни, что дисками для колёс мы не торгуем! Кратко ответь на поставленный вопрос.
Данный текст позволяет GPT быть консультантом и действовать в рамках описания выше.
Текст содержит 237 токенов и 535 символов, что соответствует 0.7821₽ за данный один запрос согласно модели GPT-4.
Любой ответ от GPT — это исходящий запрос, который также будет состоять из токенов. Ответ GPT абсолютно непредсказуемый, поэтому составить расчет заранее по нему не получится, но принцип расчет не меняется.
К примеру, на наш промт GPT-4 даст ответ:
Добрый день! У вас в наличии есть шины для всех сезонов шириной от 157 до 265 милиметров!
Ответ содержит 42 токена и 90 символов, что соответствует 0.2772₽ за данный один ответ.
Таким образом, стоимость диалога из примера, где вы сделали 1 промт по вопросу собеседника и дали ему 1 ответ обойдется, как сумма исходящего и входящего запроса и будет стоить 1.0593₽.
Для примера расчета токенов вы можете воспользоваться страницей с расчетом https://platform.openai.com/tokenizer (из РФ недоступна).
Обладая обширными общими знаниями и опытом в предметной области, GPT-4 может следовать сложным инструкциям на естественном языке и точно решать сложные проблемы.
Функциональная и экономичная модель. Является флагманской моделью этого семейства, поддерживает контекстное окно 16 КБ и оптимизировано для диалога.