Квоты и расход
Что входит в месячную квоту токенов, что происходит при ее исчерпании и где следить за потреблением.
Что расходует квоту
Тариф задает месячную квоту токенов — это токены, которые языковые модели тратят на диалоги вашего тенанта, считая и запрос, и ответ, во всех каналах и в API. Поиск по базе знаний, хранение документов и доставка сообщений в каналы квоту не расходуют.
Что происходит при исчерпании
Когда квота закончилась, запросы к чату возвращают 429 с понятным человеку сообщением, а виджет
показывает клиенту вежливое уведомление о временной недоступности. Ничего не удаляется: диалоги
продолжатся, как только квота обновится в начале следующего месячного цикла или как только вы
перейдете на более высокий тариф.
Переход на другой тариф действует сразу — новая квота доступна в тот же момент, поэтому напряженный месяц не придется доживать в тишине.
Наблюдение за расходом
Панель управления показывает потребление в разрезе тенанта:
- Расход по дням — токены за каждый день текущего цикла, так что всплески заметны заранее.
- По бэкендам — разбивка по моделям и провайдерам, если вы используете несколько.
Те же данные доступны программно через управляющий API, поэтому оповещения можно завести в собственной системе мониторинга.
Как не переплачивать
- Сужайте задачу агента. Четкий сценарий дает более короткие и дешевые диалоги, чем персонаж, который берется за все подряд.
- Следите за
k. Чем больше фрагментов извлекается на каждый вопрос, тем больше входных токенов; значение по умолчанию подобрано под типичные документы. - Архивируйте неактуальные пространства ушедших клиентов — поиск по памяти останется быстрым и точным.