Приблизительная оценка количества токенов и затрат на API для моделей OpenAI, Claude, Gemini и DeepSeek
Подсчет токенов и прогнозирование затрат на обращение к интерфейсам прикладного программирования (API) больших языковых моделей (LLM) необходимы для контроля бюджетов при создании чат-ботов, RAG-систем и агентов ИИ. Модели не оперируют словами или символами напрямую: текстовый поток разбивается алгоритмами Byte-Pair Encoding (BPE) на числовые фрагменты (токены), причем для кириллических текстов расход токенов на слово традиционно выше, чем для английского языка.
В калькуляторе разработчик вставляет текст системного промпта, контекста документов и пользовательского запроса: например, техническую инструкцию объемом 14 200 символов на русском языке. Инструмент мгновенно рассчитывает точный объем токенизации по словарям cl100k_base и o200k_base, определяя около 3 850 токенов ввода. Выбрав целевую модель (OpenAI GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet или Gemini 1.5 Pro) и указав ожидаемый объем ответа и среднесуточное число вызовов (например, 5 000 запросов в день), сервис рассчитывает стоимость одного запроса и прогнозирует итоговый месячный бюджет на API в долларах с детализацией входящего и исходящего трафика.
Разбиение текста на токены и финансовый расчет производятся локально в браузере с помощью встроенного легковесного лексера. Содержимое ваших конфиденциальных промптов, архитектурные промпты агентов и системные инструкции не передаются третьим лицам.
Токены ≈ BPE_Tokenizer(Текст) ; Стоимость запроса = (Входные токены × Цена_In / 10⁶) + (Выходные токены × Цена_Out / 10⁶)
Текст квантуется на субсловные токены по правилам BPE. Калькулятор перемножает полученные пулы входных и выходных токенов на тарифные сетки провайдеров за 1 миллион токенов.