Бенчмарк · 22 октября 2026

Спрашивать модель каждый раз или сохранить программу, которую она написала один раз

Две задачи согласования заказа, 3 и 12 правил, по 50 заказов с эталонным ответом. Одна и та же работа четырьмя способами: на модели 9B на ноутбуке, на GPT и на Claude Sonnet.

3 правила, верных из 50
Способ	Qwen 9B на ноутбуке	GPT	Claude Sonnet
Спрашивать модель на каждом прогоне	14	50	50
Модель пишет код на каждом прогоне	50	50	не мерилось
Сохранённая программа, написана один раз	50	50	50
9B пишет программу один раз	50	не мерилось	не мерилось

12 правил, верных из 50
Способ	Qwen 9B на ноутбуке	GPT	Claude Sonnet
Спрашивать модель на каждом прогоне	4	50	не мерилось
Модель пишет код на каждом прогоне	50	49	не мерилось
Сохранённая программа, написана один раз	50	50	50
9B пишет программу один раз	50	не мерилось	не мерилось

Что показывают числа

Маленькая модель плохо отвечает по правилам и хорошо пишет под них код. Qwen 9B отвечает верно на 14 заказов из 50 при 3 правилах и на 4 из 50 при 12. Когда её просят написать функцию по тем же правилам, получается 50 из 50 на обеих задачах, с первой попытки, за 18 и 40 секунд.
Сохранённая программа стоит примерно один прогон на создание и ничего после. На Sonnet программа на 3 правила обошлась в 1 123 токена один раз, а вопрос модели — в 1 052 токена на каждый прогон. Со второго прогона программа дешевле, на сотом примерно в 100 раз.
Писать код на каждом прогоне дороже, чем просто спросить, в 3–4 раза по выходу, и на сильной модели точности не добавляет (GPT: 50 из 50 вопросом, 49 из 50 кодом, 12 правил).

Калькулятор

Считает по измеренным токенам ниже. Цены — тарифы Anthropic на 22 октября 2026. Ячейки с пометкой «оценка» собраны из измеренных частей, целиком не мерились.

Прогонов в день Размер задачи Модель Доля прогонов, которые повторяют одни и те же правила

	Токенов на прогон	В день	В год

Оценка по GPU

Выходных токенов в секунду на одну карту

Только порядок величины. По умолчанию 2 000 токенов в секунду — опубликованная чужая цифра для Llama 3.3 70B в FP8 на одной H200 (InferenceX); свой замер на карте ещё не сделан. Считаются только выходные токены, так что это нижняя граница.

	GPU-часов в день	Карт при полной загрузке	С запасом ×2

Пределы

Две задачи, один день, по одному промпту. Экономия касается работы, которая повторяется по правилам; уникальная работа (диалоги, новый код, резюме) остаётся на модели как была.
Сколько трафика модели у компании повторяется, видно только в её журнале вызовов. Калькулятор умножает, вашу долю он не знает.
Бенчмарк измеряет сохранение программы, а не язык: все программы здесь на Python. В Extella сохранённая программа хранится с именем своего языка и исполняется обработчиком на вашей машине; ту же экономию можно получить и своим реестром.
Входные токены GPT несравнимы: Codex добавляет в каждый вызов свой системный промпт около 20 тысяч токенов.

Сырые прогоны, скрипты и протокол, написанный до прогонов: github.com/AnvarBakiyev/extella-research