Qwen3.8-27B W4A16 на CMP 170HX

Выводы

• Рассуждения почти не влияют на скорость: разница вкл/выкл в пределах ±10% и на tune, и на default.
• FULL-графы на TRITON дают ~2,4× на шаг: 21,6 мс против 51,4 мс у default (PIECEWISE). На коротком и среднем контексте tune генерирует в 2–2,5 раза быстрее.
• На глубине TRITON проигрывает: prefill в 1,3–4 раза медленнее, ход агента на 121k стоит 21,6 с против 12,1 с, а decode tune падает с глубиной (122 → 52 ток/с) и около 100k уступает default (~60–68 ток/с, держится ровно).
• max-num-batched-tokens 8192 vs 16384 — без разницы: decode, prefill и ход агента совпадают до долей процента (на TRITON prefill упирается в ядро внимания на глубине, а не в размер чанков); у 8192 KV-пул чуть больше (930k против 911k).
• На твоих реальных сессиях (медиана 140–160k, до 221k) default быстрее tune в 2–2,4 раза (раздел «Реальные сессии»): почти всё время там уходит на генерацию, а decode tune на такой глубине медленнее, чем у default. Подтверждено фактом: сессия «Спека» на новом tune заняла 97 мин, модель для default на тех же шагах — ~40 мин.
• Для долгой работы на пределе контекста решает ход агента на глубине (раздел «Ход агента по глубине»): на 121k у default 12 с против 22 с у tune, и decode default там тоже не медленнее (~60–68 ток/с против 40–52).
• Для пошаговой работы агентов решает время шага, а не пиковые ток/с (раздел «Шаг агента»): tune выигрывает только на коротком контексте (~7k), уже с ~30k default быстрее за счёт prefill, хотя генерирует в 2,5 раза медленнее. tune-fa (FLASH_ATTN + bf16) проверяет, можно ли получить FULL-графы без проигрыша на prefill.

Реальные сессии opencode на разных профилях

Крупно — время по часам: сумма работы модели, делённая на параллельность внутри сессии (субагенты работают одновременно; параллельность = сумма шагов / время, когда шёл хотя бы один шаг). Для профилей параллельность переносится как есть — это верно при линейном масштабировании, которое на этой карте подтверждено для default; для tune (FULL-графы, max-num-seqs 4) не проверено. Каждый вызов модели из реальной сессии (новые токены, глубина, сгенерировано вместе с рассуждениями) пересчитан по измеренным кривым профиля: новые токены × стоимость prefill на этой глубине + сгенерированное / decode на этой глубине. Время инструментов исключено — от профиля оно не зависит. Сессии шли на конфигурации default (FLASHINFER + fp8; tune 26.09 ещё был её копией — на TRITON он переведён 27.09), по ним модель откалибрована (prefill ×0.57, decode ×1.02: реальная работа с сэмплированием temperature 1.0 против greedy-бенча). Выше самой глубокой измеренной точки кривые экстраполированы линейно. Проверка: сессия «Спека» реально шла на новом tune (TRITON) — модель, откалиброванная только на сессиях default, недооценила её время на ~⅓, то есть на глубине 150–200k tune в реальности ещё медленнее, чем в таблице. Вторая проверка — сессия «Реализация» на tune-fa: модель дала 35 мин против реальных 33 (+4%), в том числе с глубиной до 215k и сжатием контекста (52k на входе, 8.5k на выходе за 92 с, ~92 ток/с). Параллельные запросы (субагенты и другие сессии opencode к той же модели) учтены: калибровка сделана только по шагам, шедшим в одиночку; сессия на tune почти вся одиночная (6% времени с соседями), сессия ASR на default частично шла параллельно (~20% времени), так что её фактическое время — скорее верхняя оценка для default. Вызовы субагентов, работавших на облачной qwen3.8-flash (96 в «Едином URL», 5 в ASR), через локальную GPU не шли и из факта и модели исключены.

Локально, Qwen Cloud и Anthropic

По реальным вызовам сессий, сгруппированным по глубине контекста (новые + прочитанные из кэша токены). Ответ — медиана времени коротких вызовов (<200 токенов на выходе): ожидание до генерации вместе с prefill новых токенов и сетью. Генерация — выход длинных вызовов (≥500 токенов), делённый на их время без этого ожидания; у Qwen включает рассуждения, у Claude — thinking. Сжатие контекста исключено. «Мало данных» — меньше трёх коротких или длинных вызовов в диапазоне. Бенч tune-fa — контрольный замер той же карты: ход агента (+~1.9k новых токенов к закэшированному контексту, больше, чем в типичном шаге) и greedy decode. Токены Claude считаются его токенизатором, поэтому ток/с между Claude и Qwen сравнимы приблизительно; секунды — напрямую.

Энергия

Розетка меряет всю машину (CPU, SSD, HDD, GPU), история — Home Assistant, точка каждые ~10–30 с. Простой сервера с загруженной моделью — 92 Вт, это 2.2 кВт·ч в сутки (18.02 ₽ в сутки, 540.52 ₽ в месяц при 8.16 ₽/кВт·ч) независимо от профиля. Работа модели под агентной сессией (~230 Вт) — 1.88 ₽ в час; 1M сгенерированных токенов в агентной сессии на tune-fa ≈ 8.49 ₽. «Реально» — энергия за время, пока локальная модель работала над шагом сессии (время инструментов и облачных субагентов исключено); «сверх простоя» — то, что добавила сама работа. Для профилей — модельное время сессии (раздел выше) × средняя мощность этого профиля под реальной сессией: default 233 Вт, tune 200 Вт, tune-fa 232 Вт. LABD — энергия всей задачи, включая prefill документа, делённая на сгенерированные токены (6 задач × 512).

Локально и облако

Облако — публичный API-тариф qwen3.8-flash: вход $0.15, чтение из кэша $0.016, выход $0.47 за 1M токенов; курс 85 ₽/$. В агентной сессии основная часть счёта — чтение кэша: на каждом шаге заново читается контекст ~150–200k. Локально — только электричество за время работы модели (8.16 ₽/кВт·ч), без железа и его амортизации; сюда же добавляется простой 18 ₽ в сутки, если модель держать загруженной круглосуточно (≈12 ₽ при выключении на ночь 00–08). Подписка qwencloud: $62.22 за квартал ($20.74 ≈ 1763 ₽ в месяц) за 45,000 кредитов в месяц ($0.46 за 1000 кредитов); по замеру на конце сессии 4–6 списывается ~1144 кредитов на $1 API-тарифа, то есть через подписку токены в ~1.9 раза дешевле API (калибровка по 5 шагам в 16:54–16:56 МСК — грубая; в рабочие часы провайдеры могут применять повышающий коэффициент, поэтому нужен ещё замер вне пиковых часов). У Qwen Cloud ночная скидка 60% для части моделей — 22:00–08:00 UTC+8 (17:00–03:00 МСК); замер пришёлся на дневной тариф. Z.ai — точная формула из документации: кредиты = (вход×2.3 + кэш×0.56 + выход×8) / 10 000 для GLM-5.3-flash, в пик (пн–пт 09:00–13:00 МСК) полный расход, в остальное время и выходные — 50%; проверено на сессии 27.09: расчёт 56.1 кредита, в кабинете 56. Подписка Lite $43.2 за квартал, 10,000 кредитов в неделю (2 000 на 5 часов); рубли — при полном использовании недельного лимита. Токены наших сессий посчитаны токенизатором Qwen, у GLM их число немного другое. По времени облако не быстрее: сессия 4–6 — 113 вызовов, глубина до 186k, работа модели 36 мин (~64 ток/с с учётом prefill); те же вызовы по модели сессий заняли бы на tune-fa ~33 мин, на default ~40, на tune ~62.

Запуск модели

Время от команды start до ответа /health (загрузка весов ~17 с, torch.compile, профилирование памяти, захват CUDA-графов). «Прогретый» — самый быстрый из запусков: compile-кэш на хосте уже собран под этот профиль; «холодный» — первый запуск после правки профиля или с очищенным кэшем. Кэш хранится на хосте и переживает перезапуски, поэтому после первого старта профиль стартует прогретым. default дольше всех из-за захвата графов в режиме PIECEWISE (FLASHINFER + DFlash на sm80 не даёт FULL-графов) — 8–11 мин против ~4,5 у tune-fa.

Ход агента по глубине контекста

Крупно — ход агента: время до первого токена, когда к уже закэшированному контексту добавилось ~2k токенов (ответ инструмента в opencode). Ниже — полный шаг с ответом на 500 токенов: ход + генерация на этой глубине. Подсвечен самый быстрый ход на каждой глубине. Для долгой работы на пределе контекста главная строка — нижняя: выше 128k (до 262k) не мерили, там разница только растёт.

Сводка

real — 8 реальных промптов × до 1024 токенов, медиана 3 повторов. LABD — 6 задач × 512 токенов над документом ~24k токенов, decode без prefill; «без copy» — без задачи copy, на которой наша модель отказывается копировать текст (77 токенов вместо 512). ток/шаг — средняя длина принятого за шаг спекулятивного декодинга (1 + принятые драфты / шаги). Подсвечено лучшее значение в колонке.

LABD по задачам

В ячейке decode ток/с, под ним ток/шаг. copy/code/edit/quote копируют контекст — там работает lookup-драфтинг; summary/qa — свободный текст.

Шаг агента

Время одного шага opencode без учёта самого инструмента: ход (время до первого токена, когда к закэшированному контексту добавилось ~2k токенов ответа инструмента) плюс генерация ответа на этой глубине. Крупно — шаг с ответом на 300 и на 1000 токенов, ниже — из чего он складывается. Подсвечен самый быстрый профиль на каждой глубине (для ответа на 300 токенов). Главная метрика для пошаговой работы агентов.

Prefill и ход агента на глубине

Крупно — холодный prefill, ток/с (уникальный префикс, 0 попаданий в кэш). Ниже — decode на этой глубине и время до первого токена «хода агента»: тот же промпт плюс ~2k токенов нового хвоста, как ответ инструмента в opencode.

Проверка дословного копирования (Bug B)

• tune: 128 длин промпта, все ответы дословные
• tune-fa: 128 длин промпта, все ответы дословные

Свип длины промпта по всем вычетам mod 128 с попаданием в prefix-кэш: под FULL-графами у HyperQwen одна длина из 128 давала пустой ответ или бред без ошибок в логах.

Профили

Снимок профилей с прода (модель dbirks/Qwen3.8-27B-W4A16-AutoRound, драфтер syvai/Qwen3.8-27B-DFlash2-W4A16, образ llm-manager-vllm-dflash2:0.28.0). Выделены строки, где профили различаются. CUDA-графы, KV-пул и время инициализации — из логов vLLM на прогонах этого отчёта. Строка «tune (batch 8192)» в таблицах выше — tune с max-num-batched-tokens 8192 (временная правка на время прогона).

- --max-model-len
- "262144"
- --gpu-memory-utilization
- "0.9"
- --max-num-batched-tokens
- "8192"
- --tensor-parallel-size
- "1"
- --model
- dbirks/Qwen3.8-27B-W4A16-AutoRound
- --max-model-len
- "262144"
- --trust-remote-code
- --gpu-memory-utilization
- "0.90"
- --max-num-batched-tokens
- "8192"
- --tensor-parallel-size
- "1"
- --enable-auto-tool-choice
- --tool-call-parser
- qwen3_xml
- --reasoning-parser
- qwen3
- --speculative-config
- "{\"method\":\"dflash\",\"model\":\"syvai/Qwen3.8-27B-DFlash2-W4A16\",\"num_speculative_tokens\":7,\"attention_backend\":\"FLASH_ATTN\",\"kv_cache_dtype\":\"auto\"}"
- --attention-backend
- FLASHINFER
- --prefix-match-unit
- "16"
- --kv-cache-dtype
- fp8
- --enable-prompt-tokens-details
- --enable-per-request-metrics

(пусто)

- --max-model-len
- "262144"
- --gpu-memory-utilization
- "0.9"
- --max-num-batched-tokens
- "8192"
- --tensor-parallel-size
- "1"
- --model
- dbirks/Qwen3.8-27B-W4A16-AutoRound
- --max-model-len
- "262144"
- --trust-remote-code
- --gpu-memory-utilization
- "0.90"
- --max-num-batched-tokens
- "8192"
- --tensor-parallel-size
- "1"
- --enable-auto-tool-choice
- --tool-call-parser
- qwen3_xml
- --reasoning-parser
- qwen3
- --speculative-config
- "{\"method\":\"dflash\",\"model\":\"syvai/Qwen3.8-27B-DFlash2-W4A16\",\"num_speculative_tokens\":7,\"attention_backend\":\"FLASH_ATTN\",\"kv_cache_dtype\":\"auto\"}"
- --attention-backend
- FLASHINFER
- --prefix-match-unit
- "16"
- --kv-cache-dtype
- fp8
- --enable-prompt-tokens-details
- --enable-per-request-metrics
- --default-chat-template-kwargs
- '{"enable_thinking": false}'

(пусто)

- --model
- dbirks/Qwen3.8-27B-W4A16-AutoRound
- --max-model-len
- "262144"
- --trust-remote-code
- --gpu-memory-utilization
- "0.90"
- --max-num-batched-tokens
- "16384"
- --max-num-seqs
- "4"
- --tensor-parallel-size
- "1"
- --enable-auto-tool-choice
- --tool-call-parser
- qwen3_xml
- --reasoning-parser
- qwen3
- --speculative-config
- "{\"method\":\"dflash\",\"model\":\"syvai/Qwen3.8-27B-DFlash2-W4A16\",\"num_speculative_tokens\":7,\"draft_sample_method\":\"probabilistic\"}"
- --attention-backend
- TRITON_ATTN
- --kv-cache-dtype
- int8_per_token_head
- --prefix-match-unit
- "16"
- --enable-prompt-tokens-details
- --enable-per-request-metrics

FLASHINFER_DISABLE_VERSION_CHECK=1
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
VLLM_ALIGN_HETEROGENEOUS_ATTN_PAGES=1
VLLM_DFLASH2_DRAFT_TOPK_TOPP=1
VLLM_DFLASH2_LOOKUP=1
VLLM_FP8_SPEC_FULL_CG=1
VLLM_SPEC_DECODE_ATTN=1
VLLM_SPEC_DECODE_ATTN_QMAX=8
VLLM_USE_FLASHINFER_SAMPLER=0

- --model
- dbirks/Qwen3.8-27B-W4A16-AutoRound
- --max-model-len
- "262144"
- --trust-remote-code
- --gpu-memory-utilization
- "0.90"
- --max-num-batched-tokens
- "16384"
- --max-num-seqs
- "4"
- --tensor-parallel-size
- "1"
- --enable-auto-tool-choice
- --tool-call-parser
- qwen3_xml
- --reasoning-parser
- qwen3
- --speculative-config
- "{\"method\":\"dflash\",\"model\":\"syvai/Qwen3.8-27B-DFlash2-W4A16\",\"num_speculative_tokens\":7,\"draft_sample_method\":\"probabilistic\"}"
- --attention-backend
- TRITON_ATTN
- --kv-cache-dtype
- int8_per_token_head
- --prefix-match-unit
- "16"
- --enable-prompt-tokens-details
- --enable-per-request-metrics
- --default-chat-template-kwargs
- '{"enable_thinking": false}'

FLASHINFER_DISABLE_VERSION_CHECK=1
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
VLLM_ALIGN_HETEROGENEOUS_ATTN_PAGES=1
VLLM_DFLASH2_DRAFT_TOPK_TOPP=1
VLLM_DFLASH2_LOOKUP=1
VLLM_FP8_SPEC_FULL_CG=1
VLLM_SPEC_DECODE_ATTN=1
VLLM_SPEC_DECODE_ATTN_QMAX=8
VLLM_USE_FLASHINFER_SAMPLER=0

- --model
- dbirks/Qwen3.8-27B-W4A16-AutoRound
- --max-model-len
- "262144"
- --trust-remote-code
- --gpu-memory-utilization
- "0.90"
- --max-num-batched-tokens
- "16384"
- --max-num-seqs
- "4"
- --tensor-parallel-size
- "1"
- --enable-auto-tool-choice
- --tool-call-parser
- qwen3_xml
- --reasoning-parser
- qwen3
- --speculative-config
- "{\"method\":\"dflash\",\"model\":\"syvai/Qwen3.8-27B-DFlash2-W4A16\",\"num_speculative_tokens\":7,\"draft_sample_method\":\"probabilistic\"}"
- --attention-backend
- FLASH_ATTN
- --kv-cache-dtype
- bfloat16
- --prefix-match-unit
- "16"
- --enable-prompt-tokens-details
- --enable-per-request-metrics

FLASHINFER_DISABLE_VERSION_CHECK=1
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True
VLLM_ALIGN_HETEROGENEOUS_ATTN_PAGES=1
VLLM_DFLASH2_DRAFT_TOPK_TOPP=1
VLLM_DFLASH2_LOOKUP=1
VLLM_FP8_SPEC_FULL_CG=1
VLLM_PREFILL_ATTN=int8
VLLM_SPEC_DECODE_ATTN=1
VLLM_SPEC_DECODE_ATTN_QMAX=8
VLLM_USE_FLASHINFER_SAMPLER=0