🔧 AI Review: reasoning_effort=low для GLM (frontend)

Root cause: reasoning: {enabled: false} НЕ работает для GLM-5.3(-Flash).
Thinking нельзя отключить полностью (доки Together).

- MODEL_SECONDARY: GLM-5.3-Flash
- _is_glm() — определение GLM
- GLM: reasoning_effort=low, max_tokens=12000
- DeepSeek: reasoning={enabled: false}, max_tokens=8000
- Логируем reasoning_content

Бюджет: ~$0.25-0.35 на оба репо.
This commit is contained in:
2026-09-25 22:28:21 +03:00
parent 0c5a28a1d9
commit 354a4e036e
+74 -16
View File
@@ -30,6 +30,20 @@ Frontend слишком большой (1M+ символов) для одног
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая. DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
Пересечение по (file, snippet) → confidence +0.05. Пересечение по (file, snippet) → confidence +0.05.
→ USE_SECONDARY_MODEL=True включает вторую модель. → USE_SECONDARY_MODEL=True включает вторую модель.
(26.09.2026, ночь) ФИКС reasoning-per-model + бюджет:
→ MODEL_SECONDARY: zai-org/GLM-5.3 (флагман, $1.40/$4.40) →
zai-org/GLM-5.3-Flash ($0.15/$0.50). На фронтенде (1M+ символов,
9 паков × 2 модели) флагман почти упирался в бюджет 80 центов/
аудит — Flash укладывается с большим запасом.
→ ROOT CAUSE: "reasoning": {"enabled": False} НЕ работает на
GLM-5.3 / GLM-5.3-Flash (в доке Together: "Thinking cannot be
disabled entirely on GLM-5.3"). Это и объясняет "6 из 9 паков
без ответа" из заметки выше — скорее всего это были именно
GLM-паки: thinking съедал весь max_tokens, content пустой.
→ call_together_model строит РАЗНЫЙ payload по семейству модели:
DeepSeek → reasoning.enabled=False; GLM-5.3* → reasoning_effort
="low" + увеличенный max_tokens (единственный рычаг для GLM).
→ Логируем длину reasoning_content для диагностики.
""" """
import json import json
@@ -49,10 +63,13 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — # 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_flash —
# Две модели для пересечения находок. # Флагман GLM-5.3 ($1.40 in / $4.40 out) заменён на GLM-5.3-Flash
# ($0.15 in / $0.50 out), та же линейка Z.ai, но кодинг-версия
# попроще и в ~9 раз дешевле. На фронтенде (1M+ символов) это главный
# рычаг, чтобы не упереться в 80 центов на аудит.
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash" MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
MODEL_SECONDARY = "zai-org/GLM-5.3" MODEL_SECONDARY = "zai-org/GLM-5.3-Flash"
MODEL = MODEL_PRIMARY # backward compat MODEL = MODEL_PRIMARY # backward compat
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled. # 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled.
@@ -60,8 +77,16 @@ USE_SECONDARY_MODEL = True
# 🔧 ФИКС (26.09.2026): ai_review_overshoot — # 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# 32000 токенов = модель пишет "Ок" на каждую функцию. # 32000 токенов = модель пишет "Ок" на каждую функцию.
# Актуально только для DeepSeek (у GLM свой лимит, см. GLM_MAX_OUTPUT_TOKENS).
MAX_OUTPUT_TOKENS = 8000 MAX_OUTPUT_TOKENS = 8000
# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_reasoning_budget —
# GLM-5.3(-Flash) не даёт полностью выключить thinking, трейс мышления
# делит max_tokens с финальным JSON-ответом. Раньше это обнуляло content
# именно на GLM-паках. Даём больше запаса.
GLM_MAX_OUTPUT_TOKENS = 12000
GLM_REASONING_EFFORT = "low"
# Что игнорировать при сборе кода # Что игнорировать при сборе кода
IGNORE_DIRS = { IGNORE_DIRS = {
"node_modules", "dist", "build", ".git", ".gitea", "node_modules", "dist", "build", ".git", ".gitea",
@@ -318,8 +343,19 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
# ============ Запрос к Together AI ============ # ============ Запрос к Together AI ============
def _is_glm(model_name: str) -> bool:
return "GLM-5.3" in model_name or "glm-5.3" in model_name.lower()
def call_together_model(code: str, pack: dict, model_name: str) -> str: def call_together_model(code: str, pack: dict, model_name: str) -> str:
"""Отправляет код пака в указанную модель.""" """Отправляет код пака в указанную модель.
🔧 ФИКС (26.09.2026, ночь): ai_review_reasoning_per_model —
у DeepSeek reasoning реально выключается через
"reasoning": {"enabled": False}. У GLM-5.3(-Flash) это НЕ работает
(thinking у GLM-5.3 нельзя отключить полностью, см. доки Together) —
там единственный рычаг: reasoning_effort="low" + больший max_tokens.
"""
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...") print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
user_prompt = USER_PROMPT_TEMPLATE.format( user_prompt = USER_PROMPT_TEMPLATE.format(
@@ -328,22 +364,33 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str:
code=code, code=code,
) )
payload = {
"model": model_name,
"messages": [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_prompt},
],
"temperature": 0.2,
}
if _is_glm(model_name):
# GLM-5.3 / GLM-5.3-Flash: thinking нельзя выключить полностью,
# только снизить через reasoning_effort. Даём больше max_tokens,
# т.к. трейс мышления делит бюджет с JSON-ответом.
payload["reasoning_effort"] = GLM_REASONING_EFFORT
payload["max_tokens"] = GLM_MAX_OUTPUT_TOKENS
else:
# DeepSeek: reasoning реально выключается этим флагом.
payload["reasoning"] = {"enabled": False}
payload["max_tokens"] = MAX_OUTPUT_TOKENS
response = httpx.post( response = httpx.post(
"https://api.together.xyz/v1/chat/completions", "https://api.together.xyz/v1/chat/completions",
headers={ headers={
"Authorization": f"Bearer {TOGETHER_API_KEY}", "Authorization": f"Bearer {TOGETHER_API_KEY}",
"Content-Type": "application/json", "Content-Type": "application/json",
}, },
json={ json=payload,
"model": model_name,
"messages": [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_prompt},
],
"max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2,
"reasoning": {"enabled": False},
},
timeout=300.0, timeout=300.0,
) )
@@ -360,15 +407,26 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str:
if not result: if not result:
raise KeyError("пусто (content отсутствует)") raise KeyError("пусто (content отсутствует)")
except (KeyError, IndexError, TypeError) as e: except (KeyError, IndexError, TypeError) as e:
print(f" ❌ Формат ответа: {e}", file=sys.stderr) # 🔧 ФИКС (26.09.2026, ночь): логируем длину reasoning-трейса
# для диагностики, сколько токенов ушло на "мысли" до отказа.
reasoning_len = 0
try:
reasoning_len = len(
data["choices"][0]["message"].get("reasoning_content") or ""
)
except Exception:
pass
print(f" ❌ Формат ответа: {e} (reasoning_content: {reasoning_len} символов)", file=sys.stderr)
return "" return ""
usage = data.get("usage", {}) usage = data.get("usage", {})
finish = data["choices"][0].get("finish_reason", "unknown") finish = data["choices"][0].get("finish_reason", "unknown")
reasoning_len = len(data["choices"][0]["message"].get("reasoning_content") or "")
print( print(
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': " f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
f"вход={usage.get('prompt_tokens', 0)}, " f"вход={usage.get('prompt_tokens', 0)}, "
f"выход={usage.get('completion_tokens', 0)}, finish={finish}" f"выход={usage.get('completion_tokens', 0)}, "
f"reasoning≈{reasoning_len} симв., finish={finish}"
) )
if finish == "length": if finish == "length":
print( print(