🔧 AI Review: reasoning_effort=low для GLM (thinking не выключается)
Root cause: reasoning: {enabled: false} НЕ работает для GLM-5.3(-Flash).
Thinking нельзя отключить полностью (доки Together).
Единственный рычаг — reasoning_effort=low + max_tokens=12000.
- MODEL_SECONDARY: GLM-5.3 → GLM-5.3-Flash ($0.15/$0.50 vs $1.40/$4.40)
- _is_glm() — определение GLM по имени
- GLM: reasoning_effort=low, max_tokens=12000
- DeepSeek: reasoning={enabled: false}, max_tokens=8000
- Логируем длину reasoning_content для диагностики
- Разбивка routers_learning на 3 пака (было finish=length)
Бюджет: ~$0.25-0.35 на оба репо.
This commit is contained in:
+87
-38
@@ -35,6 +35,25 @@ Backend слишком большой (~440K символов) для одног
|
|||||||
Пересечение по (file, snippet) → confidence +0.05.
|
Пересечение по (file, snippet) → confidence +0.05.
|
||||||
→ Только primary → normal. Только secondary → normal.
|
→ Только primary → normal. Только secondary → normal.
|
||||||
→ USE_SECONDARY_MODEL=True включает вторую модель.
|
→ USE_SECONDARY_MODEL=True включает вторую модель.
|
||||||
|
(26.09.2026, ночь) ФИКС reasoning-per-model + бюджет:
|
||||||
|
→ MODEL_SECONDARY: zai-org/GLM-5.3 (флагман, $1.40/$4.40) →
|
||||||
|
zai-org/GLM-5.3-Flash ($0.15/$0.50). Флагман почти не нужен для
|
||||||
|
point-by-point code review, а стоит в ~9 раз дороже; на 2 репо
|
||||||
|
(backend+frontend) дуал-модель с флагманом упирается в бюджет
|
||||||
|
80 центов/аудит, с Flash — укладывается с большим запасом.
|
||||||
|
→ ROOT CAUSE найден: "reasoning": {"enabled": False} НЕ работает
|
||||||
|
на GLM-5.3 / GLM-5.3-Flash (документация Together: "Thinking
|
||||||
|
cannot be disabled entirely on GLM-5.3"). Флаг тихо игнорировался,
|
||||||
|
GLM продолжал думать, весь max_tokens уходил в reasoning_content,
|
||||||
|
content оставался пустым → "Формат ответа: пусто" именно на
|
||||||
|
GLM-паках. Это и была причина "не работает" у secondary модели.
|
||||||
|
→ call_together_model теперь строит РАЗНЫЙ payload по семейству
|
||||||
|
модели: DeepSeek → reasoning.enabled=False (это работает);
|
||||||
|
GLM-5.3* → reasoning_effort="low" + увеличенный max_tokens
|
||||||
|
(единственный доступный рычаг для GLM-5.3, thinking трейс
|
||||||
|
частично остаётся, но сильно короче).
|
||||||
|
→ Логируем длину reasoning_content (если есть) — видно, сколько
|
||||||
|
токенов модель тратит на мысли до JSON-ответа.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import json
|
import json
|
||||||
@@ -54,25 +73,35 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
|||||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_flash —
|
||||||
# Две модели для пересечения находок:
|
# Флагман GLM-5.3 ($1.40 in / $4.40 out) заменён на GLM-5.3-Flash
|
||||||
# - DeepSeek V4.1 Flash — основная (дешёвая, $0.30/$1.20)
|
# ($0.15 in / $0.50 out) — та же линейка модели (Z.ai), но кодинг-версия
|
||||||
# - GLM 5.3 — вторая (сильная для code review, $1.40/$4.40)
|
# попроще и в ~9 раз дешевле. Для point-by-point ревью одного пака
|
||||||
# Пересечение по (file, snippet) → высокая уверенность.
|
# флагманская "глубина" не нужна, а бюджет 80 центов/аудит с флагманом
|
||||||
|
# на большом фронтенде почти исчерпывался.
|
||||||
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
|
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||||
MODEL_SECONDARY = "zai-org/GLM-5.3"
|
MODEL_SECONDARY = "zai-org/GLM-5.3-Flash"
|
||||||
MODEL = MODEL_PRIMARY # backward compat
|
MODEL = MODEL_PRIMARY # backward compat
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled —
|
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled —
|
||||||
# если True — гоняем обе модели, объединяем по пересечению.
|
# если True — гоняем обе модели, объединяем по пересечению.
|
||||||
# Дороже (~$0.90 vs $0.38), но точнее.
|
|
||||||
USE_SECONDARY_MODEL = True
|
USE_SECONDARY_MODEL = True
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
||||||
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
||||||
# 10 находок × ~500 токенов = 5000. 8000 — с запасом.
|
# 10 находок × ~500 токенов = 5000. 8000 — с запасом.
|
||||||
|
# Актуально только для DeepSeek (у GLM свой лимит, см. GLM_MAX_OUTPUT_TOKENS).
|
||||||
MAX_OUTPUT_TOKENS = 8000
|
MAX_OUTPUT_TOKENS = 8000
|
||||||
|
|
||||||
|
# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_reasoning_budget —
|
||||||
|
# У GLM-5.3(-Flash) thinking НЕЛЬЗЯ выключить полностью (только
|
||||||
|
# reasoning_effort="low"/"medium"/"high"/"max"), и трейс мышления
|
||||||
|
# делит один и тот же max_tokens с финальным JSON-ответом.
|
||||||
|
# Раньше при max_tokens=8000 весь бюджет у GLM уходил в reasoning,
|
||||||
|
# content оставался пустым. Даём больше запаса именно для GLM.
|
||||||
|
GLM_MAX_OUTPUT_TOKENS = 12000
|
||||||
|
GLM_REASONING_EFFORT = "low"
|
||||||
|
|
||||||
# Что игнорировать при сборе кода
|
# Что игнорировать при сборе кода
|
||||||
IGNORE_DIRS = {
|
IGNORE_DIRS = {
|
||||||
"venv", ".venv", "__pycache__", ".git", ".gitea",
|
"venv", ".venv", "__pycache__", ".git", ".gitea",
|
||||||
@@ -116,9 +145,6 @@ PACKS = [
|
|||||||
],
|
],
|
||||||
"description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation",
|
"description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation",
|
||||||
},
|
},
|
||||||
# 🔧 ФИКС (26.09.2026, вечер): routers_learning_split —
|
|
||||||
# 100k символов → модель уходит в reasoning, finish=length.
|
|
||||||
# Разбиваем на 3 пака по ~30-40k.
|
|
||||||
{
|
{
|
||||||
"name": "routers_learning_core",
|
"name": "routers_learning_core",
|
||||||
"paths": ["routers/learning.py"],
|
"paths": ["routers/learning.py"],
|
||||||
@@ -311,11 +337,22 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
|
|||||||
|
|
||||||
# ============ Запрос к Together AI ============
|
# ============ Запрос к Together AI ============
|
||||||
|
|
||||||
|
def _is_glm(model_name: str) -> bool:
|
||||||
|
return "GLM-5.3" in model_name or "glm-5.3" in model_name.lower()
|
||||||
|
|
||||||
|
|
||||||
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
||||||
"""Отправляет код пака в указанную модель.
|
"""Отправляет код пака в указанную модель.
|
||||||
|
|
||||||
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
🔧 ФИКС (26.09.2026, ночь): ai_review_reasoning_per_model —
|
||||||
параметр model_name позволяет гонять 2 модели.
|
у DeepSeek reasoning реально выключается через
|
||||||
|
"reasoning": {"enabled": False}. У GLM-5.3(-Flash) это НЕ работает
|
||||||
|
(thinking у GLM-5.3 нельзя отключить полностью, см. доки Together) —
|
||||||
|
там единственный рычаг: reasoning_effort="low" + больший max_tokens,
|
||||||
|
т.к. reasoning-трейс делит бюджет токенов с финальным ответом.
|
||||||
|
Раньше общий "reasoning": {"enabled": False} для GLM тихо
|
||||||
|
игнорировался → весь max_tokens=8000 уходил в мышление →
|
||||||
|
content пустой → "Формат ответа: пусто" на всех GLM-паках.
|
||||||
"""
|
"""
|
||||||
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
||||||
|
|
||||||
@@ -325,23 +362,33 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
|||||||
code=code,
|
code=code,
|
||||||
)
|
)
|
||||||
|
|
||||||
|
payload = {
|
||||||
|
"model": model_name,
|
||||||
|
"messages": [
|
||||||
|
{"role": "system", "content": SYSTEM_PROMPT},
|
||||||
|
{"role": "user", "content": user_prompt},
|
||||||
|
],
|
||||||
|
"temperature": 0.2,
|
||||||
|
}
|
||||||
|
|
||||||
|
if _is_glm(model_name):
|
||||||
|
# GLM-5.3 / GLM-5.3-Flash: thinking нельзя выключить полностью,
|
||||||
|
# только снизить через reasoning_effort. Даём больше max_tokens,
|
||||||
|
# т.к. трейс мышления делит бюджет с JSON-ответом.
|
||||||
|
payload["reasoning_effort"] = GLM_REASONING_EFFORT
|
||||||
|
payload["max_tokens"] = GLM_MAX_OUTPUT_TOKENS
|
||||||
|
else:
|
||||||
|
# DeepSeek: reasoning реально выключается этим флагом.
|
||||||
|
payload["reasoning"] = {"enabled": False}
|
||||||
|
payload["max_tokens"] = MAX_OUTPUT_TOKENS
|
||||||
|
|
||||||
response = httpx.post(
|
response = httpx.post(
|
||||||
"https://api.together.xyz/v1/chat/completions",
|
"https://api.together.xyz/v1/chat/completions",
|
||||||
headers={
|
headers={
|
||||||
"Authorization": f"Bearer {TOGETHER_API_KEY}",
|
"Authorization": f"Bearer {TOGETHER_API_KEY}",
|
||||||
"Content-Type": "application/json",
|
"Content-Type": "application/json",
|
||||||
},
|
},
|
||||||
json={
|
json=payload,
|
||||||
"model": model_name,
|
|
||||||
"messages": [
|
|
||||||
{"role": "system", "content": SYSTEM_PROMPT},
|
|
||||||
{"role": "user", "content": user_prompt},
|
|
||||||
],
|
|
||||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
|
||||||
"temperature": 0.2,
|
|
||||||
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
|
|
||||||
"reasoning": {"enabled": False},
|
|
||||||
},
|
|
||||||
timeout=300.0,
|
timeout=300.0,
|
||||||
)
|
)
|
||||||
|
|
||||||
@@ -358,15 +405,26 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
|||||||
if not result:
|
if not result:
|
||||||
raise KeyError("пусто (content отсутствует)")
|
raise KeyError("пусто (content отсутствует)")
|
||||||
except (KeyError, IndexError, TypeError) as e:
|
except (KeyError, IndexError, TypeError) as e:
|
||||||
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
# 🔧 ФИКС (26.09.2026, ночь): логируем длину reasoning-трейса,
|
||||||
|
# чтобы видно было, сколько токенов ушло на "мысли" до отказа.
|
||||||
|
reasoning_len = 0
|
||||||
|
try:
|
||||||
|
reasoning_len = len(
|
||||||
|
data["choices"][0]["message"].get("reasoning_content") or ""
|
||||||
|
)
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
print(f" ❌ Формат ответа: {e} (reasoning_content: {reasoning_len} символов)", file=sys.stderr)
|
||||||
return ""
|
return ""
|
||||||
|
|
||||||
usage = data.get("usage", {})
|
usage = data.get("usage", {})
|
||||||
finish = data["choices"][0].get("finish_reason", "unknown")
|
finish = data["choices"][0].get("finish_reason", "unknown")
|
||||||
|
reasoning_len = len(data["choices"][0]["message"].get("reasoning_content") or "")
|
||||||
print(
|
print(
|
||||||
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
|
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
|
||||||
f"вход={usage.get('prompt_tokens', 0)}, "
|
f"вход={usage.get('prompt_tokens', 0)}, "
|
||||||
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
f"выход={usage.get('completion_tokens', 0)}, "
|
||||||
|
f"reasoning≈{reasoning_len} симв., finish={finish}"
|
||||||
)
|
)
|
||||||
if finish == "length":
|
if finish == "length":
|
||||||
print(
|
print(
|
||||||
@@ -387,10 +445,8 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
def extract_json(text: str) -> list[dict]:
|
def extract_json(text: str) -> list[dict]:
|
||||||
"""Извлекает находки из ответа модели.
|
"""Извлекает находки из ответа модели.
|
||||||
|
|
||||||
🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON
|
Парсим объекты по одному (json.JSONDecoder.raw_decode) и
|
||||||
весь пак терял ВСЕ находки — json.loads() падал на всём массиве
|
останавливаемся на первом, который не удалось распарсить — то есть
|
||||||
целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode)
|
|
||||||
и останавливаемся на первом, который не удалось распарсить — то есть
|
|
||||||
спасаем всё, что модель успела сгенерить до обрезки.
|
спасаем всё, что модель успела сгенерить до обрезки.
|
||||||
"""
|
"""
|
||||||
if not text:
|
if not text:
|
||||||
@@ -431,8 +487,7 @@ def extract_json(text: str) -> list[dict]:
|
|||||||
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
|
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
|
||||||
"""Объединяет находки от двух моделей.
|
"""Объединяет находки от двух моделей.
|
||||||
|
|
||||||
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model_merge —
|
Пересечение по (file, snippet) → confidence +0.05.
|
||||||
пересечение по (file, snippet) → confidence +0.05.
|
|
||||||
Только primary → normal.
|
Только primary → normal.
|
||||||
Только secondary → normal.
|
Только secondary → normal.
|
||||||
"""
|
"""
|
||||||
@@ -481,9 +536,7 @@ def validate_and_filter(
|
|||||||
) -> tuple[list[dict], dict[str, int]]:
|
) -> tuple[list[dict], dict[str, int]]:
|
||||||
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
|
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
|
||||||
|
|
||||||
🔧 ФИКС (26.09.2026): overshoot guard.
|
Overshoot guard — если находок > 15 на пак, берём только топ-10 по confidence.
|
||||||
Если модель выдала > 15 находок на пак — она "потекла".
|
|
||||||
Берём только топ-10 по confidence.
|
|
||||||
"""
|
"""
|
||||||
stats = {
|
stats = {
|
||||||
"total": len(findings),
|
"total": len(findings),
|
||||||
@@ -492,8 +545,6 @@ def validate_and_filter(
|
|||||||
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
||||||
}
|
}
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard —
|
|
||||||
# если находок > OVERSHOOT_LIMIT, модель "потекла".
|
|
||||||
if len(findings) > OVERSHOOT_LIMIT:
|
if len(findings) > OVERSHOOT_LIMIT:
|
||||||
print(
|
print(
|
||||||
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
|
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
|
||||||
@@ -677,8 +728,6 @@ def main() -> None:
|
|||||||
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
||||||
continue
|
continue
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
|
||||||
# primary всегда, secondary — если USE_SECONDARY_MODEL.
|
|
||||||
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
||||||
|
|
||||||
if USE_SECONDARY_MODEL:
|
if USE_SECONDARY_MODEL:
|
||||||
|
|||||||
Reference in New Issue
Block a user