diff --git a/scripts/ai_review.py b/scripts/ai_review.py index ff12a42..f627fe3 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -35,6 +35,25 @@ Backend слишком большой (~440K символов) для одног Пересечение по (file, snippet) → confidence +0.05. → Только primary → normal. Только secondary → normal. → USE_SECONDARY_MODEL=True включает вторую модель. +(26.09.2026, ночь) ФИКС reasoning-per-model + бюджет: + → MODEL_SECONDARY: zai-org/GLM-5.3 (флагман, $1.40/$4.40) → + zai-org/GLM-5.3-Flash ($0.15/$0.50). Флагман почти не нужен для + point-by-point code review, а стоит в ~9 раз дороже; на 2 репо + (backend+frontend) дуал-модель с флагманом упирается в бюджет + 80 центов/аудит, с Flash — укладывается с большим запасом. + → ROOT CAUSE найден: "reasoning": {"enabled": False} НЕ работает + на GLM-5.3 / GLM-5.3-Flash (документация Together: "Thinking + cannot be disabled entirely on GLM-5.3"). Флаг тихо игнорировался, + GLM продолжал думать, весь max_tokens уходил в reasoning_content, + content оставался пустым → "Формат ответа: пусто" именно на + GLM-паках. Это и была причина "не работает" у secondary модели. + → call_together_model теперь строит РАЗНЫЙ payload по семейству + модели: DeepSeek → reasoning.enabled=False (это работает); + GLM-5.3* → reasoning_effort="low" + увеличенный max_tokens + (единственный доступный рычаг для GLM-5.3, thinking трейс + частично остаётся, но сильно короче). + → Логируем длину reasoning_content (если есть) — видно, сколько + токенов модель тратит на мысли до JSON-ответа. """ import json @@ -54,25 +73,35 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") -# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — -# Две модели для пересечения находок: -# - DeepSeek V4.1 Flash — основная (дешёвая, $0.30/$1.20) -# - GLM 5.3 — вторая (сильная для code review, $1.40/$4.40) -# Пересечение по (file, snippet) → высокая уверенность. +# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_flash — +# Флагман GLM-5.3 ($1.40 in / $4.40 out) заменён на GLM-5.3-Flash +# ($0.15 in / $0.50 out) — та же линейка модели (Z.ai), но кодинг-версия +# попроще и в ~9 раз дешевле. Для point-by-point ревью одного пака +# флагманская "глубина" не нужна, а бюджет 80 центов/аудит с флагманом +# на большом фронтенде почти исчерпывался. MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash" -MODEL_SECONDARY = "zai-org/GLM-5.3" +MODEL_SECONDARY = "zai-org/GLM-5.3-Flash" MODEL = MODEL_PRIMARY # backward compat # 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled — # если True — гоняем обе модели, объединяем по пересечению. -# Дороже (~$0.90 vs $0.38), но точнее. USE_SECONDARY_MODEL = True # 🔧 ФИКС (26.09.2026): ai_review_overshoot — # 32000 токенов = модель пишет "Ок" на каждую функцию. # 10 находок × ~500 токенов = 5000. 8000 — с запасом. +# Актуально только для DeepSeek (у GLM свой лимит, см. GLM_MAX_OUTPUT_TOKENS). MAX_OUTPUT_TOKENS = 8000 +# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_reasoning_budget — +# У GLM-5.3(-Flash) thinking НЕЛЬЗЯ выключить полностью (только +# reasoning_effort="low"/"medium"/"high"/"max"), и трейс мышления +# делит один и тот же max_tokens с финальным JSON-ответом. +# Раньше при max_tokens=8000 весь бюджет у GLM уходил в reasoning, +# content оставался пустым. Даём больше запаса именно для GLM. +GLM_MAX_OUTPUT_TOKENS = 12000 +GLM_REASONING_EFFORT = "low" + # Что игнорировать при сборе кода IGNORE_DIRS = { "venv", ".venv", "__pycache__", ".git", ".gitea", @@ -116,9 +145,6 @@ PACKS = [ ], "description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation", }, - # 🔧 ФИКС (26.09.2026, вечер): routers_learning_split — - # 100k символов → модель уходит в reasoning, finish=length. - # Разбиваем на 3 пака по ~30-40k. { "name": "routers_learning_core", "paths": ["routers/learning.py"], @@ -311,11 +337,22 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про # ============ Запрос к Together AI ============ +def _is_glm(model_name: str) -> bool: + return "GLM-5.3" in model_name or "glm-5.3" in model_name.lower() + + def call_together_model(code: str, pack: dict, model_name: str) -> str: """Отправляет код пака в указанную модель. - 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — - параметр model_name позволяет гонять 2 модели. + 🔧 ФИКС (26.09.2026, ночь): ai_review_reasoning_per_model — + у DeepSeek reasoning реально выключается через + "reasoning": {"enabled": False}. У GLM-5.3(-Flash) это НЕ работает + (thinking у GLM-5.3 нельзя отключить полностью, см. доки Together) — + там единственный рычаг: reasoning_effort="low" + больший max_tokens, + т.к. reasoning-трейс делит бюджет токенов с финальным ответом. + Раньше общий "reasoning": {"enabled": False} для GLM тихо + игнорировался → весь max_tokens=8000 уходил в мышление → + content пустой → "Формат ответа: пусто" на всех GLM-паках. """ print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...") @@ -325,23 +362,33 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str: code=code, ) + payload = { + "model": model_name, + "messages": [ + {"role": "system", "content": SYSTEM_PROMPT}, + {"role": "user", "content": user_prompt}, + ], + "temperature": 0.2, + } + + if _is_glm(model_name): + # GLM-5.3 / GLM-5.3-Flash: thinking нельзя выключить полностью, + # только снизить через reasoning_effort. Даём больше max_tokens, + # т.к. трейс мышления делит бюджет с JSON-ответом. + payload["reasoning_effort"] = GLM_REASONING_EFFORT + payload["max_tokens"] = GLM_MAX_OUTPUT_TOKENS + else: + # DeepSeek: reasoning реально выключается этим флагом. + payload["reasoning"] = {"enabled": False} + payload["max_tokens"] = MAX_OUTPUT_TOKENS + response = httpx.post( "https://api.together.xyz/v1/chat/completions", headers={ "Authorization": f"Bearer {TOGETHER_API_KEY}", "Content-Type": "application/json", }, - json={ - "model": model_name, - "messages": [ - {"role": "system", "content": SYSTEM_PROMPT}, - {"role": "user", "content": user_prompt}, - ], - "max_tokens": MAX_OUTPUT_TOKENS, - "temperature": 0.2, - # 🔧 ФИКС (25.09.2026, вечер): reasoning выключен. - "reasoning": {"enabled": False}, - }, + json=payload, timeout=300.0, ) @@ -358,15 +405,26 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str: if not result: raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: - print(f" ❌ Формат ответа: {e}", file=sys.stderr) + # 🔧 ФИКС (26.09.2026, ночь): логируем длину reasoning-трейса, + # чтобы видно было, сколько токенов ушло на "мысли" до отказа. + reasoning_len = 0 + try: + reasoning_len = len( + data["choices"][0]["message"].get("reasoning_content") or "" + ) + except Exception: + pass + print(f" ❌ Формат ответа: {e} (reasoning_content: {reasoning_len} символов)", file=sys.stderr) return "" usage = data.get("usage", {}) finish = data["choices"][0].get("finish_reason", "unknown") + reasoning_len = len(data["choices"][0]["message"].get("reasoning_content") or "") print( f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': " f"вход={usage.get('prompt_tokens', 0)}, " - f"выход={usage.get('completion_tokens', 0)}, finish={finish}" + f"выход={usage.get('completion_tokens', 0)}, " + f"reasoning≈{reasoning_len} симв., finish={finish}" ) if finish == "length": print( @@ -387,10 +445,8 @@ def call_together(code: str, pack: dict) -> str: def extract_json(text: str) -> list[dict]: """Извлекает находки из ответа модели. - 🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON - весь пак терял ВСЕ находки — json.loads() падал на всём массиве - целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode) - и останавливаемся на первом, который не удалось распарсить — то есть + Парсим объекты по одному (json.JSONDecoder.raw_decode) и + останавливаемся на первом, который не удалось распарсить — то есть спасаем всё, что модель успела сгенерить до обрезки. """ if not text: @@ -431,8 +487,7 @@ def extract_json(text: str) -> list[dict]: def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]: """Объединяет находки от двух моделей. - 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model_merge — - пересечение по (file, snippet) → confidence +0.05. + Пересечение по (file, snippet) → confidence +0.05. Только primary → normal. Только secondary → normal. """ @@ -481,9 +536,7 @@ def validate_and_filter( ) -> tuple[list[dict], dict[str, int]]: """Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна. - 🔧 ФИКС (26.09.2026): overshoot guard. - Если модель выдала > 15 находок на пак — она "потекла". - Берём только топ-10 по confidence. + Overshoot guard — если находок > 15 на пак, берём только топ-10 по confidence. """ stats = { "total": len(findings), @@ -492,8 +545,6 @@ def validate_and_filter( "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, } - # 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard — - # если находок > OVERSHOOT_LIMIT, модель "потекла". if len(findings) > OVERSHOOT_LIMIT: print( f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), " @@ -677,8 +728,6 @@ def main() -> None: pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0}) continue - # 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — - # primary всегда, secondary — если USE_SECONDARY_MODEL. primary_raw = call_together_model(code, pack, MODEL_PRIMARY) if USE_SECONDARY_MODEL: