diff --git a/scripts/ai_review.py b/scripts/ai_review.py index 4ac185c..475873a 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -30,6 +30,20 @@ Frontend слишком большой (1M+ символов) для одног DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая. Пересечение по (file, snippet) → confidence +0.05. → USE_SECONDARY_MODEL=True включает вторую модель. +(26.09.2026, ночь) ФИКС reasoning-per-model + бюджет: + → MODEL_SECONDARY: zai-org/GLM-5.3 (флагман, $1.40/$4.40) → + zai-org/GLM-5.3-Flash ($0.15/$0.50). На фронтенде (1M+ символов, + 9 паков × 2 модели) флагман почти упирался в бюджет 80 центов/ + аудит — Flash укладывается с большим запасом. + → ROOT CAUSE: "reasoning": {"enabled": False} НЕ работает на + GLM-5.3 / GLM-5.3-Flash (в доке Together: "Thinking cannot be + disabled entirely on GLM-5.3"). Это и объясняет "6 из 9 паков + без ответа" из заметки выше — скорее всего это были именно + GLM-паки: thinking съедал весь max_tokens, content пустой. + → call_together_model строит РАЗНЫЙ payload по семейству модели: + DeepSeek → reasoning.enabled=False; GLM-5.3* → reasoning_effort + ="low" + увеличенный max_tokens (единственный рычаг для GLM). + → Логируем длину reasoning_content для диагностики. """ import json @@ -49,10 +63,13 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend") -# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — -# Две модели для пересечения находок. +# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_flash — +# Флагман GLM-5.3 ($1.40 in / $4.40 out) заменён на GLM-5.3-Flash +# ($0.15 in / $0.50 out), та же линейка Z.ai, но кодинг-версия +# попроще и в ~9 раз дешевле. На фронтенде (1M+ символов) это главный +# рычаг, чтобы не упереться в 80 центов на аудит. MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash" -MODEL_SECONDARY = "zai-org/GLM-5.3" +MODEL_SECONDARY = "zai-org/GLM-5.3-Flash" MODEL = MODEL_PRIMARY # backward compat # 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled. @@ -60,8 +77,16 @@ USE_SECONDARY_MODEL = True # 🔧 ФИКС (26.09.2026): ai_review_overshoot — # 32000 токенов = модель пишет "Ок" на каждую функцию. +# Актуально только для DeepSeek (у GLM свой лимит, см. GLM_MAX_OUTPUT_TOKENS). MAX_OUTPUT_TOKENS = 8000 +# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_reasoning_budget — +# GLM-5.3(-Flash) не даёт полностью выключить thinking, трейс мышления +# делит max_tokens с финальным JSON-ответом. Раньше это обнуляло content +# именно на GLM-паках. Даём больше запаса. +GLM_MAX_OUTPUT_TOKENS = 12000 +GLM_REASONING_EFFORT = "low" + # Что игнорировать при сборе кода IGNORE_DIRS = { "node_modules", "dist", "build", ".git", ".gitea", @@ -318,8 +343,19 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten # ============ Запрос к Together AI ============ +def _is_glm(model_name: str) -> bool: + return "GLM-5.3" in model_name or "glm-5.3" in model_name.lower() + + def call_together_model(code: str, pack: dict, model_name: str) -> str: - """Отправляет код пака в указанную модель.""" + """Отправляет код пака в указанную модель. + + 🔧 ФИКС (26.09.2026, ночь): ai_review_reasoning_per_model — + у DeepSeek reasoning реально выключается через + "reasoning": {"enabled": False}. У GLM-5.3(-Flash) это НЕ работает + (thinking у GLM-5.3 нельзя отключить полностью, см. доки Together) — + там единственный рычаг: reasoning_effort="low" + больший max_tokens. + """ print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...") user_prompt = USER_PROMPT_TEMPLATE.format( @@ -328,22 +364,33 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str: code=code, ) + payload = { + "model": model_name, + "messages": [ + {"role": "system", "content": SYSTEM_PROMPT}, + {"role": "user", "content": user_prompt}, + ], + "temperature": 0.2, + } + + if _is_glm(model_name): + # GLM-5.3 / GLM-5.3-Flash: thinking нельзя выключить полностью, + # только снизить через reasoning_effort. Даём больше max_tokens, + # т.к. трейс мышления делит бюджет с JSON-ответом. + payload["reasoning_effort"] = GLM_REASONING_EFFORT + payload["max_tokens"] = GLM_MAX_OUTPUT_TOKENS + else: + # DeepSeek: reasoning реально выключается этим флагом. + payload["reasoning"] = {"enabled": False} + payload["max_tokens"] = MAX_OUTPUT_TOKENS + response = httpx.post( "https://api.together.xyz/v1/chat/completions", headers={ "Authorization": f"Bearer {TOGETHER_API_KEY}", "Content-Type": "application/json", }, - json={ - "model": model_name, - "messages": [ - {"role": "system", "content": SYSTEM_PROMPT}, - {"role": "user", "content": user_prompt}, - ], - "max_tokens": MAX_OUTPUT_TOKENS, - "temperature": 0.2, - "reasoning": {"enabled": False}, - }, + json=payload, timeout=300.0, ) @@ -360,15 +407,26 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str: if not result: raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: - print(f" ❌ Формат ответа: {e}", file=sys.stderr) + # 🔧 ФИКС (26.09.2026, ночь): логируем длину reasoning-трейса + # для диагностики, сколько токенов ушло на "мысли" до отказа. + reasoning_len = 0 + try: + reasoning_len = len( + data["choices"][0]["message"].get("reasoning_content") or "" + ) + except Exception: + pass + print(f" ❌ Формат ответа: {e} (reasoning_content: {reasoning_len} символов)", file=sys.stderr) return "" usage = data.get("usage", {}) finish = data["choices"][0].get("finish_reason", "unknown") + reasoning_len = len(data["choices"][0]["message"].get("reasoning_content") or "") print( f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': " f"вход={usage.get('prompt_tokens', 0)}, " - f"выход={usage.get('completion_tokens', 0)}, finish={finish}" + f"выход={usage.get('completion_tokens', 0)}, " + f"reasoning≈{reasoning_len} симв., finish={finish}" ) if finish == "length": print(