diff --git a/scripts/ai_review.py b/scripts/ai_review.py index 8085fad..8870236 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -60,6 +60,17 @@ Backend слишком большой (~440K символов) для одног а не молча терять вклад второй модели. → Паки не трогаем — routers_admin (97k) пока терпит, но если начнёт терять secondary — раздробим. +(05.10.2026) ФИКС single_model_v4_pro: + → Отказались от dual-model (DeepSeek Flash + GLM Flash). + Причина: GLM добавлял мусор, Flash-версии ошибались на сложных файлах. + → Теперь: только DeepSeek V4 Pro 0813 — флагман, reasoning, 1M контекст. + Один промпт → один ответ → один фильтр → меньше мусора. + → MIN_CONFIDENCE: 0.75 → 0.80 — V4 Pro увереннее, но подняли порог, + чтобы отсеять спорные находки. + → reasoning_effort="low" — V4 Pro: reasoning_effort="none" + игнорируется (тест 05.10.2026), "low" даёт минимальный reasoning + (~70 токенов на простой запрос). + → MAX_OUTPUT_TOKENS: 8000 → 16000 — reasoning (~80%) + JSON (~20%). """ import json @@ -79,34 +90,20 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") -# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_flash — -# Флагман GLM-5.3 ($1.40 in / $4.40 out) заменён на GLM-5.3-Flash -# ($0.15 in / $0.50 out) — та же линейка модели (Z.ai), но кодинг-версия -# попроще и в ~9 раз дешевле. Для point-by-point ревью одного пака -# флагманская "глубина" не нужна, а бюджет 80 центов/аудит с флагманом -# на большом фронтенде почти исчерпывался. -MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash" -MODEL_SECONDARY = "zai-org/GLM-5.3-Flash" -MODEL = MODEL_PRIMARY # backward compat +# 🔧 ФИКС (05.10.2026): single_model_v4_pro — +# Отказались от dual-model (DeepSeek Flash + GLM Flash). +# Причина: GLM добавлял мусор, Flash-версии ошибались на сложных файлах. +# Теперь: только DeepSeek V4 Pro 0813 — флагман, reasoning, 1M контекст. +# Один промпт → один ответ → один фильтр → меньше мусора. +MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4-Pro-0813" -# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled — -# если True — гоняем обе модели, объединяем по пересечению. -USE_SECONDARY_MODEL = True +USE_SECONDARY_MODEL = False -# 🔧 ФИКС (26.09.2026): ai_review_overshoot — -# 32000 токенов = модель пишет "Ок" на каждую функцию. -# 10 находок × ~500 токенов = 5000. 8000 — с запасом. -# Актуально только для DeepSeek (у GLM свой лимит, см. GLM_MAX_OUTPUT_TOKENS). -MAX_OUTPUT_TOKENS = 8000 - -# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_reasoning_budget — -# У GLM-5.3(-Flash) thinking НЕЛЬЗЯ выключить полностью (только -# reasoning_effort="low"/"medium"/"high"/"max"), и трейс мышления -# делит один и тот же max_tokens с финальным JSON-ответом. -# Раньше при max_tokens=8000 весь бюджет у GLM уходил в reasoning, -# content оставался пустым. Даём больше запаса именно для GLM. -GLM_MAX_OUTPUT_TOKENS = 12000 -GLM_REASONING_EFFORT = "low" +# V4 Pro: reasoning полностью НЕ отключается (тест 05.10.2026: +# reasoning_effort="none" игнорируется, "low" даёт ~70 токенов). +# max_tokens увеличен с 8000 до 16000 — reasoning (~80%) + JSON (~20%). +MAX_OUTPUT_TOKENS = 16000 +REASONING_EFFORT = "low" # Что игнорировать при сборе кода IGNORE_DIRS = { @@ -127,8 +124,10 @@ INCLUDE_EXTENSIONS = {".py"} MAX_FILE_SIZE = 100_000 # Фильтр находок -# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75. -MIN_CONFIDENCE = 0.75 +# 🔧 ФИКС (05.10.2026): filter_more_strict — +# V4 Pro увереннее, но подняли порог с 0.75 до 0.80, +# чтобы отсеять спорные находки. +MIN_CONFIDENCE = 0.80 ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} # 🔧 ФИКС (26.09.2026): overshoot guard. @@ -343,22 +342,12 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про # ============ Запрос к Together AI ============ -def _is_glm(model_name: str) -> bool: - return "GLM-5.3" in model_name or "glm-5.3" in model_name.lower() - - def call_together_model(code: str, pack: dict, model_name: str) -> str: """Отправляет код пака в указанную модель. - 🔧 ФИКС (26.09.2026, ночь): ai_review_reasoning_per_model — - у DeepSeek reasoning реально выключается через - "reasoning": {"enabled": False}. У GLM-5.3(-Flash) это НЕ работает - (thinking у GLM-5.3 нельзя отключить полностью, см. доки Together) — - там единственный рычаг: reasoning_effort="low" + больший max_tokens, - т.к. reasoning-трейс делит бюджет токенов с финальным ответом. - Раньше общий "reasoning": {"enabled": False} для GLM тихо - игнорировался → весь max_tokens=8000 уходил в мышление → - content пустой → "Формат ответа: пусто" на всех GLM-паках. + 🔧 ФИКС (05.10.2026): reasoning_effort_low — + V4 Pro: reasoning_effort="none" игнорируется (тест 05.10.2026), + "low" даёт минимальный reasoning. """ print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...") @@ -375,19 +364,13 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str: {"role": "user", "content": user_prompt}, ], "temperature": 0.2, + "max_tokens": MAX_OUTPUT_TOKENS, + # 🔧 ФИКС (05.10.2026): reasoning_effort_low — + # V4 Pro: reasoning_effort="none" игнорируется (тест 05.10.2026), + # "low" даёт минимальный reasoning (~70 токенов на простой запрос). + "reasoning_effort": REASONING_EFFORT, } - if _is_glm(model_name): - # GLM-5.3 / GLM-5.3-Flash: thinking нельзя выключить полностью, - # только снизить через reasoning_effort. Даём больше max_tokens, - # т.к. трейс мышления делит бюджет с JSON-ответом. - payload["reasoning_effort"] = GLM_REASONING_EFFORT - payload["max_tokens"] = GLM_MAX_OUTPUT_TOKENS - else: - # DeepSeek: reasoning реально выключается этим флагом. - payload["reasoning"] = {"enabled": False} - payload["max_tokens"] = MAX_OUTPUT_TOKENS - response = httpx.post( "https://api.together.xyz/v1/chat/completions", headers={ @@ -627,10 +610,7 @@ def format_issue_body( lines.append("# 🤖 AI Code Review (Backend)") lines.append("") lines.append(f"**Дата:** {date_str}") - if USE_SECONDARY_MODEL: - lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`") - else: - lines.append(f"**Модель:** `{MODEL_PRIMARY}`") + lines.append(f"**Модель:** `{MODEL_PRIMARY}`") lines.append(f"**Репозиторий:** `{GITEA_REPO}`") lines.append("") lines.append("## 📊 По пакам") @@ -735,21 +715,9 @@ def main() -> None: continue primary_raw = call_together_model(code, pack, MODEL_PRIMARY) - - if USE_SECONDARY_MODEL: - secondary_raw = call_together_model(code, pack, MODEL_SECONDARY) - # 🔧 ФИКС (27.09.2026): secondary_empty_log — - # если GLM вернул пусто (весь бюджет ушёл в reasoning), - # пишем это явно, чтобы видеть потери второй модели в логах. - if not secondary_raw: - print( - f" ⚠️ Secondary ({MODEL_SECONDARY}) вернул ПУСТО для пака " - f"'{pack['name']}' — пак потерян для второй модели", - file=sys.stderr, - ) - findings = merge_dual_findings(primary_raw, secondary_raw) - else: - findings = extract_json(primary_raw) + # 🔧 ФИКС (05.10.2026): single_model — + # только V4 Pro, без merge. + findings = extract_json(primary_raw) filtered, stats = validate_and_filter(findings, files_map)