diff --git a/scripts/ai_review.py b/scripts/ai_review.py index f8dc212..ff12a42 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -20,13 +20,21 @@ Backend слишком большой (~440K символов) для одног → extract_json теперь спасает отдельные валидные находки, даже если ответ всё же обрежется по max_tokens — вместо потери пака целиком. (26.09.2026) ФИКС quality-first: - → MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 - (Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст). + → MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат). → MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд"). → SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно", confidence >= 0.75, ТОП-10 по severity. → validate_and_filter: overshoot guard — если находок > 15 на пак, берём только топ-10 по confidence (признак, что модель "потекла"). +(26.09.2026, вечер) ФИКС dual-model + split routers_learning: + → routers_learning (100k) разбит на 3 пака: + routers_learning_core, routers_learning_teacher, routers_learning_orch. + Это устраняет finish=length — модель успевает выдать JSON. + → Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок: + DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая. + Пересечение по (file, snippet) → confidence +0.05. + → Только primary → normal. Только secondary → normal. + → USE_SECONDARY_MODEL=True включает вторую модель. """ import json @@ -46,11 +54,19 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") -# 🔧 ФИКС (26.09.2026): ai_review_quality_first — -# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%, -# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит), -# но качество находок важнее. -MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" +# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — +# Две модели для пересечения находок: +# - DeepSeek V4.1 Flash — основная (дешёвая, $0.30/$1.20) +# - GLM 5.3 — вторая (сильная для code review, $1.40/$4.40) +# Пересечение по (file, snippet) → высокая уверенность. +MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash" +MODEL_SECONDARY = "zai-org/GLM-5.3" +MODEL = MODEL_PRIMARY # backward compat + +# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled — +# если True — гоняем обе модели, объединяем по пересечению. +# Дороже (~$0.90 vs $0.38), но точнее. +USE_SECONDARY_MODEL = True # 🔧 ФИКС (26.09.2026): ai_review_overshoot — # 32000 токенов = модель пишет "Ок" на каждую функцию. @@ -77,13 +93,10 @@ MAX_FILE_SIZE = 100_000 # Фильтр находок # 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75. -# Модель стала сильнее — требуем уверенности. MIN_CONFIDENCE = 0.75 ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} # 🔧 ФИКС (26.09.2026): overshoot guard. -# Если модель выдала > 15 находок на пак — она "потекла", -# берём только топ-10 по confidence. OVERSHOOT_LIMIT = 15 OVERSHOOT_KEEP = 10 @@ -103,16 +116,27 @@ PACKS = [ ], "description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation", }, + # 🔧 ФИКС (26.09.2026, вечер): routers_learning_split — + # 100k символов → модель уходит в reasoning, finish=length. + # Разбиваем на 3 пака по ~30-40k. { - "name": "routers_learning", + "name": "routers_learning_core", + "paths": ["routers/learning.py"], + "description": "Уроки: learning.py (эндпоинты + update_*)", + }, + { + "name": "routers_learning_teacher", + "paths": ["routers/teacher.py"], + "description": "Учитель: teacher.py", + }, + { + "name": "routers_learning_orch", "paths": [ - "routers/learning.py", - "routers/learning_profile.py", - "routers/teacher.py", "routers/orchestrator.py", + "routers/learning_profile.py", "routers/learning_data/", ], - "description": "Уроки: learning, teacher, orchestrator, learning_data", + "description": "Orchestrator + profile + learning_data", }, { "name": "routers_admin", @@ -287,9 +311,13 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про # ============ Запрос к Together AI ============ -def call_together(code: str, pack: dict) -> str: - """Отправляет код пака в DeepSeek V4 Pro.""" - print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...") +def call_together_model(code: str, pack: dict, model_name: str) -> str: + """Отправляет код пака в указанную модель. + + 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — + параметр model_name позволяет гонять 2 модели. + """ + print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...") user_prompt = USER_PROMPT_TEMPLATE.format( pack_name=pack["name"], @@ -304,26 +332,21 @@ def call_together(code: str, pack: dict) -> str: "Content-Type": "application/json", }, json={ - "model": MODEL, + "model": model_name, "messages": [ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": user_prompt}, ], "max_tokens": MAX_OUTPUT_TOKENS, "temperature": 0.2, - # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro - # по умолчанию думают перед ответом. На сложных/больших паках - # весь max_tokens уходит в thinking, content остаётся пустым, - # finish_reason="length" — находки терялись целиком. - # Задаче нужна строгая экстракция, а не рассуждения, - # поэтому reasoning выключаем явно. + # 🔧 ФИКС (25.09.2026, вечер): reasoning выключен. "reasoning": {"enabled": False}, }, timeout=300.0, ) if response.status_code != 200: - print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr) + print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr) print(f" Ответ: {response.text[:500]}", file=sys.stderr) return "" @@ -333,8 +356,6 @@ def call_together(code: str, pack: dict) -> str: message = data["choices"][0]["message"] result = message.get("content") if not result: - # 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content - # убран. Он был источником "Ошибка парсинга JSON". raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: print(f" ❌ Формат ответа: {e}", file=sys.stderr) @@ -343,19 +364,24 @@ def call_together(code: str, pack: dict) -> str: usage = data.get("usage", {}) finish = data["choices"][0].get("finish_reason", "unknown") print( - f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, " + f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': " + f"вход={usage.get('prompt_tokens', 0)}, " f"выход={usage.get('completion_tokens', 0)}, finish={finish}" ) if finish == "length": print( - f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — " - f"пробуем спасти то, что успело сгенериться", + f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})", file=sys.stderr, ) return result +def call_together(code: str, pack: dict) -> str: + """Backward-compat: одна модель (primary).""" + return call_together_model(code, pack, MODEL_PRIMARY) + + # ============ Парсинг и фильтрация JSON ============ def extract_json(text: str) -> list[dict]: @@ -391,8 +417,6 @@ def extract_json(text: str) -> list[dict]: try: obj, end = decoder.raw_decode(text, idx) except json.JSONDecodeError: - # Дальше — обрезанный объект (ответ упёрся в max_tokens). - # Останавливаемся, но не теряем то, что уже успели распарсить. break if isinstance(obj, dict): results.append(obj) @@ -404,6 +428,53 @@ def extract_json(text: str) -> list[dict]: return results +def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]: + """Объединяет находки от двух моделей. + + 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model_merge — + пересечение по (file, snippet) → confidence +0.05. + Только primary → normal. + Только secondary → normal. + """ + p_list = extract_json(primary_raw) + s_list = extract_json(secondary_raw) + + def _key(f: dict) -> str: + return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}" + + p_map = {_key(f): f for f in p_list if isinstance(f, dict)} + s_map = {_key(f): f for f in s_list if isinstance(f, dict)} + + merged: dict[str, dict] = {} + + # Primary — base + for k, f in p_map.items(): + item = dict(f) + item["_source"] = "primary" + if k in s_map: + # Пересечение — повышаем confidence + try: + conf = float(item.get("confidence", 0) or 0) + except (TypeError, ValueError): + conf = 0 + item["confidence"] = min(1.0, round(conf + 0.05, 2)) + item["_source"] = "both" + merged[k] = item + + # Secondary — только то, чего нет в primary + for k, f in s_map.items(): + if k not in merged: + item = dict(f) + item["_source"] = "secondary" + merged[k] = item + + both_count = sum(1 for v in merged.values() if v.get("_source") == "both") + print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, " + f"пересечение={both_count}, всего={len(merged)}") + + return list(merged.values()) + + def validate_and_filter( findings: list[dict], files_map: dict[str, str], @@ -411,7 +482,7 @@ def validate_and_filter( """Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна. 🔧 ФИКС (26.09.2026): overshoot guard. - Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг"). + Если модель выдала > 15 находок на пак — она "потекла". Берём только топ-10 по confidence. """ stats = { @@ -499,7 +570,10 @@ def format_issue_body( lines.append("# 🤖 AI Code Review (Backend)") lines.append("") lines.append(f"**Дата:** {date_str}") - lines.append(f"**Модель:** `{MODEL}`") + if USE_SECONDARY_MODEL: + lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`") + else: + lines.append(f"**Модель:** `{MODEL_PRIMARY}`") lines.append(f"**Репозиторий:** `{GITEA_REPO}`") lines.append("") lines.append("## 📊 По пакам") @@ -527,7 +601,9 @@ def format_issue_body( lines.append("") for f in items: counter += 1 - lines.append(f"### {counter}. {f.get('id', 'без имени')}") + source = f.get("_source", "primary") + source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "") + lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}") lines.append("") lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`") lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`") @@ -601,8 +677,16 @@ def main() -> None: pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0}) continue - raw = call_together(code, pack) - findings = extract_json(raw) + # 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model — + # primary всегда, secondary — если USE_SECONDARY_MODEL. + primary_raw = call_together_model(code, pack, MODEL_PRIMARY) + + if USE_SECONDARY_MODEL: + secondary_raw = call_together_model(code, pack, MODEL_SECONDARY) + findings = merge_dual_findings(primary_raw, secondary_raw) + else: + findings = extract_json(primary_raw) + filtered, stats = validate_and_filter(findings, files_map) all_passed.extend(filtered)