#!/usr/bin/env python3 """ AI Code Review for Filwords PL Backend (JSON-контракт + пак-подход) Backend слишком большой (~440K символов) для одного запроса — модель уходит в reasoning и не успевает выдать JSON. Решение: разбиваем файлы на паки по папкам, делаем отдельный запрос на каждый пак, объединяем находки. (20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам. (20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content. (21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence. (22.09.2026, вечер) Пак-подход: 3 пака (routers, core, services+scripts). (25.09.2026) Разбивка routers на 4 пака, MAX_OUTPUT_TOKENS=32000. (25.09.2026, вечер) ФИКС root cause: DeepSeek-V4.1-Flash по умолчанию думает (reasoning), и на сложных паках весь max_tokens уходит в thinking — content пустой, finish=length, находки теряются. → reasoning выключен явно ("reasoning": {"enabled": False}). → fallback на reasoning_content убран (это была причина "Ошибка парсинга JSON": туда попадал сырой текст рассуждений, а не JSON). → extract_json теперь спасает отдельные валидные находки, даже если ответ всё же обрежется по max_tokens — вместо потери пака целиком. """ import json import os import re import sys from datetime import datetime, timezone from pathlib import Path import httpx # ============ Настройки ============ TOGETHER_API_KEY = os.environ.get("TOGETHER_API_KEY") GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" # DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть, # но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже). MAX_OUTPUT_TOKENS = 32000 # Что игнорировать при сборе кода IGNORE_DIRS = { "venv", ".venv", "__pycache__", ".git", ".gitea", "tests", "archive", "uploads", "tts_cache", "node_modules", "dist", "learning_data", } IGNORE_FILES = { "ai_review.py", "conftest.py", "code_summary.py", "add_levels.py", "generate_levels_v2.py", "__init__.py", } # Расширения, которые читаем INCLUDE_EXTENSIONS = {".py"} # Максимальный размер одного файла (символов) MAX_FILE_SIZE = 100_000 # Фильтр находок MIN_CONFIDENCE = 0.7 ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} # Паки для backend. Пути проверены по факту (`ls routers/`). PACKS = [ { "name": "routers_games", "paths": [ "routers/game.py", "routers/hints.py", "routers/wordquiz.py", "routers/bubblewords.py", "routers/sentences.py", "routers/typing.py", "routers/pronunciation.py", ], "description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation", }, { "name": "routers_learning", "paths": [ "routers/learning.py", "routers/learning_profile.py", "routers/teacher.py", "routers/orchestrator.py", "routers/learning_data/", ], "description": "Уроки: learning, teacher, orchestrator, learning_data", }, { "name": "routers_admin", "paths": [ "routers/admin.py", "routers/admin_content.py", "routers/feed.py", "routers/support.py", ], "description": "Админ: dashboard, content editor, feed, support", }, { "name": "routers_misc", "paths": [ "routers/achievements.py", "routers/users.py", "routers/leaderboard.py", "routers/assistant.py", "routers/tts.py", ], "description": "Прочее: achievements, users, leaderboard, assistant, tts", }, { "name": "core", "paths": ["main.py", "database.py", "auth.py", "config.py", "bot.py"], "description": "Ядро: main (rate limiter, CORS), database (схема), auth (HMAC), config", }, { "name": "services", "paths": ["scripts/"], "description": "Скрипты автоматизации", }, ] # ============ Проверка окружения ============ def check_env() -> None: missing = [] if not TOGETHER_API_KEY: missing.append("TOGETHER_API_KEY") if not GITEA_BOT_TOKEN: missing.append("BOT_TOKEN") if missing: print(f"❌ Отсутствуют переменные окружения: {', '.join(missing)}", file=sys.stderr) sys.exit(1) # ============ Сбор кода одного пака ============ def read_file(path: Path, repo_root: Path) -> tuple[str, str] | None: """Читает один файл. Возвращает (относительный_путь, содержимое) или None.""" try: content = path.read_text(encoding="utf-8") except Exception as e: print(f"⚠️ Не прочитал {path.relative_to(repo_root)}: {e}", file=sys.stderr) return None if len(content) > MAX_FILE_SIZE: print(f"⚠️ Пропущен большой файл: {path.relative_to(repo_root)} ({len(content)} символов)", file=sys.stderr) return None rel_str = str(path.relative_to(repo_root)).replace("\\", "/") return rel_str, content def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]: """Собирает файлы одного пака. Возвращает (текст, словарь {путь: содержимое}).""" chunks: list[str] = [] files_map: dict[str, str] = {} total_size = 0 for path_pattern in pack["paths"]: target = repo_root / path_pattern if not target.exists(): continue if target.is_file(): result = read_file(target, repo_root) if result: rel_str, content = result chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n") files_map[rel_str] = content total_size += len(content) else: for f in sorted(target.rglob("*")): if not f.is_file(): continue if f.suffix not in INCLUDE_EXTENSIONS: continue if f.name in IGNORE_FILES: continue if any(part in IGNORE_DIRS for part in f.relative_to(repo_root).parts): continue result = read_file(f, repo_root) if result: rel_str, content = result chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n") files_map[rel_str] = content total_size += len(content) print(f" 📦 Пак '{pack['name']}': {len(files_map)} файлов, {total_size:,} символов") return "\n".join(chunks), files_map # ============ Промпт для модели ============ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python-кода (FastAPI, asyncpg, PostgreSQL). Твоя задача — проанализировать код и вернуть СТРОГО JSON-массив находок. ФОРМАТ ОТВЕТА (только JSON, без markdown, без пояснений): [ { "id": "КРАТКОЕ_ИМЯ_БАГА", "file": "routers/hints.py", "line": 20, "snippet": "точное цитирование 1-3 строк из файла", "severity": "user_impact", "user_effect": "что видит ученик: подсказка не списывается, очки завышены", "repro": "открыть игру → взять подсказку → hints_used в БД не растёт", "fix_hint": "UPDATE ... hints_used = hints_used + 1 в той же транзакции", "confidence": 0.86 } ] ПРАВИЛА: 1. severity — только одно из: "user_impact", "data_risk", "maintainability". - user_impact: ученик видит баг, теряет прогресс, очки, доступ - data_risk: порча БД, утечка, неверный auth/rate-limit - maintainability: запах, дубль, устаревший API 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку. 3. confidence — число от 0 до 1. Если меньше 0.7 — не включай. 4. Максимум 10 находок за этот пак. 5. НЕ переписывай код. Только описывай, что не так и что сделать. 6. Без воды. Без общих слов. 7. Если проблем нет — верни пустой массив: [] Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив. """ USER_PROMPT_TEMPLATE = """Проанализируй часть кода проекта Filwords PL (backend). Это FastAPI + PostgreSQL + asyncpg. Пак: **{pack_name}** — {pack_description} Ищи: 1. Баги и логические ошибки 2. Проблемы безопасности (утечки, инъекции, неправильная валидация) 3. N+1 запросы к БД 4. Отсутствие обработки ошибок 5. Дублирование кода 6. Мёртвый код 7. Слабые места архитектуры Верни JSON-массив находок по формату выше. Вот код: {code} """ # ============ Запрос к Together AI ============ def call_together(code: str, pack: dict) -> str: """Отправляет код пака в DeepSeek V4.1 Flash.""" print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...") user_prompt = USER_PROMPT_TEMPLATE.format( pack_name=pack["name"], pack_description=pack["description"], code=code, ) response = httpx.post( "https://api.together.xyz/v1/chat/completions", headers={ "Authorization": f"Bearer {TOGETHER_API_KEY}", "Content-Type": "application/json", }, json={ "model": MODEL, "messages": [ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": user_prompt}, ], "max_tokens": MAX_OUTPUT_TOKENS, "temperature": 0.2, # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию # думает перед ответом. На сложных/больших паках весь # max_tokens уходит в thinking, content остаётся пустым, # finish_reason="length" — находки терялись целиком. # Задаче нужна строгая экстракция, а не рассуждения, поэтому # reasoning выключаем явно. "reasoning": {"enabled": False}, }, timeout=300.0, ) if response.status_code != 200: print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr) print(f" Ответ: {response.text[:500]}", file=sys.stderr) return "" data = response.json() try: message = data["choices"][0]["message"] result = message.get("content") if not result: # 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content # убран. Он был источником "Ошибка парсинга JSON" — туда # попадал сырой текст рассуждений модели, а не JSON, и # extract_json пытался распарсить мусор. Теперь при пустом # content просто считаем, что пак не дал результата. raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: print(f" ❌ Формат ответа: {e}", file=sys.stderr) return "" usage = data.get("usage", {}) finish = data["choices"][0].get("finish_reason", "unknown") print( f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, " f"выход={usage.get('completion_tokens', 0)}, finish={finish}" ) if finish == "length": print( f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — " f"пробуем спасти то, что успело сгенериться", file=sys.stderr, ) return result # ============ Парсинг и фильтрация JSON ============ def extract_json(text: str) -> list[dict]: """Извлекает находки из ответа модели. 🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON весь пак терял ВСЕ находки — json.loads() падал на всём массиве целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode) и останавливаемся на первом, который не удалось распарсить — то есть спасаем всё, что модель успела сгенерить до обрезки. """ if not text: return [] text = text.strip() if text.startswith("```"): text = re.sub(r"^```(?:json)?\s*", "", text) text = re.sub(r"\s*```$", "", text) start = text.find("[") if start == -1: print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr) return [] decoder = json.JSONDecoder() idx, n = start + 1, len(text) results: list[dict] = [] while idx < n: while idx < n and text[idx] in " \t\n\r,": idx += 1 if idx >= n or text[idx] == "]": break try: obj, end = decoder.raw_decode(text, idx) except json.JSONDecodeError: # Дальше — обрезанный объект (ответ упёрся в max_tokens). # Останавливаемся, но не теряем то, что уже успели распарсить. break if isinstance(obj, dict): results.append(obj) idx = end if not results: print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr) elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start: pass # на всякий случай, не используется — оставлено для ясности логики выше return results def validate_and_filter( findings: list[dict], files_map: dict[str, str], ) -> tuple[list[dict], dict[str, int]]: """Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.7, severity валидна.""" stats = { "total": len(findings), "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, } passed: list[dict] = [] for f in findings: if not isinstance(f, dict): continue file_path = (f.get("file") or "").strip().replace("\\", "/") snippet = (f.get("snippet") or "").strip() severity = (f.get("severity") or "").strip().lower() confidence = f.get("confidence", 0) if file_path not in files_map: stats["no_file"] += 1 continue if not snippet or snippet not in files_map[file_path]: stats["snippet_mismatch"] += 1 continue if severity not in ALLOWED_SEVERITY: stats["bad_severity"] += 1 continue try: conf_val = float(confidence) except (TypeError, ValueError): conf_val = 0 if conf_val < MIN_CONFIDENCE: stats["low_confidence"] += 1 continue if severity in ("user_impact", "data_risk"): if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip(): stats["no_effect_or_repro"] += 1 continue passed.append(f) stats["passed"] += 1 return passed, stats # ============ Форматирование Issue ============ SEVERITY_EMOJI = {"user_impact": "🔴", "data_risk": "🟠", "maintainability": "🟡"} SEVERITY_LABEL = { "user_impact": "Влияет на ученика", "data_risk": "Риск для данных", "maintainability": "Качество кода", } def format_issue_body( all_findings: list[dict], pack_stats: list[dict], total_stats: dict[str, int], date_str: str, ) -> str: """Формирует markdown-тело Issue.""" lines: list[str] = [] lines.append("# 🤖 AI Code Review (Backend)") lines.append("") lines.append(f"**Дата:** {date_str}") lines.append(f"**Модель:** `{MODEL}`") lines.append(f"**Репозиторий:** `{GITEA_REPO}`") lines.append("") lines.append("## 📊 По пакам") lines.append("") for ps in pack_stats: lines.append(f"- **{ps['name']}** — {ps['files']} файлов, " f"{ps['symbols']:,} символов, находок={ps['findings']}") lines.append("") lines.append("---") lines.append("") if not all_findings: lines.append("✅ **После фильтрации не осталось находок.**") else: by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []} for f in all_findings: by_severity.setdefault(f.get("severity", "maintainability"), []).append(f) counter = 0 for sev in ["user_impact", "data_risk", "maintainability"]: items = by_severity.get(sev, []) if not items: continue lines.append(f"## {SEVERITY_EMOJI[sev]} {SEVERITY_LABEL[sev]} ({len(items)})") lines.append("") for f in items: counter += 1 lines.append(f"### {counter}. {f.get('id', 'без имени')}") lines.append("") lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`") lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`") lines.append(f"- **Проблема:** {f.get('user_effect', '—')}") lines.append(f"- **Как воспроизвести:** {f.get('repro', '—')}") lines.append(f"- **Что сделать:** {f.get('fix_hint', '—')}") lines.append(f"- **Confidence:** {f.get('confidence', '?')}") lines.append("") lines.append("---") lines.append("") lines.append(f"**Итого:** всего находок={total_stats['total']}, " f"snippet не совпал={total_stats['snippet_mismatch']}, " f"низкий confidence={total_stats['low_confidence']}, " f"прошло={total_stats['passed']}") lines.append("") lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._") return "\n".join(lines) # ============ Создание Issue в Gitea ============ def create_issue(title: str, body: str) -> str: """Создаёт Issue в Gitea, возвращает URL.""" print("📝 Создаю Issue в Gitea...") response = httpx.post( f"{GITEA_INSTANCE}/api/v1/repos/{GITEA_REPO}/issues", headers={ "Authorization": f"token {GITEA_BOT_TOKEN}", "Content-Type": "application/json", }, json={"title": title, "body": body}, timeout=30.0, ) if response.status_code not in (200, 201): print(f"❌ Gitea вернул {response.status_code}: {response.text[:500]}", file=sys.stderr) sys.exit(1) data = response.json() issue_url = data.get("html_url", "") print(f"✅ Issue создан: {issue_url}") return issue_url # ============ Main ============ def main() -> None: check_env() repo_root = Path(".").resolve() print(f"📁 Репозиторий: {repo_root}") all_passed: list[dict] = [] pack_stats: list[dict] = [] total_stats = { "total": 0, "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, } for pack in PACKS: print(f"\n📦 Обрабатываю пак: {pack['name']}") code, files_map = collect_pack(repo_root, pack) if not code: print(f" ⚠️ Пак '{pack['name']}' пуст — пропускаю") pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0}) continue raw = call_together(code, pack) findings = extract_json(raw) filtered, stats = validate_and_filter(findings, files_map) all_passed.extend(filtered) for k in total_stats: total_stats[k] += stats.get(k, 0) pack_stats.append({ "name": pack["name"], "files": len(files_map), "symbols": sum(len(c) for c in files_map.values()), "findings": len(filtered), }) print(f" ✅ Пак '{pack['name']}': прошло фильтр {stats['passed']} из {stats['total']}") print(f"\n📊 ИТОГО: прошло фильтр {total_stats['passed']} из {total_stats['total']}") date_str = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M UTC") title = f"🤖 AI Review (backend): {total_stats['passed']} задач ({date_str})" body = format_issue_body(all_passed, pack_stats, total_stats, date_str) create_issue(title, body) print("🎉 Готово!") if __name__ == "__main__": main()