From 7905cbf1819088ed15eb705dc83cd6fbb2c8fad3 Mon Sep 17 00:00:00 2001 From: Drobysh Date: Mon, 21 Sep 2026 17:07:07 +0000 Subject: [PATCH] =?UTF-8?q?feat(ai-review):=20JSON-=D0=BA=D0=BE=D0=BD?= =?UTF-8?q?=D1=82=D1=80=D0=B0=D0=BA=D1=82=20+=20snippet-=D0=BF=D1=80=D0=BE?= =?UTF-8?q?=D0=B2=D0=B5=D1=80=D0=BA=D0=B0=20+=20=D1=84=D0=B8=D0=BB=D1=8C?= =?UTF-8?q?=D1=82=D1=80=20confidence=20(21.09.2026)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- scripts/ai_review.py | 318 +++++++++++++++++++++++++++++++++++-------- 1 file changed, 265 insertions(+), 53 deletions(-) diff --git a/scripts/ai_review.py b/scripts/ai_review.py index 6d7c9b2..121d5d9 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -1,18 +1,21 @@ #!/usr/bin/env python3 """ -AI Code Review for Filwords PL Backend +AI Code Review for Filwords PL Backend (JSON-контракт) Читает Python-файлы проекта, отправляет в DeepSeek V4.1 Flash (Together AI), -получает структурированное ТЗ и создаёт Issue в Gitea. +получает структурированный JSON с находками, проверяет snippet по диску, +фильтрует по confidence и создаёт Issue в Gitea. Запускается через Gitea Actions (workflow_dispatch — вручную из UI). (20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам. -(20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content -(DeepSeek V4.1 Flash — reasoning-модель, тратит много токенов на размышления). +(20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content. +(21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence. """ +import json import os +import re import sys from datetime import datetime from pathlib import Path @@ -47,6 +50,11 @@ INCLUDE_EXTENSIONS = {".py"} # Максимальный размер одного файла (символов) — большие контент-файлы пропускаем MAX_FILE_SIZE = 100_000 +# 🔧 НОВОЕ (21.09.2026): фильтр находок +MIN_CONFIDENCE = 0.7 +ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} +ALLOWED_EXTENSIONS = {".py"} + # ============ Проверка окружения ============ @@ -63,9 +71,14 @@ def check_env() -> None: # ============ Сбор кода ============ -def collect_code(repo_root: Path) -> str: - """Собирает все .py файлы в один текст с заголовками.""" +def collect_code(repo_root: Path) -> tuple[str, dict[str, str]]: + """ + Собирает все .py файлы в один текст с заголовками. + Возвращает (собранный_текст, словарь {относительный_путь: содержимое}). + Словарь нужен для snippet-проверки. + """ chunks: list[str] = [] + files_map: dict[str, str] = {} total_files = 0 total_size = 0 @@ -91,45 +104,51 @@ def collect_code(repo_root: Path) -> str: print(f"⚠️ Пропущен большой файл: {rel} ({len(content)} символов)", file=sys.stderr) continue - chunks.append(f"### FILE: {rel}\n```python\n{content}\n```\n") + rel_str = str(rel).replace("\\", "/") + chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n") + files_map[rel_str] = content total_files += 1 total_size += len(content) print(f"📂 Собрано файлов: {total_files}, символов: {total_size:,}") - return "\n".join(chunks) + return "\n".join(chunks), files_map # ============ Промпт для модели ============ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python-кода (FastAPI, asyncpg, PostgreSQL). -Твоя задача — проанализировать код и выдать СТРУКТУРИРОВАННОЕ ТЗ для разработчика. +Твоя задача — проанализировать код и вернуть СТРОГО JSON-массив находок. + +ФОРМАТ ОТВЕТА (только JSON, без markdown, без пояснений): + +[ + { + "id": "КРАТКОЕ_ИМЯ_БАГА", + "file": "routers/hints.py", + "line": 20, + "snippet": "точное цитирование 1-3 строк из файла", + "severity": "user_impact", + "user_effect": "что видит ученик: подсказка не списывается, очки завышены", + "repro": "открыть игру → взять подсказку → hints_used в БД не растёт", + "fix_hint": "UPDATE ... hints_used = hints_used + 1 в той же транзакции", + "confidence": 0.86 + } +] ПРАВИЛА: -1. НЕ переписывай код. Только описывай, что не так и что сделать. -2. Каждый пункт — КОНКРЕТНЫЙ: файл → строка/функция → проблема → что сделать. -3. Без воды. Без общих слов. Без объяснений «что такое XSS» — только факт и фикс. -4. Приоритеты: 🔴 критично / 🟡 важно / 🟢 желательно. -5. Если проблем мало — лучше меньше пунктов, но точных. -6. Максимум 20 пунктов — только самое важное. +1. severity — только одно из: "user_impact", "data_risk", "maintainability". + - user_impact: ученик видит баг, теряет прогресс, очки, доступ + - data_risk: порча БД, утечка, неверный auth/rate-limit + - maintainability: запах, дубль, устаревший API +2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку. +3. confidence — число от 0 до 1. Если меньше 0.7 — не включай. +4. Максимум 15 находок. Только самое важное. +5. НЕ переписывай код. Только описывай, что не так и что сделать. +6. Без воды. Без общих слов. +7. Если проблем нет — верни пустой массив: [] -ФОРМАТ ОТВЕТА (markdown): - -## 🔴 Критично - -### 1. [короткое название] -- **Файл:** `path/to/file.py:123` -- **Проблема:** что не так -- **Что сделать:** конкретное действие -- **Критерий:** как проверить, что исправлено - -## 🟡 Важно -(то же самое) - -## 🟢 Желательно -(то же самое) - -Если проблем нет — напиши: "✅ Критичных проблем не найдено". +Отвечай ТОЛЬКО JSON, без markdown-обёрток. """ @@ -150,6 +169,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй код проекта Filwo 6. Мёртвый код 7. Слабые места архитектуры +Верни JSON-массив находок по формату выше. + Вот код: {code} @@ -177,7 +198,7 @@ def call_together(code: str) -> str: {"role": "user", "content": user_prompt}, ], "max_tokens": MAX_OUTPUT_TOKENS, - "temperature": 0.3, + "temperature": 0.2, }, timeout=300.0, ) @@ -194,8 +215,6 @@ def call_together(code: str) -> str: result = message.get("content") # 🔧 ФИКС (20.09.2026): если content пустой — используем reasoning_content. - # DeepSeek V4.1 Flash — reasoning-модель, может уйти в размышления - # и не выдать финальный ответ. Тогда берём reasoning. if not result: result = message.get("reasoning_content") @@ -217,6 +236,201 @@ def call_together(code: str) -> str: return result +# ============ Парсинг и фильтрация JSON ============ + +def extract_json(text: str) -> list[dict]: + """ + Извлекает JSON-массив из ответа модели. + Модель может обернуть в ```json ... ``` или добавить текст — чистим. + """ + # Убираем markdown-обёртки + text = text.strip() + if text.startswith("```"): + # Убираем ```json в начале и ``` в конце + text = re.sub(r"^```(?:json)?\s*", "", text) + text = re.sub(r"\s*```$", "", text) + + # Ищем JSON-массив + start = text.find("[") + end = text.rfind("]") + if start == -1 or end == -1 or end < start: + print(f"⚠️ Не найден JSON-массив в ответе. Первые 500 символов:\n{text[:500]}", file=sys.stderr) + return [] + + json_str = text[start:end + 1] + + try: + parsed = json.loads(json_str) + if not isinstance(parsed, list): + print(f"⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr) + return [] + return parsed + except json.JSONDecodeError as e: + print(f"⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr) + print(f"Первые 500 символов JSON:\n{json_str[:500]}", file=sys.stderr) + return [] + + +def validate_and_filter( + findings: list[dict], + files_map: dict[str, str], +) -> tuple[list[dict], dict[str, int]]: + """ + Фильтрует находки: + - файл существует + - расширение разрешено + - snippet реально есть в файле + - severity валидна + - confidence >= MIN_CONFIDENCE + - есть user_effect и repro (для user_impact и data_risk) + Возвращает (отфильтрованные, статистика). + """ + stats = { + "total": len(findings), + "no_file": 0, + "bad_ext": 0, + "no_snippet": 0, + "snippet_mismatch": 0, + "bad_severity": 0, + "low_confidence": 0, + "no_effect_or_repro": 0, + "passed": 0, + } + passed: list[dict] = [] + + for f in findings: + if not isinstance(f, dict): + continue + + file_path = (f.get("file") or "").strip().replace("\\", "/") + snippet = (f.get("snippet") or "").strip() + severity = (f.get("severity") or "").strip().lower() + confidence = f.get("confidence", 0) + + # Файл существует? + if file_path not in files_map: + stats["no_file"] += 1 + print(f" ⏭ Отброшено (нет файла): {file_path}") + continue + + # Расширение? + ext = "." + file_path.rsplit(".", 1)[-1] if "." in file_path else "" + if ext not in ALLOWED_EXTENSIONS: + stats["bad_ext"] += 1 + print(f" ⏭ Отброшено (расширение {ext}): {file_path}") + continue + + # Snippet есть? + if not snippet: + stats["no_snippet"] += 1 + print(f" ⏭ Отброшено (нет snippet): {file_path}") + continue + + # Snippet реально есть в файле? + file_content = files_map[file_path] + if snippet not in file_content: + stats["snippet_mismatch"] += 1 + print(f" ⏭ Отброшено (snippet не найден): {file_path}") + continue + + # Severity? + if severity not in ALLOWED_SEVERITY: + stats["bad_severity"] += 1 + print(f" ⏭ Отброшено (severity={severity}): {file_path}") + continue + + # Confidence? + try: + conf_val = float(confidence) + except (TypeError, ValueError): + conf_val = 0 + if conf_val < MIN_CONFIDENCE: + stats["low_confidence"] += 1 + print(f" ⏭ Отброшено (confidence={conf_val}): {file_path}") + continue + + # Для user_impact и data_risk нужны user_effect и repro + if severity in ("user_impact", "data_risk"): + if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip(): + stats["no_effect_or_repro"] += 1 + print(f" ⏭ Отброшено (нет user_effect/repro): {file_path}") + continue + + # Прошло + passed.append(f) + stats["passed"] += 1 + + return passed, stats + + +# ============ Форматирование Issue ============ + +SEVERITY_EMOJI = { + "user_impact": "🔴", + "data_risk": "🟠", + "maintainability": "🟡", +} + +SEVERITY_LABEL = { + "user_impact": "Влияет на ученика", + "data_risk": "Риск для данных", + "maintainability": "Качество кода", +} + + +def format_issue_body(findings: list[dict], stats: dict[str, int], date_str: str) -> str: + """Формирует markdown-тело Issue из отфильтрованных находок.""" + lines: list[str] = [] + lines.append(f"# 🤖 AI Code Review") + lines.append("") + lines.append(f"**Дата:** {date_str}") + lines.append(f"**Модель:** `{MODEL}`") + lines.append(f"**Репозиторий:** `{GITEA_REPO}`") + lines.append("") + lines.append("---") + lines.append("") + + if not findings: + lines.append("✅ **После фильтрации не осталось находок.**") + lines.append("") + lines.append("_Модель либо не нашла реальных проблем, либо все находки отброшены фильтром (нет файла, snippet не совпал, confidence < 0.7)._") + else: + # Группируем по severity + by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []} + for f in findings: + sev = f.get("severity", "maintainability") + by_severity.setdefault(sev, []).append(f) + + counter = 0 + for sev in ["user_impact", "data_risk", "maintainability"]: + items = by_severity.get(sev, []) + if not items: + continue + lines.append(f"## {SEVERITY_EMOJI[sev]} {SEVERITY_LABEL[sev]} ({len(items)})") + lines.append("") + for f in items: + counter += 1 + lines.append(f"### {counter}. {f.get('id', 'без имени')}") + lines.append("") + lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`") + lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`") + lines.append(f"- **Проблема:** {f.get('user_effect', '—')}") + lines.append(f"- **Как воспроизвести:** {f.get('repro', '—')}") + lines.append(f"- **Что сделать:** {f.get('fix_hint', '—')}") + lines.append(f"- **Confidence:** {f.get('confidence', '?')}") + lines.append("") + + lines.append("---") + lines.append("") + lines.append(f"**Статистика фильтрации:** всего={stats['total']}, " + f"нет файла={stats['no_file']}, snippet не совпал={stats['snippet_mismatch']}, " + f"низкий confidence={stats['low_confidence']}, прошло={stats['passed']}") + lines.append("") + lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._") + + return "\n".join(lines) + + # ============ Создание Issue в Gitea ============ def create_issue(title: str, body: str) -> str: @@ -254,30 +468,28 @@ def main() -> None: repo_root = Path(".").resolve() print(f"📁 Репозиторий: {repo_root}") - code = collect_code(repo_root) + code, files_map = collect_code(repo_root) if not code: print("❌ Не найдено файлов для анализа", file=sys.stderr) sys.exit(1) - analysis = call_together(code) + raw_response = call_together(code) + # Парсим JSON + findings = extract_json(raw_response) + print(f"📊 Модель вернула находок: {len(findings)}") + + # Фильтруем + filtered, stats = validate_and_filter(findings, files_map) + print(f"✅ Прошло фильтр: {stats['passed']} из {stats['total']}") + print(f" Отброшено: файл={stats['no_file']}, snippet={stats['snippet_mismatch']}, " + f"confidence={stats['low_confidence']}, severity={stats['bad_severity']}, " + f"нет эффекта={stats['no_effect_or_repro']}") + + # Формируем Issue date_str = datetime.utcnow().strftime("%Y-%m-%d %H:%M UTC") - title = f"🤖 AI Review: список задач ({date_str})" - - body = f"""# 🤖 AI Code Review - -**Дата:** {date_str} -**Модель:** `{MODEL}` -**Репозиторий:** `{GITEA_REPO}` - ---- - -{analysis} - ---- - -_Этот Issue создан автоматически. Исправления делаются вручную._ -""" + title = f"🤖 AI Review: {stats['passed']} задач ({date_str})" + body = format_issue_body(filtered, stats, date_str) create_issue(title, body) print("🎉 Готово!")