fix(ai-review): пак-подход для backend — 3 пака (22.09.2026)

This commit is contained in:
2026-09-22 19:10:34 +00:00
parent c4121005f9
commit 9b2f466e00
+166 -163
View File
@@ -1,23 +1,22 @@
#!/usr/bin/env python3 #!/usr/bin/env python3
""" """
AI Code Review for Filwords PL Backend (JSON-контракт) AI Code Review for Filwords PL Backend (JSON-контракт + пак-подход)
Читает Python-файлы проекта, отправляет в DeepSeek V4.1 Flash (Together AI), Backend слишком большой (~440K символов) для одного запроса — модель уходит
получает структурированный JSON с находками, проверяет snippet по диску, в reasoning и не успевает выдать JSON. Решение: разбиваем файлы на 3 пака
фильтрует по confidence и создаёт Issue в Gitea. по папкам, делаем отдельный запрос на каждый пак, объединяем находки.
Запускается через Gitea Actions (workflow_dispatch — вручную из UI).
(20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам. (20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам.
(20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content. (20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content.
(21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence. (21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence.
(22.09.2026, вечер) Пак-подход: 3 пака (routers, core, services+scripts).
""" """
import json import json
import os import os
import re import re
import sys import sys
from datetime import datetime from datetime import datetime, timezone
from pathlib import Path from pathlib import Path
import httpx import httpx
@@ -31,29 +30,50 @@ GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
MAX_OUTPUT_TOKENS = 12000
# 🔧 ФИКС (20.09.2026): было 4000 — DeepSeek V4.1 Flash тратит ~4000 на reasoning,
# не оставляя токенов на финальный ответ. 16000 хватает с запасом.
MAX_OUTPUT_TOKENS = 16000
# Что игнорировать при сборе кода # Что игнорировать при сборе кода
IGNORE_DIRS = { IGNORE_DIRS = {
"venv", ".venv", "__pycache__", ".git", ".gitea", "venv", ".venv", "__pycache__", ".git", ".gitea",
"tests", "archive", "uploads", "tts_cache", "tests", "archive", "uploads", "tts_cache",
"node_modules", "dist", "node_modules", "dist", "learning_data",
}
IGNORE_FILES = {
"ai_review.py", "conftest.py", "code_summary.py",
"add_levels.py", "generate_levels_v2.py",
} }
IGNORE_FILES = {"ai_review.py", "conftest.py"}
# Расширения, которые читаем # Расширения, которые читаем
INCLUDE_EXTENSIONS = {".py"} INCLUDE_EXTENSIONS = {".py"}
# Максимальный размер одного файла (символов) — большие контент-файлы пропускаем # Максимальный размер одного файла (символов)
MAX_FILE_SIZE = 100_000 MAX_FILE_SIZE = 100_000
# 🔧 НОВОЕ (21.09.2026): фильтр находок # Фильтр находок
MIN_CONFIDENCE = 0.7 MIN_CONFIDENCE = 0.7
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
ALLOWED_EXTENSIONS = {".py"}
# 🔧 НОВОЕ (22.09.2026): паки для backend
# Backend ~440K символов — не влезает в один запрос (finish=length).
# Разбиваем на 3 пака. Каждый пак — отдельный запрос к модели.
PACKS = [
{
"name": "routers",
"paths": ["routers/"],
"description": "FastAPI-роутеры: эндпоинты, бизнес-логика, работа с БД",
},
{
"name": "core",
"paths": ["main.py", "database.py", "auth.py", "config.py", "bot.py"],
"description": "Ядро: main (rate limiter, CORS), database (схема), auth (HMAC), config",
},
{
"name": "services",
"paths": ["services/", "scripts/"],
"description": "Сервисы и скрипты автоматизации",
},
]
# ============ Проверка окружения ============ # ============ Проверка окружения ============
@@ -69,48 +89,62 @@ def check_env() -> None:
sys.exit(1) sys.exit(1)
# ============ Сбор кода ============ # ============ Сбор кода одного пака ============
def collect_code(repo_root: Path) -> tuple[str, dict[str, str]]:
"""
Собирает все .py файлы в один текст с заголовками.
Возвращает (собранный_текст, словарь {относительный_путь: содержимое}).
Словарь нужен для snippet-проверки.
"""
chunks: list[str] = []
files_map: dict[str, str] = {}
total_files = 0
total_size = 0
for path in sorted(repo_root.rglob("*")):
if not path.is_file():
continue
if path.suffix not in INCLUDE_EXTENSIONS:
continue
rel = path.relative_to(repo_root)
if any(part in IGNORE_DIRS for part in rel.parts):
continue
if path.name in IGNORE_FILES:
continue
def read_file(path: Path, repo_root: Path) -> tuple[str, str] | None:
"""Читает один файл. Возвращает (относительный_путь, содержимое) или None."""
try: try:
content = path.read_text(encoding="utf-8") content = path.read_text(encoding="utf-8")
except Exception as e: except Exception as e:
print(f"⚠️ Не прочитал {rel}: {e}", file=sys.stderr) print(f"⚠️ Не прочитал {path.relative_to(repo_root)}: {e}", file=sys.stderr)
continue return None
if len(content) > MAX_FILE_SIZE: if len(content) > MAX_FILE_SIZE:
print(f"⚠️ Пропущен большой файл: {rel} ({len(content)} символов)", file=sys.stderr) print(f"⚠️ Пропущен большой файл: {path.relative_to(repo_root)} ({len(content)} символов)", file=sys.stderr)
return None
rel_str = str(path.relative_to(repo_root)).replace("\\", "/")
return rel_str, content
def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]:
"""Собирает файлы одного пака. Возвращает (текст, словарь {путь: содержимое})."""
chunks: list[str] = []
files_map: dict[str, str] = {}
total_size = 0
for path_pattern in pack["paths"]:
target = repo_root / path_pattern
if not target.exists():
continue continue
rel_str = str(rel).replace("\\", "/") if target.is_file():
result = read_file(target, repo_root)
if result:
rel_str, content = result
chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n")
files_map[rel_str] = content
total_size += len(content)
else:
for f in sorted(target.rglob("*")):
if not f.is_file():
continue
if f.suffix not in INCLUDE_EXTENSIONS:
continue
if f.name in IGNORE_FILES:
continue
if any(part in IGNORE_DIRS for part in f.relative_to(repo_root).parts):
continue
result = read_file(f, repo_root)
if result:
rel_str, content = result
chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n") chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n")
files_map[rel_str] = content files_map[rel_str] = content
total_files += 1
total_size += len(content) total_size += len(content)
print(f"📂 Собрано файлов: {total_files}, символов: {total_size:,}") print(f" 📦 Пак '{pack['name']}': {len(files_map)} файлов, {total_size:,} символов")
return "\n".join(chunks), files_map return "\n".join(chunks), files_map
@@ -143,7 +177,7 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python
- maintainability: запах, дубль, устаревший API - maintainability: запах, дубль, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку. 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку.
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай. 3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
4. Максимум 15 находок. Только самое важное. 4. Максимум 10 находок за этот пак.
5. НЕ переписывай код. Только описывай, что не так и что сделать. 5. НЕ переписывай код. Только описывай, что не так и что сделать.
6. Без воды. Без общих слов. 6. Без воды. Без общих слов.
7. Если проблем нет — верни пустой массив: [] 7. Если проблем нет — верни пустой массив: []
@@ -152,13 +186,11 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python
""" """
USER_PROMPT_TEMPLATE = """Проанализируй код проекта Filwords PL (backend). USER_PROMPT_TEMPLATE = """Проанализируй часть кода проекта Filwords PL (backend).
Это FastAPI + PostgreSQL + asyncpg. Есть: Это FastAPI + PostgreSQL + asyncpg.
- routers/ — эндпоинты
- services/ — бизнес-логика Пак: **{pack_name}** — {pack_description}
- database.py — схема БД
- auth.py — HMAC-SHA256 initData
Ищи: Ищи:
1. Баги и логические ошибки 1. Баги и логические ошибки
@@ -179,11 +211,15 @@ USER_PROMPT_TEMPLATE = """Проанализируй код проекта Filwo
# ============ Запрос к Together AI ============ # ============ Запрос к Together AI ============
def call_together(code: str) -> str: def call_together(code: str, pack: dict) -> str:
"""Отправляет код в DeepSeek V4.1 Flash, возвращает текст ответа.""" """Отправляет код пака в DeepSeek V4.1 Flash."""
print("🤖 Отправляю код в DeepSeek V4.1 Flash...") print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...")
user_prompt = USER_PROMPT_TEMPLATE.format(code=code) user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"],
pack_description=pack["description"],
code=code,
)
response = httpx.post( response = httpx.post(
"https://api.together.xyz/v1/chat/completions", "https://api.together.xyz/v1/chat/completions",
@@ -205,32 +241,27 @@ def call_together(code: str) -> str:
if response.status_code != 200: if response.status_code != 200:
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr) print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
print(f"Ответ: {response.text[:1000]}", file=sys.stderr) print(f" Ответ: {response.text[:500]}", file=sys.stderr)
sys.exit(1) return ""
data = response.json() data = response.json()
try: try:
message = data["choices"][0]["message"] message = data["choices"][0]["message"]
result = message.get("content") result = message.get("content")
# 🔧 ФИКС (20.09.2026): если content пустой — используем reasoning_content.
if not result: if not result:
result = message.get("reasoning_content") result = message.get("reasoning_content")
if not result: if not result:
raise KeyError("и content, и reasoning_content пустые") raise KeyError("пусто")
except (KeyError, IndexError, TypeError) as e: except (KeyError, IndexError, TypeError) as e:
print(f"❌ Неожиданный формат ответа: {e}", file=sys.stderr) print(f" ❌ Формат ответа: {e}", file=sys.stderr)
print(f"Полный ответ: {data}", file=sys.stderr) return ""
sys.exit(1)
usage = data.get("usage", {}) usage = data.get("usage", {})
finish = data["choices"][0].get("finish_reason", "unknown") finish = data["choices"][0].get("finish_reason", "unknown")
print( print(
f"✅ Ответ получен. Токены: вход={usage.get('prompt_tokens', 0)}, " f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
f"выход={usage.get('completion_tokens', 0)}, " f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
f"finish={finish}"
) )
return result return result
@@ -239,22 +270,18 @@ def call_together(code: str) -> str:
# ============ Парсинг и фильтрация JSON ============ # ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]: def extract_json(text: str) -> list[dict]:
""" """Извлекает JSON-массив из ответа модели."""
Извлекает JSON-массив из ответа модели. if not text:
Модель может обернуть в ```json ... ``` или добавить текст — чистим. return []
"""
# Убираем markdown-обёртки
text = text.strip() text = text.strip()
if text.startswith("```"): if text.startswith("```"):
# Убираем ```json в начале и ``` в конце
text = re.sub(r"^```(?:json)?\s*", "", text) text = re.sub(r"^```(?:json)?\s*", "", text)
text = re.sub(r"\s*```$", "", text) text = re.sub(r"\s*```$", "", text)
# Ищем JSON-массив
start = text.find("[") start = text.find("[")
end = text.rfind("]") end = text.rfind("]")
if start == -1 or end == -1 or end < start: if start == -1 or end == -1 or end < start:
print(f"⚠️ Не найден JSON-массив в ответе. Первые 500 символов:\n{text[:500]}", file=sys.stderr) print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr)
return [] return []
json_str = text[start:end + 1] json_str = text[start:end + 1]
@@ -267,7 +294,6 @@ def extract_json(text: str) -> list[dict]:
return parsed return parsed
except json.JSONDecodeError as e: except json.JSONDecodeError as e:
print(f" ⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr) print(f" ⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr)
print(f"Первые 500 символов JSON:\n{json_str[:500]}", file=sys.stderr)
return [] return []
@@ -275,26 +301,11 @@ def validate_and_filter(
findings: list[dict], findings: list[dict],
files_map: dict[str, str], files_map: dict[str, str],
) -> tuple[list[dict], dict[str, int]]: ) -> tuple[list[dict], dict[str, int]]:
""" """Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.7, severity валидна."""
Фильтрует находки:
- файл существует
- расширение разрешено
- snippet реально есть в файле
- severity валидна
- confidence >= MIN_CONFIDENCE
- есть user_effect и repro (для user_impact и data_risk)
Возвращает (отфильтрованные, статистика).
"""
stats = { stats = {
"total": len(findings), "total": len(findings),
"no_file": 0, "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
"bad_ext": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
"no_snippet": 0,
"snippet_mismatch": 0,
"bad_severity": 0,
"low_confidence": 0,
"no_effect_or_repro": 0,
"passed": 0,
} }
passed: list[dict] = [] passed: list[dict] = []
@@ -307,56 +318,31 @@ def validate_and_filter(
severity = (f.get("severity") or "").strip().lower() severity = (f.get("severity") or "").strip().lower()
confidence = f.get("confidence", 0) confidence = f.get("confidence", 0)
# Файл существует?
if file_path not in files_map: if file_path not in files_map:
stats["no_file"] += 1 stats["no_file"] += 1
print(f" ⏭ Отброшено (нет файла): {file_path}")
continue continue
# Расширение? if not snippet or snippet not in files_map[file_path]:
ext = "." + file_path.rsplit(".", 1)[-1] if "." in file_path else ""
if ext not in ALLOWED_EXTENSIONS:
stats["bad_ext"] += 1
print(f" ⏭ Отброшено (расширение {ext}): {file_path}")
continue
# Snippet есть?
if not snippet:
stats["no_snippet"] += 1
print(f" ⏭ Отброшено (нет snippet): {file_path}")
continue
# Snippet реально есть в файле?
file_content = files_map[file_path]
if snippet not in file_content:
stats["snippet_mismatch"] += 1 stats["snippet_mismatch"] += 1
print(f" ⏭ Отброшено (snippet не найден): {file_path}")
continue continue
# Severity?
if severity not in ALLOWED_SEVERITY: if severity not in ALLOWED_SEVERITY:
stats["bad_severity"] += 1 stats["bad_severity"] += 1
print(f" ⏭ Отброшено (severity={severity}): {file_path}")
continue continue
# Confidence?
try: try:
conf_val = float(confidence) conf_val = float(confidence)
except (TypeError, ValueError): except (TypeError, ValueError):
conf_val = 0 conf_val = 0
if conf_val < MIN_CONFIDENCE: if conf_val < MIN_CONFIDENCE:
stats["low_confidence"] += 1 stats["low_confidence"] += 1
print(f" ⏭ Отброшено (confidence={conf_val}): {file_path}")
continue continue
# Для user_impact и data_risk нужны user_effect и repro
if severity in ("user_impact", "data_risk"): if severity in ("user_impact", "data_risk"):
if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip(): if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip():
stats["no_effect_or_repro"] += 1 stats["no_effect_or_repro"] += 1
print(f" ⏭ Отброшено (нет user_effect/repro): {file_path}")
continue continue
# Прошло
passed.append(f) passed.append(f)
stats["passed"] += 1 stats["passed"] += 1
@@ -365,12 +351,7 @@ def validate_and_filter(
# ============ Форматирование Issue ============ # ============ Форматирование Issue ============
SEVERITY_EMOJI = { SEVERITY_EMOJI = {"user_impact": "🔴", "data_risk": "🟠", "maintainability": "🟡"}
"user_impact": "🔴",
"data_risk": "🟠",
"maintainability": "🟡",
}
SEVERITY_LABEL = { SEVERITY_LABEL = {
"user_impact": "Влияет на ученика", "user_impact": "Влияет на ученика",
"data_risk": "Риск для данных", "data_risk": "Риск для данных",
@@ -378,28 +359,35 @@ SEVERITY_LABEL = {
} }
def format_issue_body(findings: list[dict], stats: dict[str, int], date_str: str) -> str: def format_issue_body(
"""Формирует markdown-тело Issue из отфильтрованных находок.""" all_findings: list[dict],
pack_stats: list[dict],
total_stats: dict[str, int],
date_str: str,
) -> str:
"""Формирует markdown-тело Issue."""
lines: list[str] = [] lines: list[str] = []
lines.append(f"# 🤖 AI Code Review") lines.append("# 🤖 AI Code Review (Backend)")
lines.append("") lines.append("")
lines.append(f"**Дата:** {date_str}") lines.append(f"**Дата:** {date_str}")
lines.append(f"**Модель:** `{MODEL}`") lines.append(f"**Модель:** `{MODEL}`")
lines.append(f"**Репозиторий:** `{GITEA_REPO}`") lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
lines.append("") lines.append("")
lines.append("## 📊 По пакам")
lines.append("")
for ps in pack_stats:
lines.append(f"- **{ps['name']}** — {ps['files']} файлов, "
f"{ps['symbols']:,} символов, находок={ps['findings']}")
lines.append("")
lines.append("---") lines.append("---")
lines.append("") lines.append("")
if not findings: if not all_findings:
lines.append("✅ **После фильтрации не осталось находок.**") lines.append("✅ **После фильтрации не осталось находок.**")
lines.append("")
lines.append("_Модель либо не нашла реальных проблем, либо все находки отброшены фильтром (нет файла, snippet не совпал, confidence < 0.7)._")
else: else:
# Группируем по severity
by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []} by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []}
for f in findings: for f in all_findings:
sev = f.get("severity", "maintainability") by_severity.setdefault(f.get("severity", "maintainability"), []).append(f)
by_severity.setdefault(sev, []).append(f)
counter = 0 counter = 0
for sev in ["user_impact", "data_risk", "maintainability"]: for sev in ["user_impact", "data_risk", "maintainability"]:
@@ -422,9 +410,10 @@ def format_issue_body(findings: list[dict], stats: dict[str, int], date_str: str
lines.append("---") lines.append("---")
lines.append("") lines.append("")
lines.append(f"**Статистика фильтрации:** всего={stats['total']}, " lines.append(f"**Итого:** всего находок={total_stats['total']}, "
f"нет файла={stats['no_file']}, snippet не совпал={stats['snippet_mismatch']}, " f"snippet не совпал={total_stats['snippet_mismatch']}, "
f"низкий confidence={stats['low_confidence']}, прошло={stats['passed']}") f"низкий confidence={total_stats['low_confidence']}, "
f"прошло={total_stats['passed']}")
lines.append("") lines.append("")
lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._") lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._")
@@ -443,10 +432,7 @@ def create_issue(title: str, body: str) -> str:
"Authorization": f"token {GITEA_BOT_TOKEN}", "Authorization": f"token {GITEA_BOT_TOKEN}",
"Content-Type": "application/json", "Content-Type": "application/json",
}, },
json={ json={"title": title, "body": body},
"title": title,
"body": body,
},
timeout=30.0, timeout=30.0,
) )
@@ -468,28 +454,45 @@ def main() -> None:
repo_root = Path(".").resolve() repo_root = Path(".").resolve()
print(f"📁 Репозиторий: {repo_root}") print(f"📁 Репозиторий: {repo_root}")
code, files_map = collect_code(repo_root) all_passed: list[dict] = []
pack_stats: list[dict] = []
total_stats = {
"total": 0, "no_file": 0, "snippet_mismatch": 0,
"bad_severity": 0, "low_confidence": 0,
"no_effect_or_repro": 0, "passed": 0,
}
for pack in PACKS:
print(f"\n📦 Обрабатываю пак: {pack['name']}")
code, files_map = collect_pack(repo_root, pack)
if not code: if not code:
print("❌ Не найдено файлов для анализа", file=sys.stderr) print(f" ⚠️ Пак '{pack['name']}' пуст — пропускаю")
sys.exit(1) pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
continue
raw_response = call_together(code) raw = call_together(code, pack)
findings = extract_json(raw)
# Парсим JSON
findings = extract_json(raw_response)
print(f"📊 Модель вернула находок: {len(findings)}")
# Фильтруем
filtered, stats = validate_and_filter(findings, files_map) filtered, stats = validate_and_filter(findings, files_map)
print(f"✅ Прошло фильтр: {stats['passed']} из {stats['total']}")
print(f" Отброшено: файл={stats['no_file']}, snippet={stats['snippet_mismatch']}, "
f"confidence={stats['low_confidence']}, severity={stats['bad_severity']}, "
f"нет эффекта={stats['no_effect_or_repro']}")
# Формируем Issue all_passed.extend(filtered)
date_str = datetime.utcnow().strftime("%Y-%m-%d %H:%M UTC") for k in total_stats:
title = f"🤖 AI Review: {stats['passed']} задач ({date_str})" total_stats[k] += stats.get(k, 0)
body = format_issue_body(filtered, stats, date_str)
pack_stats.append({
"name": pack["name"],
"files": len(files_map),
"symbols": sum(len(c) for c in files_map.values()),
"findings": len(filtered),
})
print(f" ✅ Пак '{pack['name']}': прошло фильтр {stats['passed']} из {stats['total']}")
print(f"\n📊 ИТОГО: прошло фильтр {total_stats['passed']} из {total_stats['total']}")
date_str = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M UTC")
title = f"🤖 AI Review (backend): {total_stats['passed']} задач ({date_str})"
body = format_issue_body(all_passed, pack_stats, total_stats, date_str)
create_issue(title, body) create_issue(title, body)
print("🎉 Готово!") print("🎉 Готово!")