Files
filwordspl-backend/scripts/ai_review.py
T
Drobysh cceea8acf8 🔧 AI Review (backend): root cause fix — отключён reasoning
Root cause: DeepSeek-V4.1-Flash по умолчанию reasoning-модель
(reasoning_effort=high). На больших паках весь max_tokens уходил
в thinking → content пустой, finish=length, находки терялись.

Фиксы:
- reasoning: {enabled: False} — не тратить бюджет на thinking
- Убран fallback на reasoning_content (источник 'Ошибка парсинга JSON':
  туда попадал сырой текст рассуждений, не JSON)
- extract_json через json.JSONDecoder.raw_decode — спасаем валидные
  объекты, даже если ответ обрезан по max_tokens
- В SYSTEM_PROMPT: 'Не думай вслух — сразу выдавай JSON-массив'

Ожидается: finish=stop на всех паках, полные находки.
2026-09-25 16:30:38 +00:00

589 lines
23 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/usr/bin/env python3
"""
AI Code Review for Filwords PL Backend (JSON-контракт + пак-подход)
Backend слишком большой (~440K символов) для одного запроса — модель уходит
в reasoning и не успевает выдать JSON. Решение: разбиваем файлы на паки
по папкам, делаем отдельный запрос на каждый пак, объединяем находки.
(20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам.
(20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content.
(21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence.
(22.09.2026, вечер) Пак-подход: 3 пака (routers, core, services+scripts).
(25.09.2026) Разбивка routers на 4 пака, MAX_OUTPUT_TOKENS=32000.
(25.09.2026, вечер) ФИКС root cause: DeepSeek-V4.1-Flash по умолчанию
думает (reasoning), и на сложных паках весь max_tokens уходит в
thinking — content пустой, finish=length, находки теряются.
→ reasoning выключен явно ("reasoning": {"enabled": False}).
→ fallback на reasoning_content убран (это была причина "Ошибка
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
→ extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
"""
import json
import os
import re
import sys
from datetime import datetime, timezone
from pathlib import Path
import httpx
# ============ Настройки ============
TOGETHER_API_KEY = os.environ.get("TOGETHER_API_KEY")
GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть,
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже).
MAX_OUTPUT_TOKENS = 32000
# Что игнорировать при сборе кода
IGNORE_DIRS = {
"venv", ".venv", "__pycache__", ".git", ".gitea",
"tests", "archive", "uploads", "tts_cache",
"node_modules", "dist", "learning_data",
}
IGNORE_FILES = {
"ai_review.py", "conftest.py", "code_summary.py",
"add_levels.py", "generate_levels_v2.py",
"__init__.py",
}
# Расширения, которые читаем
INCLUDE_EXTENSIONS = {".py"}
# Максимальный размер одного файла (символов)
MAX_FILE_SIZE = 100_000
# Фильтр находок
MIN_CONFIDENCE = 0.7
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
# Паки для backend. Пути проверены по факту (`ls routers/`).
PACKS = [
{
"name": "routers_games",
"paths": [
"routers/game.py",
"routers/hints.py",
"routers/wordquiz.py",
"routers/bubblewords.py",
"routers/sentences.py",
"routers/typing.py",
"routers/pronunciation.py",
],
"description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation",
},
{
"name": "routers_learning",
"paths": [
"routers/learning.py",
"routers/learning_profile.py",
"routers/teacher.py",
"routers/orchestrator.py",
"routers/learning_data/",
],
"description": "Уроки: learning, teacher, orchestrator, learning_data",
},
{
"name": "routers_admin",
"paths": [
"routers/admin.py",
"routers/admin_content.py",
"routers/feed.py",
"routers/support.py",
],
"description": "Админ: dashboard, content editor, feed, support",
},
{
"name": "routers_misc",
"paths": [
"routers/achievements.py",
"routers/users.py",
"routers/leaderboard.py",
"routers/assistant.py",
"routers/tts.py",
],
"description": "Прочее: achievements, users, leaderboard, assistant, tts",
},
{
"name": "core",
"paths": ["main.py", "database.py", "auth.py", "config.py", "bot.py"],
"description": "Ядро: main (rate limiter, CORS), database (схема), auth (HMAC), config",
},
{
"name": "services",
"paths": ["scripts/"],
"description": "Скрипты автоматизации",
},
]
# ============ Проверка окружения ============
def check_env() -> None:
missing = []
if not TOGETHER_API_KEY:
missing.append("TOGETHER_API_KEY")
if not GITEA_BOT_TOKEN:
missing.append("BOT_TOKEN")
if missing:
print(f"❌ Отсутствуют переменные окружения: {', '.join(missing)}", file=sys.stderr)
sys.exit(1)
# ============ Сбор кода одного пака ============
def read_file(path: Path, repo_root: Path) -> tuple[str, str] | None:
"""Читает один файл. Возвращает (относительный_путь, содержимое) или None."""
try:
content = path.read_text(encoding="utf-8")
except Exception as e:
print(f"⚠️ Не прочитал {path.relative_to(repo_root)}: {e}", file=sys.stderr)
return None
if len(content) > MAX_FILE_SIZE:
print(f"⚠️ Пропущен большой файл: {path.relative_to(repo_root)} ({len(content)} символов)", file=sys.stderr)
return None
rel_str = str(path.relative_to(repo_root)).replace("\\", "/")
return rel_str, content
def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]:
"""Собирает файлы одного пака. Возвращает (текст, словарь {путь: содержимое})."""
chunks: list[str] = []
files_map: dict[str, str] = {}
total_size = 0
for path_pattern in pack["paths"]:
target = repo_root / path_pattern
if not target.exists():
continue
if target.is_file():
result = read_file(target, repo_root)
if result:
rel_str, content = result
chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n")
files_map[rel_str] = content
total_size += len(content)
else:
for f in sorted(target.rglob("*")):
if not f.is_file():
continue
if f.suffix not in INCLUDE_EXTENSIONS:
continue
if f.name in IGNORE_FILES:
continue
if any(part in IGNORE_DIRS for part in f.relative_to(repo_root).parts):
continue
result = read_file(f, repo_root)
if result:
rel_str, content = result
chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n")
files_map[rel_str] = content
total_size += len(content)
print(f" 📦 Пак '{pack['name']}': {len(files_map)} файлов, {total_size:,} символов")
return "\n".join(chunks), files_map
# ============ Промпт для модели ============
SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python-кода (FastAPI, asyncpg, PostgreSQL).
Твоя задача — проанализировать код и вернуть СТРОГО JSON-массив находок.
ФОРМАТ ОТВЕТА (только JSON, без markdown, без пояснений):
[
{
"id": "КРАТКОЕ_ИМЯ_БАГА",
"file": "routers/hints.py",
"line": 20,
"snippet": "точное цитирование 1-3 строк из файла",
"severity": "user_impact",
"user_effect": "что видит ученик: подсказка не списывается, очки завышены",
"repro": "открыть игру → взять подсказку → hints_used в БД не растёт",
"fix_hint": "UPDATE ... hints_used = hints_used + 1 в той же транзакции",
"confidence": 0.86
}
]
ПРАВИЛА:
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
- user_impact: ученик видит баг, теряет прогресс, очки, доступ
- data_risk: порча БД, утечка, неверный auth/rate-limit
- maintainability: запах, дубль, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку.
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
4. Максимум 10 находок за этот пак.
5. НЕ переписывай код. Только описывай, что не так и что сделать.
6. Без воды. Без общих слов.
7. Если проблем нет — верни пустой массив: []
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
"""
USER_PROMPT_TEMPLATE = """Проанализируй часть кода проекта Filwords PL (backend).
Это FastAPI + PostgreSQL + asyncpg.
Пак: **{pack_name}** — {pack_description}
Ищи:
1. Баги и логические ошибки
2. Проблемы безопасности (утечки, инъекции, неправильная валидация)
3. N+1 запросы к БД
4. Отсутствие обработки ошибок
5. Дублирование кода
6. Мёртвый код
7. Слабые места архитектуры
Верни JSON-массив находок по формату выше.
Вот код:
{code}
"""
# ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str:
"""Отправляет код пака в DeepSeek V4.1 Flash."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...")
user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"],
pack_description=pack["description"],
code=code,
)
response = httpx.post(
"https://api.together.xyz/v1/chat/completions",
headers={
"Authorization": f"Bearer {TOGETHER_API_KEY}",
"Content-Type": "application/json",
},
json={
"model": MODEL,
"messages": [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_prompt},
],
"max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию
# думает перед ответом. На сложных/больших паках весь
# max_tokens уходит в thinking, content остаётся пустым,
# finish_reason="length" — находки терялись целиком.
# Задаче нужна строгая экстракция, а не рассуждения, поэтому
# reasoning выключаем явно.
"reasoning": {"enabled": False},
},
timeout=300.0,
)
if response.status_code != 200:
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
return ""
data = response.json()
try:
message = data["choices"][0]["message"]
result = message.get("content")
if not result:
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
# убран. Он был источником "Ошибка парсинга JSON" — туда
# попадал сырой текст рассуждений модели, а не JSON, и
# extract_json пытался распарсить мусор. Теперь при пустом
# content просто считаем, что пак не дал результата.
raise KeyError("пусто (content отсутствует)")
except (KeyError, IndexError, TypeError) as e:
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
return ""
usage = data.get("usage", {})
finish = data["choices"][0].get("finish_reason", "unknown")
print(
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
)
if finish == "length":
print(
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
f"пробуем спасти то, что успело сгенериться",
file=sys.stderr,
)
return result
# ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]:
"""Извлекает находки из ответа модели.
🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON
весь пак терял ВСЕ находки — json.loads() падал на всём массиве
целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode)
и останавливаемся на первом, который не удалось распарсить — то есть
спасаем всё, что модель успела сгенерить до обрезки.
"""
if not text:
return []
text = text.strip()
if text.startswith("```"):
text = re.sub(r"^```(?:json)?\s*", "", text)
text = re.sub(r"\s*```$", "", text)
start = text.find("[")
if start == -1:
print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr)
return []
decoder = json.JSONDecoder()
idx, n = start + 1, len(text)
results: list[dict] = []
while idx < n:
while idx < n and text[idx] in " \t\n\r,":
idx += 1
if idx >= n or text[idx] == "]":
break
try:
obj, end = decoder.raw_decode(text, idx)
except json.JSONDecodeError:
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
# Останавливаемся, но не теряем то, что уже успели распарсить.
break
if isinstance(obj, dict):
results.append(obj)
idx = end
if not results:
print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr)
elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start:
pass # на всякий случай, не используется — оставлено для ясности логики выше
return results
def validate_and_filter(
findings: list[dict],
files_map: dict[str, str],
) -> tuple[list[dict], dict[str, int]]:
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.7, severity валидна."""
stats = {
"total": len(findings),
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
}
passed: list[dict] = []
for f in findings:
if not isinstance(f, dict):
continue
file_path = (f.get("file") or "").strip().replace("\\", "/")
snippet = (f.get("snippet") or "").strip()
severity = (f.get("severity") or "").strip().lower()
confidence = f.get("confidence", 0)
if file_path not in files_map:
stats["no_file"] += 1
continue
if not snippet or snippet not in files_map[file_path]:
stats["snippet_mismatch"] += 1
continue
if severity not in ALLOWED_SEVERITY:
stats["bad_severity"] += 1
continue
try:
conf_val = float(confidence)
except (TypeError, ValueError):
conf_val = 0
if conf_val < MIN_CONFIDENCE:
stats["low_confidence"] += 1
continue
if severity in ("user_impact", "data_risk"):
if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip():
stats["no_effect_or_repro"] += 1
continue
passed.append(f)
stats["passed"] += 1
return passed, stats
# ============ Форматирование Issue ============
SEVERITY_EMOJI = {"user_impact": "🔴", "data_risk": "🟠", "maintainability": "🟡"}
SEVERITY_LABEL = {
"user_impact": "Влияет на ученика",
"data_risk": "Риск для данных",
"maintainability": "Качество кода",
}
def format_issue_body(
all_findings: list[dict],
pack_stats: list[dict],
total_stats: dict[str, int],
date_str: str,
) -> str:
"""Формирует markdown-тело Issue."""
lines: list[str] = []
lines.append("# 🤖 AI Code Review (Backend)")
lines.append("")
lines.append(f"**Дата:** {date_str}")
lines.append(f"**Модель:** `{MODEL}`")
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
lines.append("")
lines.append("## 📊 По пакам")
lines.append("")
for ps in pack_stats:
lines.append(f"- **{ps['name']}** — {ps['files']} файлов, "
f"{ps['symbols']:,} символов, находок={ps['findings']}")
lines.append("")
lines.append("---")
lines.append("")
if not all_findings:
lines.append("✅ **После фильтрации не осталось находок.**")
else:
by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []}
for f in all_findings:
by_severity.setdefault(f.get("severity", "maintainability"), []).append(f)
counter = 0
for sev in ["user_impact", "data_risk", "maintainability"]:
items = by_severity.get(sev, [])
if not items:
continue
lines.append(f"## {SEVERITY_EMOJI[sev]} {SEVERITY_LABEL[sev]} ({len(items)})")
lines.append("")
for f in items:
counter += 1
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
lines.append("")
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
lines.append(f"- **Проблема:** {f.get('user_effect', '—')}")
lines.append(f"- **Как воспроизвести:** {f.get('repro', '—')}")
lines.append(f"- **Что сделать:** {f.get('fix_hint', '—')}")
lines.append(f"- **Confidence:** {f.get('confidence', '?')}")
lines.append("")
lines.append("---")
lines.append("")
lines.append(f"**Итого:** всего находок={total_stats['total']}, "
f"snippet не совпал={total_stats['snippet_mismatch']}, "
f"низкий confidence={total_stats['low_confidence']}, "
f"прошло={total_stats['passed']}")
lines.append("")
lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._")
return "\n".join(lines)
# ============ Создание Issue в Gitea ============
def create_issue(title: str, body: str) -> str:
"""Создаёт Issue в Gitea, возвращает URL."""
print("📝 Создаю Issue в Gitea...")
response = httpx.post(
f"{GITEA_INSTANCE}/api/v1/repos/{GITEA_REPO}/issues",
headers={
"Authorization": f"token {GITEA_BOT_TOKEN}",
"Content-Type": "application/json",
},
json={"title": title, "body": body},
timeout=30.0,
)
if response.status_code not in (200, 201):
print(f"❌ Gitea вернул {response.status_code}: {response.text[:500]}", file=sys.stderr)
sys.exit(1)
data = response.json()
issue_url = data.get("html_url", "")
print(f"✅ Issue создан: {issue_url}")
return issue_url
# ============ Main ============
def main() -> None:
check_env()
repo_root = Path(".").resolve()
print(f"📁 Репозиторий: {repo_root}")
all_passed: list[dict] = []
pack_stats: list[dict] = []
total_stats = {
"total": 0, "no_file": 0, "snippet_mismatch": 0,
"bad_severity": 0, "low_confidence": 0,
"no_effect_or_repro": 0, "passed": 0,
}
for pack in PACKS:
print(f"\n📦 Обрабатываю пак: {pack['name']}")
code, files_map = collect_pack(repo_root, pack)
if not code:
print(f" ⚠️ Пак '{pack['name']}' пуст — пропускаю")
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
continue
raw = call_together(code, pack)
findings = extract_json(raw)
filtered, stats = validate_and_filter(findings, files_map)
all_passed.extend(filtered)
for k in total_stats:
total_stats[k] += stats.get(k, 0)
pack_stats.append({
"name": pack["name"],
"files": len(files_map),
"symbols": sum(len(c) for c in files_map.values()),
"findings": len(filtered),
})
print(f" ✅ Пак '{pack['name']}': прошло фильтр {stats['passed']} из {stats['total']}")
print(f"\n📊 ИТОГО: прошло фильтр {total_stats['passed']} из {total_stats['total']}")
date_str = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M UTC")
title = f"🤖 AI Review (backend): {total_stats['passed']} задач ({date_str})"
body = format_issue_body(all_passed, pack_stats, total_stats, date_str)
create_issue(title, body)
print("🎉 Готово!")
if __name__ == "__main__":
main()