feat(ai-review): JSON-контракт + snippet-проверка + фильтр confidence (21.09.2026)

This commit is contained in:
2026-09-21 17:07:07 +00:00
parent 686da8a36d
commit 7905cbf181
+265 -53
View File
@@ -1,18 +1,21 @@
#!/usr/bin/env python3 #!/usr/bin/env python3
""" """
AI Code Review for Filwords PL Backend AI Code Review for Filwords PL Backend (JSON-контракт)
Читает Python-файлы проекта, отправляет в DeepSeek V4.1 Flash (Together AI), Читает Python-файлы проекта, отправляет в DeepSeek V4.1 Flash (Together AI),
получает структурированное ТЗ и создаёт Issue в Gitea. получает структурированный JSON с находками, проверяет snippet по диску,
фильтрует по confidence и создаёт Issue в Gitea.
Запускается через Gitea Actions (workflow_dispatch — вручную из UI). Запускается через Gitea Actions (workflow_dispatch — вручную из UI).
(20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам. (20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам.
(20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content (20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content.
(DeepSeek V4.1 Flash — reasoning-модель, тратит много токенов на размышления). (21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence.
""" """
import json
import os import os
import re
import sys import sys
from datetime import datetime from datetime import datetime
from pathlib import Path from pathlib import Path
@@ -47,6 +50,11 @@ INCLUDE_EXTENSIONS = {".py"}
# Максимальный размер одного файла (символов) — большие контент-файлы пропускаем # Максимальный размер одного файла (символов) — большие контент-файлы пропускаем
MAX_FILE_SIZE = 100_000 MAX_FILE_SIZE = 100_000
# 🔧 НОВОЕ (21.09.2026): фильтр находок
MIN_CONFIDENCE = 0.7
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
ALLOWED_EXTENSIONS = {".py"}
# ============ Проверка окружения ============ # ============ Проверка окружения ============
@@ -63,9 +71,14 @@ def check_env() -> None:
# ============ Сбор кода ============ # ============ Сбор кода ============
def collect_code(repo_root: Path) -> str: def collect_code(repo_root: Path) -> tuple[str, dict[str, str]]:
"""Собирает все .py файлы в один текст с заголовками.""" """
Собирает все .py файлы в один текст с заголовками.
Возвращает (собранный_текст, словарь {относительный_путь: содержимое}).
Словарь нужен для snippet-проверки.
"""
chunks: list[str] = [] chunks: list[str] = []
files_map: dict[str, str] = {}
total_files = 0 total_files = 0
total_size = 0 total_size = 0
@@ -91,45 +104,51 @@ def collect_code(repo_root: Path) -> str:
print(f"⚠️ Пропущен большой файл: {rel} ({len(content)} символов)", file=sys.stderr) print(f"⚠️ Пропущен большой файл: {rel} ({len(content)} символов)", file=sys.stderr)
continue continue
chunks.append(f"### FILE: {rel}\n```python\n{content}\n```\n") rel_str = str(rel).replace("\\", "/")
chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n")
files_map[rel_str] = content
total_files += 1 total_files += 1
total_size += len(content) total_size += len(content)
print(f"📂 Собрано файлов: {total_files}, символов: {total_size:,}") print(f"📂 Собрано файлов: {total_files}, символов: {total_size:,}")
return "\n".join(chunks) return "\n".join(chunks), files_map
# ============ Промпт для модели ============ # ============ Промпт для модели ============
SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python-кода (FastAPI, asyncpg, PostgreSQL). SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python-кода (FastAPI, asyncpg, PostgreSQL).
Твоя задача — проанализировать код и выдать СТРУКТУРИРОВАННОЕ ТЗ для разработчика. Твоя задача — проанализировать код и вернуть СТРОГО JSON-массив находок.
ФОРМАТ ОТВЕТА (только JSON, без markdown, без пояснений):
[
{
"id": "КРАТКОЕ_ИМЯ_БАГА",
"file": "routers/hints.py",
"line": 20,
"snippet": "точное цитирование 1-3 строк из файла",
"severity": "user_impact",
"user_effect": "что видит ученик: подсказка не списывается, очки завышены",
"repro": "открыть игру → взять подсказку → hints_used в БД не растёт",
"fix_hint": "UPDATE ... hints_used = hints_used + 1 в той же транзакции",
"confidence": 0.86
}
]
ПРАВИЛА: ПРАВИЛА:
1. НЕ переписывай код. Только описывай, что не так и что сделать. 1. severity — только одно из: "user_impact", "data_risk", "maintainability".
2. Каждый пункт — КОНКРЕТНЫЙ: файл → строка/функция → проблема → что сделать. - user_impact: ученик видит баг, теряет прогресс, очки, доступ
3. Без воды. Без общих слов. Без объяснений «что такое XSS» — только факт и фикс. - data_risk: порча БД, утечка, неверный auth/rate-limit
4. Приоритеты: 🔴 критично / 🟡 важно / 🟢 желательно. - maintainability: запах, дубль, устаревший API
5. Если проблем мало — лучше меньше пунктов, но точных. 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку.
6. Максимум 20 пунктов — только самое важное. 3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
4. Максимум 15 находок. Только самое важное.
5. НЕ переписывай код. Только описывай, что не так и что сделать.
6. Без воды. Без общих слов.
7. Если проблем нет — верни пустой массив: []
ФОРМАТ ОТВЕТА (markdown): Отвечай ТОЛЬКО JSON, без markdown-обёрток.
## 🔴 Критично
### 1. [короткое название]
- **Файл:** `path/to/file.py:123`
- **Проблема:** что не так
- **Что сделать:** конкретное действие
- **Критерий:** как проверить, что исправлено
## 🟡 Важно
(то же самое)
## 🟢 Желательно
(то же самое)
Если проблем нет — напиши: "✅ Критичных проблем не найдено".
""" """
@@ -150,6 +169,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй код проекта Filwo
6. Мёртвый код 6. Мёртвый код
7. Слабые места архитектуры 7. Слабые места архитектуры
Верни JSON-массив находок по формату выше.
Вот код: Вот код:
{code} {code}
@@ -177,7 +198,7 @@ def call_together(code: str) -> str:
{"role": "user", "content": user_prompt}, {"role": "user", "content": user_prompt},
], ],
"max_tokens": MAX_OUTPUT_TOKENS, "max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.3, "temperature": 0.2,
}, },
timeout=300.0, timeout=300.0,
) )
@@ -194,8 +215,6 @@ def call_together(code: str) -> str:
result = message.get("content") result = message.get("content")
# 🔧 ФИКС (20.09.2026): если content пустой — используем reasoning_content. # 🔧 ФИКС (20.09.2026): если content пустой — используем reasoning_content.
# DeepSeek V4.1 Flash — reasoning-модель, может уйти в размышления
# и не выдать финальный ответ. Тогда берём reasoning.
if not result: if not result:
result = message.get("reasoning_content") result = message.get("reasoning_content")
@@ -217,6 +236,201 @@ def call_together(code: str) -> str:
return result return result
# ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]:
"""
Извлекает JSON-массив из ответа модели.
Модель может обернуть в ```json ... ``` или добавить текст — чистим.
"""
# Убираем markdown-обёртки
text = text.strip()
if text.startswith("```"):
# Убираем ```json в начале и ``` в конце
text = re.sub(r"^```(?:json)?\s*", "", text)
text = re.sub(r"\s*```$", "", text)
# Ищем JSON-массив
start = text.find("[")
end = text.rfind("]")
if start == -1 or end == -1 or end < start:
print(f"⚠️ Не найден JSON-массив в ответе. Первые 500 символов:\n{text[:500]}", file=sys.stderr)
return []
json_str = text[start:end + 1]
try:
parsed = json.loads(json_str)
if not isinstance(parsed, list):
print(f"⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr)
return []
return parsed
except json.JSONDecodeError as e:
print(f"⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr)
print(f"Первые 500 символов JSON:\n{json_str[:500]}", file=sys.stderr)
return []
def validate_and_filter(
findings: list[dict],
files_map: dict[str, str],
) -> tuple[list[dict], dict[str, int]]:
"""
Фильтрует находки:
- файл существует
- расширение разрешено
- snippet реально есть в файле
- severity валидна
- confidence >= MIN_CONFIDENCE
- есть user_effect и repro (для user_impact и data_risk)
Возвращает (отфильтрованные, статистика).
"""
stats = {
"total": len(findings),
"no_file": 0,
"bad_ext": 0,
"no_snippet": 0,
"snippet_mismatch": 0,
"bad_severity": 0,
"low_confidence": 0,
"no_effect_or_repro": 0,
"passed": 0,
}
passed: list[dict] = []
for f in findings:
if not isinstance(f, dict):
continue
file_path = (f.get("file") or "").strip().replace("\\", "/")
snippet = (f.get("snippet") or "").strip()
severity = (f.get("severity") or "").strip().lower()
confidence = f.get("confidence", 0)
# Файл существует?
if file_path not in files_map:
stats["no_file"] += 1
print(f" ⏭ Отброшено (нет файла): {file_path}")
continue
# Расширение?
ext = "." + file_path.rsplit(".", 1)[-1] if "." in file_path else ""
if ext not in ALLOWED_EXTENSIONS:
stats["bad_ext"] += 1
print(f" ⏭ Отброшено (расширение {ext}): {file_path}")
continue
# Snippet есть?
if not snippet:
stats["no_snippet"] += 1
print(f" ⏭ Отброшено (нет snippet): {file_path}")
continue
# Snippet реально есть в файле?
file_content = files_map[file_path]
if snippet not in file_content:
stats["snippet_mismatch"] += 1
print(f" ⏭ Отброшено (snippet не найден): {file_path}")
continue
# Severity?
if severity not in ALLOWED_SEVERITY:
stats["bad_severity"] += 1
print(f" ⏭ Отброшено (severity={severity}): {file_path}")
continue
# Confidence?
try:
conf_val = float(confidence)
except (TypeError, ValueError):
conf_val = 0
if conf_val < MIN_CONFIDENCE:
stats["low_confidence"] += 1
print(f" ⏭ Отброшено (confidence={conf_val}): {file_path}")
continue
# Для user_impact и data_risk нужны user_effect и repro
if severity in ("user_impact", "data_risk"):
if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip():
stats["no_effect_or_repro"] += 1
print(f" ⏭ Отброшено (нет user_effect/repro): {file_path}")
continue
# Прошло
passed.append(f)
stats["passed"] += 1
return passed, stats
# ============ Форматирование Issue ============
SEVERITY_EMOJI = {
"user_impact": "🔴",
"data_risk": "🟠",
"maintainability": "🟡",
}
SEVERITY_LABEL = {
"user_impact": "Влияет на ученика",
"data_risk": "Риск для данных",
"maintainability": "Качество кода",
}
def format_issue_body(findings: list[dict], stats: dict[str, int], date_str: str) -> str:
"""Формирует markdown-тело Issue из отфильтрованных находок."""
lines: list[str] = []
lines.append(f"# 🤖 AI Code Review")
lines.append("")
lines.append(f"**Дата:** {date_str}")
lines.append(f"**Модель:** `{MODEL}`")
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
lines.append("")
lines.append("---")
lines.append("")
if not findings:
lines.append("✅ **После фильтрации не осталось находок.**")
lines.append("")
lines.append("_Модель либо не нашла реальных проблем, либо все находки отброшены фильтром (нет файла, snippet не совпал, confidence < 0.7)._")
else:
# Группируем по severity
by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []}
for f in findings:
sev = f.get("severity", "maintainability")
by_severity.setdefault(sev, []).append(f)
counter = 0
for sev in ["user_impact", "data_risk", "maintainability"]:
items = by_severity.get(sev, [])
if not items:
continue
lines.append(f"## {SEVERITY_EMOJI[sev]} {SEVERITY_LABEL[sev]} ({len(items)})")
lines.append("")
for f in items:
counter += 1
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
lines.append("")
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
lines.append(f"- **Проблема:** {f.get('user_effect', '—')}")
lines.append(f"- **Как воспроизвести:** {f.get('repro', '—')}")
lines.append(f"- **Что сделать:** {f.get('fix_hint', '—')}")
lines.append(f"- **Confidence:** {f.get('confidence', '?')}")
lines.append("")
lines.append("---")
lines.append("")
lines.append(f"**Статистика фильтрации:** всего={stats['total']}, "
f"нет файла={stats['no_file']}, snippet не совпал={stats['snippet_mismatch']}, "
f"низкий confidence={stats['low_confidence']}, прошло={stats['passed']}")
lines.append("")
lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._")
return "\n".join(lines)
# ============ Создание Issue в Gitea ============ # ============ Создание Issue в Gitea ============
def create_issue(title: str, body: str) -> str: def create_issue(title: str, body: str) -> str:
@@ -254,30 +468,28 @@ def main() -> None:
repo_root = Path(".").resolve() repo_root = Path(".").resolve()
print(f"📁 Репозиторий: {repo_root}") print(f"📁 Репозиторий: {repo_root}")
code = collect_code(repo_root) code, files_map = collect_code(repo_root)
if not code: if not code:
print("❌ Не найдено файлов для анализа", file=sys.stderr) print("❌ Не найдено файлов для анализа", file=sys.stderr)
sys.exit(1) sys.exit(1)
analysis = call_together(code) raw_response = call_together(code)
# Парсим JSON
findings = extract_json(raw_response)
print(f"📊 Модель вернула находок: {len(findings)}")
# Фильтруем
filtered, stats = validate_and_filter(findings, files_map)
print(f"✅ Прошло фильтр: {stats['passed']} из {stats['total']}")
print(f" Отброшено: файл={stats['no_file']}, snippet={stats['snippet_mismatch']}, "
f"confidence={stats['low_confidence']}, severity={stats['bad_severity']}, "
f"нет эффекта={stats['no_effect_or_repro']}")
# Формируем Issue
date_str = datetime.utcnow().strftime("%Y-%m-%d %H:%M UTC") date_str = datetime.utcnow().strftime("%Y-%m-%d %H:%M UTC")
title = f"🤖 AI Review: список задач ({date_str})" title = f"🤖 AI Review: {stats['passed']} задач ({date_str})"
body = format_issue_body(filtered, stats, date_str)
body = f"""# 🤖 AI Code Review
**Дата:** {date_str}
**Модель:** `{MODEL}`
**Репозиторий:** `{GITEA_REPO}`
---
{analysis}
---
_Этот Issue создан автоматически. Исправления делаются вручную._
"""
create_issue(title, body) create_issue(title, body)
print("🎉 Готово!") print("🎉 Готово!")