feat(ai-review): JSON-контракт + snippet-проверка + фильтр confidence (21.09.2026)
This commit is contained in:
+265
-53
@@ -1,18 +1,21 @@
|
|||||||
#!/usr/bin/env python3
|
#!/usr/bin/env python3
|
||||||
"""
|
"""
|
||||||
AI Code Review for Filwords PL Backend
|
AI Code Review for Filwords PL Backend (JSON-контракт)
|
||||||
|
|
||||||
Читает Python-файлы проекта, отправляет в DeepSeek V4.1 Flash (Together AI),
|
Читает Python-файлы проекта, отправляет в DeepSeek V4.1 Flash (Together AI),
|
||||||
получает структурированное ТЗ и создаёт Issue в Gitea.
|
получает структурированный JSON с находками, проверяет snippet по диску,
|
||||||
|
фильтрует по confidence и создаёт Issue в Gitea.
|
||||||
|
|
||||||
Запускается через Gitea Actions (workflow_dispatch — вручную из UI).
|
Запускается через Gitea Actions (workflow_dispatch — вручную из UI).
|
||||||
|
|
||||||
(20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам.
|
(20.09.2026) Первая версия — конвейер без tool-calling, предсказуемо по токенам.
|
||||||
(20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content
|
(20.09.2026, вечер) Фикс: max_tokens=16000, fallback на reasoning_content.
|
||||||
(DeepSeek V4.1 Flash — reasoning-модель, тратит много токенов на размышления).
|
(21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
import json
|
||||||
import os
|
import os
|
||||||
|
import re
|
||||||
import sys
|
import sys
|
||||||
from datetime import datetime
|
from datetime import datetime
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
@@ -47,6 +50,11 @@ INCLUDE_EXTENSIONS = {".py"}
|
|||||||
# Максимальный размер одного файла (символов) — большие контент-файлы пропускаем
|
# Максимальный размер одного файла (символов) — большие контент-файлы пропускаем
|
||||||
MAX_FILE_SIZE = 100_000
|
MAX_FILE_SIZE = 100_000
|
||||||
|
|
||||||
|
# 🔧 НОВОЕ (21.09.2026): фильтр находок
|
||||||
|
MIN_CONFIDENCE = 0.7
|
||||||
|
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||||
|
ALLOWED_EXTENSIONS = {".py"}
|
||||||
|
|
||||||
|
|
||||||
# ============ Проверка окружения ============
|
# ============ Проверка окружения ============
|
||||||
|
|
||||||
@@ -63,9 +71,14 @@ def check_env() -> None:
|
|||||||
|
|
||||||
# ============ Сбор кода ============
|
# ============ Сбор кода ============
|
||||||
|
|
||||||
def collect_code(repo_root: Path) -> str:
|
def collect_code(repo_root: Path) -> tuple[str, dict[str, str]]:
|
||||||
"""Собирает все .py файлы в один текст с заголовками."""
|
"""
|
||||||
|
Собирает все .py файлы в один текст с заголовками.
|
||||||
|
Возвращает (собранный_текст, словарь {относительный_путь: содержимое}).
|
||||||
|
Словарь нужен для snippet-проверки.
|
||||||
|
"""
|
||||||
chunks: list[str] = []
|
chunks: list[str] = []
|
||||||
|
files_map: dict[str, str] = {}
|
||||||
total_files = 0
|
total_files = 0
|
||||||
total_size = 0
|
total_size = 0
|
||||||
|
|
||||||
@@ -91,45 +104,51 @@ def collect_code(repo_root: Path) -> str:
|
|||||||
print(f"⚠️ Пропущен большой файл: {rel} ({len(content)} символов)", file=sys.stderr)
|
print(f"⚠️ Пропущен большой файл: {rel} ({len(content)} символов)", file=sys.stderr)
|
||||||
continue
|
continue
|
||||||
|
|
||||||
chunks.append(f"### FILE: {rel}\n```python\n{content}\n```\n")
|
rel_str = str(rel).replace("\\", "/")
|
||||||
|
chunks.append(f"### FILE: {rel_str}\n```python\n{content}\n```\n")
|
||||||
|
files_map[rel_str] = content
|
||||||
total_files += 1
|
total_files += 1
|
||||||
total_size += len(content)
|
total_size += len(content)
|
||||||
|
|
||||||
print(f"📂 Собрано файлов: {total_files}, символов: {total_size:,}")
|
print(f"📂 Собрано файлов: {total_files}, символов: {total_size:,}")
|
||||||
return "\n".join(chunks)
|
return "\n".join(chunks), files_map
|
||||||
|
|
||||||
|
|
||||||
# ============ Промпт для модели ============
|
# ============ Промпт для модели ============
|
||||||
|
|
||||||
SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python-кода (FastAPI, asyncpg, PostgreSQL).
|
SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python-кода (FastAPI, asyncpg, PostgreSQL).
|
||||||
|
|
||||||
Твоя задача — проанализировать код и выдать СТРУКТУРИРОВАННОЕ ТЗ для разработчика.
|
Твоя задача — проанализировать код и вернуть СТРОГО JSON-массив находок.
|
||||||
|
|
||||||
|
ФОРМАТ ОТВЕТА (только JSON, без markdown, без пояснений):
|
||||||
|
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"id": "КРАТКОЕ_ИМЯ_БАГА",
|
||||||
|
"file": "routers/hints.py",
|
||||||
|
"line": 20,
|
||||||
|
"snippet": "точное цитирование 1-3 строк из файла",
|
||||||
|
"severity": "user_impact",
|
||||||
|
"user_effect": "что видит ученик: подсказка не списывается, очки завышены",
|
||||||
|
"repro": "открыть игру → взять подсказку → hints_used в БД не растёт",
|
||||||
|
"fix_hint": "UPDATE ... hints_used = hints_used + 1 в той же транзакции",
|
||||||
|
"confidence": 0.86
|
||||||
|
}
|
||||||
|
]
|
||||||
|
|
||||||
ПРАВИЛА:
|
ПРАВИЛА:
|
||||||
1. НЕ переписывай код. Только описывай, что не так и что сделать.
|
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
||||||
2. Каждый пункт — КОНКРЕТНЫЙ: файл → строка/функция → проблема → что сделать.
|
- user_impact: ученик видит баг, теряет прогресс, очки, доступ
|
||||||
3. Без воды. Без общих слов. Без объяснений «что такое XSS» — только факт и фикс.
|
- data_risk: порча БД, утечка, неверный auth/rate-limit
|
||||||
4. Приоритеты: 🔴 критично / 🟡 важно / 🟢 желательно.
|
- maintainability: запах, дубль, устаревший API
|
||||||
5. Если проблем мало — лучше меньше пунктов, но точных.
|
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку.
|
||||||
6. Максимум 20 пунктов — только самое важное.
|
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
|
||||||
|
4. Максимум 15 находок. Только самое важное.
|
||||||
|
5. НЕ переписывай код. Только описывай, что не так и что сделать.
|
||||||
|
6. Без воды. Без общих слов.
|
||||||
|
7. Если проблем нет — верни пустой массив: []
|
||||||
|
|
||||||
ФОРМАТ ОТВЕТА (markdown):
|
Отвечай ТОЛЬКО JSON, без markdown-обёрток.
|
||||||
|
|
||||||
## 🔴 Критично
|
|
||||||
|
|
||||||
### 1. [короткое название]
|
|
||||||
- **Файл:** `path/to/file.py:123`
|
|
||||||
- **Проблема:** что не так
|
|
||||||
- **Что сделать:** конкретное действие
|
|
||||||
- **Критерий:** как проверить, что исправлено
|
|
||||||
|
|
||||||
## 🟡 Важно
|
|
||||||
(то же самое)
|
|
||||||
|
|
||||||
## 🟢 Желательно
|
|
||||||
(то же самое)
|
|
||||||
|
|
||||||
Если проблем нет — напиши: "✅ Критичных проблем не найдено".
|
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
|
||||||
@@ -150,6 +169,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй код проекта Filwo
|
|||||||
6. Мёртвый код
|
6. Мёртвый код
|
||||||
7. Слабые места архитектуры
|
7. Слабые места архитектуры
|
||||||
|
|
||||||
|
Верни JSON-массив находок по формату выше.
|
||||||
|
|
||||||
Вот код:
|
Вот код:
|
||||||
|
|
||||||
{code}
|
{code}
|
||||||
@@ -177,7 +198,7 @@ def call_together(code: str) -> str:
|
|||||||
{"role": "user", "content": user_prompt},
|
{"role": "user", "content": user_prompt},
|
||||||
],
|
],
|
||||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||||
"temperature": 0.3,
|
"temperature": 0.2,
|
||||||
},
|
},
|
||||||
timeout=300.0,
|
timeout=300.0,
|
||||||
)
|
)
|
||||||
@@ -194,8 +215,6 @@ def call_together(code: str) -> str:
|
|||||||
result = message.get("content")
|
result = message.get("content")
|
||||||
|
|
||||||
# 🔧 ФИКС (20.09.2026): если content пустой — используем reasoning_content.
|
# 🔧 ФИКС (20.09.2026): если content пустой — используем reasoning_content.
|
||||||
# DeepSeek V4.1 Flash — reasoning-модель, может уйти в размышления
|
|
||||||
# и не выдать финальный ответ. Тогда берём reasoning.
|
|
||||||
if not result:
|
if not result:
|
||||||
result = message.get("reasoning_content")
|
result = message.get("reasoning_content")
|
||||||
|
|
||||||
@@ -217,6 +236,201 @@ def call_together(code: str) -> str:
|
|||||||
return result
|
return result
|
||||||
|
|
||||||
|
|
||||||
|
# ============ Парсинг и фильтрация JSON ============
|
||||||
|
|
||||||
|
def extract_json(text: str) -> list[dict]:
|
||||||
|
"""
|
||||||
|
Извлекает JSON-массив из ответа модели.
|
||||||
|
Модель может обернуть в ```json ... ``` или добавить текст — чистим.
|
||||||
|
"""
|
||||||
|
# Убираем markdown-обёртки
|
||||||
|
text = text.strip()
|
||||||
|
if text.startswith("```"):
|
||||||
|
# Убираем ```json в начале и ``` в конце
|
||||||
|
text = re.sub(r"^```(?:json)?\s*", "", text)
|
||||||
|
text = re.sub(r"\s*```$", "", text)
|
||||||
|
|
||||||
|
# Ищем JSON-массив
|
||||||
|
start = text.find("[")
|
||||||
|
end = text.rfind("]")
|
||||||
|
if start == -1 or end == -1 or end < start:
|
||||||
|
print(f"⚠️ Не найден JSON-массив в ответе. Первые 500 символов:\n{text[:500]}", file=sys.stderr)
|
||||||
|
return []
|
||||||
|
|
||||||
|
json_str = text[start:end + 1]
|
||||||
|
|
||||||
|
try:
|
||||||
|
parsed = json.loads(json_str)
|
||||||
|
if not isinstance(parsed, list):
|
||||||
|
print(f"⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr)
|
||||||
|
return []
|
||||||
|
return parsed
|
||||||
|
except json.JSONDecodeError as e:
|
||||||
|
print(f"⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr)
|
||||||
|
print(f"Первые 500 символов JSON:\n{json_str[:500]}", file=sys.stderr)
|
||||||
|
return []
|
||||||
|
|
||||||
|
|
||||||
|
def validate_and_filter(
|
||||||
|
findings: list[dict],
|
||||||
|
files_map: dict[str, str],
|
||||||
|
) -> tuple[list[dict], dict[str, int]]:
|
||||||
|
"""
|
||||||
|
Фильтрует находки:
|
||||||
|
- файл существует
|
||||||
|
- расширение разрешено
|
||||||
|
- snippet реально есть в файле
|
||||||
|
- severity валидна
|
||||||
|
- confidence >= MIN_CONFIDENCE
|
||||||
|
- есть user_effect и repro (для user_impact и data_risk)
|
||||||
|
Возвращает (отфильтрованные, статистика).
|
||||||
|
"""
|
||||||
|
stats = {
|
||||||
|
"total": len(findings),
|
||||||
|
"no_file": 0,
|
||||||
|
"bad_ext": 0,
|
||||||
|
"no_snippet": 0,
|
||||||
|
"snippet_mismatch": 0,
|
||||||
|
"bad_severity": 0,
|
||||||
|
"low_confidence": 0,
|
||||||
|
"no_effect_or_repro": 0,
|
||||||
|
"passed": 0,
|
||||||
|
}
|
||||||
|
passed: list[dict] = []
|
||||||
|
|
||||||
|
for f in findings:
|
||||||
|
if not isinstance(f, dict):
|
||||||
|
continue
|
||||||
|
|
||||||
|
file_path = (f.get("file") or "").strip().replace("\\", "/")
|
||||||
|
snippet = (f.get("snippet") or "").strip()
|
||||||
|
severity = (f.get("severity") or "").strip().lower()
|
||||||
|
confidence = f.get("confidence", 0)
|
||||||
|
|
||||||
|
# Файл существует?
|
||||||
|
if file_path not in files_map:
|
||||||
|
stats["no_file"] += 1
|
||||||
|
print(f" ⏭ Отброшено (нет файла): {file_path}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Расширение?
|
||||||
|
ext = "." + file_path.rsplit(".", 1)[-1] if "." in file_path else ""
|
||||||
|
if ext not in ALLOWED_EXTENSIONS:
|
||||||
|
stats["bad_ext"] += 1
|
||||||
|
print(f" ⏭ Отброшено (расширение {ext}): {file_path}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Snippet есть?
|
||||||
|
if not snippet:
|
||||||
|
stats["no_snippet"] += 1
|
||||||
|
print(f" ⏭ Отброшено (нет snippet): {file_path}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Snippet реально есть в файле?
|
||||||
|
file_content = files_map[file_path]
|
||||||
|
if snippet not in file_content:
|
||||||
|
stats["snippet_mismatch"] += 1
|
||||||
|
print(f" ⏭ Отброшено (snippet не найден): {file_path}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Severity?
|
||||||
|
if severity not in ALLOWED_SEVERITY:
|
||||||
|
stats["bad_severity"] += 1
|
||||||
|
print(f" ⏭ Отброшено (severity={severity}): {file_path}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Confidence?
|
||||||
|
try:
|
||||||
|
conf_val = float(confidence)
|
||||||
|
except (TypeError, ValueError):
|
||||||
|
conf_val = 0
|
||||||
|
if conf_val < MIN_CONFIDENCE:
|
||||||
|
stats["low_confidence"] += 1
|
||||||
|
print(f" ⏭ Отброшено (confidence={conf_val}): {file_path}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Для user_impact и data_risk нужны user_effect и repro
|
||||||
|
if severity in ("user_impact", "data_risk"):
|
||||||
|
if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip():
|
||||||
|
stats["no_effect_or_repro"] += 1
|
||||||
|
print(f" ⏭ Отброшено (нет user_effect/repro): {file_path}")
|
||||||
|
continue
|
||||||
|
|
||||||
|
# Прошло
|
||||||
|
passed.append(f)
|
||||||
|
stats["passed"] += 1
|
||||||
|
|
||||||
|
return passed, stats
|
||||||
|
|
||||||
|
|
||||||
|
# ============ Форматирование Issue ============
|
||||||
|
|
||||||
|
SEVERITY_EMOJI = {
|
||||||
|
"user_impact": "🔴",
|
||||||
|
"data_risk": "🟠",
|
||||||
|
"maintainability": "🟡",
|
||||||
|
}
|
||||||
|
|
||||||
|
SEVERITY_LABEL = {
|
||||||
|
"user_impact": "Влияет на ученика",
|
||||||
|
"data_risk": "Риск для данных",
|
||||||
|
"maintainability": "Качество кода",
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
def format_issue_body(findings: list[dict], stats: dict[str, int], date_str: str) -> str:
|
||||||
|
"""Формирует markdown-тело Issue из отфильтрованных находок."""
|
||||||
|
lines: list[str] = []
|
||||||
|
lines.append(f"# 🤖 AI Code Review")
|
||||||
|
lines.append("")
|
||||||
|
lines.append(f"**Дата:** {date_str}")
|
||||||
|
lines.append(f"**Модель:** `{MODEL}`")
|
||||||
|
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
||||||
|
lines.append("")
|
||||||
|
lines.append("---")
|
||||||
|
lines.append("")
|
||||||
|
|
||||||
|
if not findings:
|
||||||
|
lines.append("✅ **После фильтрации не осталось находок.**")
|
||||||
|
lines.append("")
|
||||||
|
lines.append("_Модель либо не нашла реальных проблем, либо все находки отброшены фильтром (нет файла, snippet не совпал, confidence < 0.7)._")
|
||||||
|
else:
|
||||||
|
# Группируем по severity
|
||||||
|
by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []}
|
||||||
|
for f in findings:
|
||||||
|
sev = f.get("severity", "maintainability")
|
||||||
|
by_severity.setdefault(sev, []).append(f)
|
||||||
|
|
||||||
|
counter = 0
|
||||||
|
for sev in ["user_impact", "data_risk", "maintainability"]:
|
||||||
|
items = by_severity.get(sev, [])
|
||||||
|
if not items:
|
||||||
|
continue
|
||||||
|
lines.append(f"## {SEVERITY_EMOJI[sev]} {SEVERITY_LABEL[sev]} ({len(items)})")
|
||||||
|
lines.append("")
|
||||||
|
for f in items:
|
||||||
|
counter += 1
|
||||||
|
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
|
||||||
|
lines.append("")
|
||||||
|
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
||||||
|
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
||||||
|
lines.append(f"- **Проблема:** {f.get('user_effect', '—')}")
|
||||||
|
lines.append(f"- **Как воспроизвести:** {f.get('repro', '—')}")
|
||||||
|
lines.append(f"- **Что сделать:** {f.get('fix_hint', '—')}")
|
||||||
|
lines.append(f"- **Confidence:** {f.get('confidence', '?')}")
|
||||||
|
lines.append("")
|
||||||
|
|
||||||
|
lines.append("---")
|
||||||
|
lines.append("")
|
||||||
|
lines.append(f"**Статистика фильтрации:** всего={stats['total']}, "
|
||||||
|
f"нет файла={stats['no_file']}, snippet не совпал={stats['snippet_mismatch']}, "
|
||||||
|
f"низкий confidence={stats['low_confidence']}, прошло={stats['passed']}")
|
||||||
|
lines.append("")
|
||||||
|
lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._")
|
||||||
|
|
||||||
|
return "\n".join(lines)
|
||||||
|
|
||||||
|
|
||||||
# ============ Создание Issue в Gitea ============
|
# ============ Создание Issue в Gitea ============
|
||||||
|
|
||||||
def create_issue(title: str, body: str) -> str:
|
def create_issue(title: str, body: str) -> str:
|
||||||
@@ -254,30 +468,28 @@ def main() -> None:
|
|||||||
repo_root = Path(".").resolve()
|
repo_root = Path(".").resolve()
|
||||||
print(f"📁 Репозиторий: {repo_root}")
|
print(f"📁 Репозиторий: {repo_root}")
|
||||||
|
|
||||||
code = collect_code(repo_root)
|
code, files_map = collect_code(repo_root)
|
||||||
if not code:
|
if not code:
|
||||||
print("❌ Не найдено файлов для анализа", file=sys.stderr)
|
print("❌ Не найдено файлов для анализа", file=sys.stderr)
|
||||||
sys.exit(1)
|
sys.exit(1)
|
||||||
|
|
||||||
analysis = call_together(code)
|
raw_response = call_together(code)
|
||||||
|
|
||||||
|
# Парсим JSON
|
||||||
|
findings = extract_json(raw_response)
|
||||||
|
print(f"📊 Модель вернула находок: {len(findings)}")
|
||||||
|
|
||||||
|
# Фильтруем
|
||||||
|
filtered, stats = validate_and_filter(findings, files_map)
|
||||||
|
print(f"✅ Прошло фильтр: {stats['passed']} из {stats['total']}")
|
||||||
|
print(f" Отброшено: файл={stats['no_file']}, snippet={stats['snippet_mismatch']}, "
|
||||||
|
f"confidence={stats['low_confidence']}, severity={stats['bad_severity']}, "
|
||||||
|
f"нет эффекта={stats['no_effect_or_repro']}")
|
||||||
|
|
||||||
|
# Формируем Issue
|
||||||
date_str = datetime.utcnow().strftime("%Y-%m-%d %H:%M UTC")
|
date_str = datetime.utcnow().strftime("%Y-%m-%d %H:%M UTC")
|
||||||
title = f"🤖 AI Review: список задач ({date_str})"
|
title = f"🤖 AI Review: {stats['passed']} задач ({date_str})"
|
||||||
|
body = format_issue_body(filtered, stats, date_str)
|
||||||
body = f"""# 🤖 AI Code Review
|
|
||||||
|
|
||||||
**Дата:** {date_str}
|
|
||||||
**Модель:** `{MODEL}`
|
|
||||||
**Репозиторий:** `{GITEA_REPO}`
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
{analysis}
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
_Этот Issue создан автоматически. Исправления делаются вручную._
|
|
||||||
"""
|
|
||||||
|
|
||||||
create_issue(title, body)
|
create_issue(title, body)
|
||||||
print("🎉 Готово!")
|
print("🎉 Готово!")
|
||||||
|
|||||||
Reference in New Issue
Block a user