504 lines
19 KiB
Python
504 lines
19 KiB
Python
#!/usr/bin/env python3
|
|
"""
|
|
AI Code Review for Filwords PL Frontend (JSON-контракт + пак-подход)
|
|
|
|
Frontend слишком большой (1M+ символов) для одного запроса — модель уходит
|
|
в reasoning и не успевает выдать JSON. Решение: разбиваем файлы на паки
|
|
по папкам, делаем отдельный запрос на каждый пак, объединяем находки.
|
|
|
|
(21.09.2026) Первая версия для frontend — адаптация backend-скрипта.
|
|
(21.09.2026, вечер) Пак-подход: 4 пака (components, pages, core, admin).
|
|
"""
|
|
|
|
import json
|
|
import os
|
|
import re
|
|
import sys
|
|
from datetime import datetime, timezone
|
|
from pathlib import Path
|
|
|
|
import httpx
|
|
|
|
|
|
# ============ Настройки ============
|
|
|
|
TOGETHER_API_KEY = os.environ.get("TOGETHER_API_KEY")
|
|
GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
|
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
|
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
|
|
|
|
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
|
MAX_OUTPUT_TOKENS = 12000
|
|
|
|
# Что игнорировать при сборе кода
|
|
IGNORE_DIRS = {
|
|
"node_modules", "dist", "build", ".git", ".gitea",
|
|
"public", "coverage", ".vite", ".cache",
|
|
}
|
|
IGNORE_FILES = {"ai_review.py", "vite-env.d.ts"}
|
|
|
|
# Расширения, которые читаем
|
|
INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
|
|
|
|
# Максимальный размер одного файла (символов)
|
|
MAX_FILE_SIZE = 100_000
|
|
|
|
# Фильтр находок
|
|
MIN_CONFIDENCE = 0.7
|
|
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
|
|
|
|
|
# 🔧 НОВОЕ (21.09.2026): паки для frontend
|
|
# Каждый пак — отдельный запрос к модели. Файлы одного пака собираются в один текст.
|
|
# Если пак получается > 500K символов — модель может не успеть. В таком случае
|
|
# дроби ещё мельче (например, по подпапкам components/).
|
|
PACKS = [
|
|
{
|
|
"name": "components",
|
|
"paths": ["src/components/"],
|
|
"description": "UI-компоненты: модалки, редакторы, формы",
|
|
},
|
|
{
|
|
"name": "pages",
|
|
"paths": ["src/pages/"],
|
|
"description": "Страницы приложения (17 штук)",
|
|
},
|
|
{
|
|
"name": "core",
|
|
"paths": ["src/App.tsx", "src/api.ts", "src/telegram.ts", "src/main.tsx"],
|
|
"description": "Ядро: App, api, telegram, входная точка",
|
|
},
|
|
{
|
|
"name": "infra",
|
|
"paths": ["src/hooks/", "src/i18n/", "src/styles/", "src/data/", "src/types/"],
|
|
"description": "Инфраструктура: хуки, локализация, стили, данные, типы",
|
|
},
|
|
]
|
|
|
|
|
|
# ============ Проверка окружения ============
|
|
|
|
def check_env() -> None:
|
|
missing = []
|
|
if not TOGETHER_API_KEY:
|
|
missing.append("TOGETHER_API_KEY")
|
|
if not GITEA_BOT_TOKEN:
|
|
missing.append("BOT_TOKEN")
|
|
if missing:
|
|
print(f"❌ Отсутствуют переменные окружения: {', '.join(missing)}", file=sys.stderr)
|
|
sys.exit(1)
|
|
|
|
|
|
# ============ Сбор кода ============
|
|
|
|
def read_file(path: Path, repo_root: Path) -> tuple[str, str] | None:
|
|
"""Читает один файл. Возвращает (относительный_путь, содержимое) или None."""
|
|
try:
|
|
content = path.read_text(encoding="utf-8")
|
|
except Exception as e:
|
|
print(f"⚠️ Не прочитал {path.relative_to(repo_root)}: {e}", file=sys.stderr)
|
|
return None
|
|
|
|
if len(content) > MAX_FILE_SIZE:
|
|
print(f"⚠️ Пропущен большой файл: {path.relative_to(repo_root)} ({len(content)} символов)", file=sys.stderr)
|
|
return None
|
|
|
|
rel_str = str(path.relative_to(repo_root)).replace("\\", "/")
|
|
return rel_str, content
|
|
|
|
|
|
def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]:
|
|
"""Собирает файлы одного пака. Возвращает (текст, словарь {путь: содержимое})."""
|
|
chunks: list[str] = []
|
|
files_map: dict[str, str] = {}
|
|
total_size = 0
|
|
|
|
for path_pattern in pack["paths"]:
|
|
target = repo_root / path_pattern
|
|
|
|
if not target.exists():
|
|
continue
|
|
|
|
if target.is_file():
|
|
result = read_file(target, repo_root)
|
|
if result:
|
|
rel_str, content = result
|
|
lang = "typescript" if target.suffix in (".ts", ".tsx") else "javascript"
|
|
chunks.append(f"### FILE: {rel_str}\n```{lang}\n{content}\n```\n")
|
|
files_map[rel_str] = content
|
|
total_size += len(content)
|
|
else:
|
|
# Папка — рекурсивно
|
|
for f in sorted(target.rglob("*")):
|
|
if not f.is_file():
|
|
continue
|
|
if f.suffix not in INCLUDE_EXTENSIONS:
|
|
continue
|
|
if f.name in IGNORE_FILES:
|
|
continue
|
|
if f.name.endswith(".d.ts"):
|
|
continue
|
|
if any(part in IGNORE_DIRS for part in f.relative_to(repo_root).parts):
|
|
continue
|
|
|
|
result = read_file(f, repo_root)
|
|
if result:
|
|
rel_str, content = result
|
|
lang = "typescript" if f.suffix in (".ts", ".tsx") else "javascript"
|
|
chunks.append(f"### FILE: {rel_str}\n```{lang}\n{content}\n```\n")
|
|
files_map[rel_str] = content
|
|
total_size += len(content)
|
|
|
|
print(f" 📦 Пак '{pack['name']}': {len(files_map)} файлов, {total_size:,} символов")
|
|
return "\n".join(chunks), files_map
|
|
|
|
|
|
# ============ Промпт для модели ============
|
|
|
|
SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React + TypeScript кода (Telegram Mini App).
|
|
|
|
Твоя задача — проанализировать код и вернуть СТРОГО JSON-массив находок.
|
|
|
|
ФОРМАТ ОТВЕТА (только JSON, без markdown, без пояснений):
|
|
|
|
[
|
|
{
|
|
"id": "КРАТКОЕ_ИМЯ_БАГА",
|
|
"file": "src/components/FeedModal.tsx",
|
|
"line": 120,
|
|
"snippet": "точное цитирование 1-3 строк из файла",
|
|
"severity": "user_impact",
|
|
"user_effect": "что видит пользователь: модалка не закрывается, картинка обрезается",
|
|
"repro": "открыть Feed → кликнуть по посту → модалка не реагирует на Escape",
|
|
"fix_hint": "добавить обработчик onKeyDown для Escape в useEffect",
|
|
"confidence": 0.86
|
|
}
|
|
]
|
|
|
|
ПРАВИЛА:
|
|
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
|
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
|
|
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
|
|
- maintainability: дубликат компонента, мёртвый код, устаревший API
|
|
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
|
|
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
|
|
4. Максимум 10 находок за этот пак.
|
|
5. НЕ переписывай код. Только описывай, что не так.
|
|
6. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX.
|
|
7. Если проблем нет — верни пустой массив: []
|
|
|
|
Отвечай ТОЛЬКО JSON, без markdown-обёрток.
|
|
"""
|
|
|
|
|
|
USER_PROMPT_TEMPLATE = """Проанализируй часть кода frontend проекта Filwords PL (Telegram Mini App).
|
|
|
|
Это React 19 + TypeScript + Vite + React Router.
|
|
|
|
Пак: **{pack_name}** — {pack_description}
|
|
|
|
Ищи:
|
|
1. Баги и логические ошибки (React hooks, useEffect, state)
|
|
2. Проблемы безопасности (XSS, утечки токенов, невалидные URL)
|
|
3. Проблемы UX (модалки не закрываются, кнопки не работают, скролл)
|
|
4. Утечки памяти (неотписанные слушатели, таймеры)
|
|
5. N+1 запросы к API
|
|
6. Отсутствие обработки ошибок (fetch без catch, loading без finally)
|
|
7. Дублирование кода и компонентов
|
|
8. Мёртвый код (неиспользуемые импорты, старые модалки)
|
|
|
|
Верни JSON-массив находок по формату выше.
|
|
|
|
Вот код:
|
|
|
|
{code}
|
|
"""
|
|
|
|
|
|
# ============ Запрос к Together AI ============
|
|
|
|
def call_together(code: str, pack: dict) -> str:
|
|
"""Отправляет код пака в DeepSeek V4.1 Flash."""
|
|
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...")
|
|
|
|
user_prompt = USER_PROMPT_TEMPLATE.format(
|
|
pack_name=pack["name"],
|
|
pack_description=pack["description"],
|
|
code=code,
|
|
)
|
|
|
|
response = httpx.post(
|
|
"https://api.together.xyz/v1/chat/completions",
|
|
headers={
|
|
"Authorization": f"Bearer {TOGETHER_API_KEY}",
|
|
"Content-Type": "application/json",
|
|
},
|
|
json={
|
|
"model": MODEL,
|
|
"messages": [
|
|
{"role": "system", "content": SYSTEM_PROMPT},
|
|
{"role": "user", "content": user_prompt},
|
|
],
|
|
"max_tokens": MAX_OUTPUT_TOKENS,
|
|
"temperature": 0.2,
|
|
},
|
|
timeout=300.0,
|
|
)
|
|
|
|
if response.status_code != 200:
|
|
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
|
|
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
|
|
return ""
|
|
|
|
data = response.json()
|
|
|
|
try:
|
|
message = data["choices"][0]["message"]
|
|
result = message.get("content")
|
|
if not result:
|
|
result = message.get("reasoning_content")
|
|
if not result:
|
|
raise KeyError("пусто")
|
|
except (KeyError, IndexError, TypeError) as e:
|
|
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
|
return ""
|
|
|
|
usage = data.get("usage", {})
|
|
finish = data["choices"][0].get("finish_reason", "unknown")
|
|
print(
|
|
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
|
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
|
)
|
|
|
|
return result
|
|
|
|
|
|
# ============ Парсинг и фильтрация JSON ============
|
|
|
|
def extract_json(text: str) -> list[dict]:
|
|
"""Извлекает JSON-массив из ответа модели."""
|
|
if not text:
|
|
return []
|
|
text = text.strip()
|
|
if text.startswith("```"):
|
|
text = re.sub(r"^```(?:json)?\s*", "", text)
|
|
text = re.sub(r"\s*```$", "", text)
|
|
|
|
start = text.find("[")
|
|
end = text.rfind("]")
|
|
if start == -1 or end == -1 or end < start:
|
|
print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr)
|
|
return []
|
|
|
|
json_str = text[start:end + 1]
|
|
|
|
try:
|
|
parsed = json.loads(json_str)
|
|
if not isinstance(parsed, list):
|
|
print(f" ⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr)
|
|
return []
|
|
return parsed
|
|
except json.JSONDecodeError as e:
|
|
print(f" ⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr)
|
|
return []
|
|
|
|
|
|
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
|
|
"""Фильтрует находки."""
|
|
stats = {
|
|
"total": len(findings),
|
|
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
|
|
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
|
}
|
|
passed: list[dict] = []
|
|
|
|
for f in findings:
|
|
if not isinstance(f, dict):
|
|
continue
|
|
|
|
file_path = (f.get("file") or "").strip().replace("\\", "/")
|
|
snippet = (f.get("snippet") or "").strip()
|
|
severity = (f.get("severity") or "").strip().lower()
|
|
confidence = f.get("confidence", 0)
|
|
|
|
if file_path not in files_map:
|
|
stats["no_file"] += 1
|
|
continue
|
|
|
|
if not snippet or snippet not in files_map[file_path]:
|
|
stats["snippet_mismatch"] += 1
|
|
continue
|
|
|
|
if severity not in ALLOWED_SEVERITY:
|
|
stats["bad_severity"] += 1
|
|
continue
|
|
|
|
try:
|
|
conf_val = float(confidence)
|
|
except (TypeError, ValueError):
|
|
conf_val = 0
|
|
if conf_val < MIN_CONFIDENCE:
|
|
stats["low_confidence"] += 1
|
|
continue
|
|
|
|
if severity in ("user_impact", "data_risk"):
|
|
if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip():
|
|
stats["no_effect_or_repro"] += 1
|
|
continue
|
|
|
|
passed.append(f)
|
|
stats["passed"] += 1
|
|
|
|
return passed, stats
|
|
|
|
|
|
# ============ Форматирование Issue ============
|
|
|
|
SEVERITY_EMOJI = {"user_impact": "🔴", "data_risk": "🟠", "maintainability": "🟡"}
|
|
SEVERITY_LABEL = {
|
|
"user_impact": "Влияет на пользователя",
|
|
"data_risk": "Риск для данных",
|
|
"maintainability": "Качество кода",
|
|
}
|
|
|
|
|
|
def format_issue_body(
|
|
all_findings: list[dict],
|
|
pack_stats: list[dict],
|
|
total_stats: dict[str, int],
|
|
date_str: str,
|
|
) -> str:
|
|
"""Формирует markdown-тело Issue."""
|
|
lines: list[str] = []
|
|
lines.append("# 🤖 AI Code Review (Frontend)")
|
|
lines.append("")
|
|
lines.append(f"**Дата:** {date_str}")
|
|
lines.append(f"**Модель:** `{MODEL}`")
|
|
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
|
lines.append("")
|
|
lines.append("## 📊 По пакам")
|
|
lines.append("")
|
|
for ps in pack_stats:
|
|
lines.append(f"- **{ps['name']}** — {ps['files']} файлов, "
|
|
f"{ps['symbols']:,} символов, находок={ps['findings']}")
|
|
lines.append("")
|
|
lines.append("---")
|
|
lines.append("")
|
|
|
|
if not all_findings:
|
|
lines.append("✅ **После фильтрации не осталось находок.**")
|
|
else:
|
|
by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []}
|
|
for f in all_findings:
|
|
by_severity.setdefault(f.get("severity", "maintainability"), []).append(f)
|
|
|
|
counter = 0
|
|
for sev in ["user_impact", "data_risk", "maintainability"]:
|
|
items = by_severity.get(sev, [])
|
|
if not items:
|
|
continue
|
|
lines.append(f"## {SEVERITY_EMOJI[sev]} {SEVERITY_LABEL[sev]} ({len(items)})")
|
|
lines.append("")
|
|
for f in items:
|
|
counter += 1
|
|
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
|
|
lines.append("")
|
|
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
|
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
|
lines.append(f"- **Проблема:** {f.get('user_effect', '—')}")
|
|
lines.append(f"- **Как воспроизвести:** {f.get('repro', '—')}")
|
|
lines.append(f"- **Что сделать:** {f.get('fix_hint', '—')}")
|
|
lines.append(f"- **Confidence:** {f.get('confidence', '?')}")
|
|
lines.append("")
|
|
|
|
lines.append("---")
|
|
lines.append("")
|
|
lines.append(f"**Итого:** всего находок={total_stats['total']}, "
|
|
f"snippet не совпал={total_stats['snippet_mismatch']}, "
|
|
f"низкий confidence={total_stats['low_confidence']}, "
|
|
f"прошло={total_stats['passed']}")
|
|
lines.append("")
|
|
lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._")
|
|
|
|
return "\n".join(lines)
|
|
|
|
|
|
# ============ Создание Issue ============
|
|
|
|
def create_issue(title: str, body: str) -> str:
|
|
print("📝 Создаю Issue в Gitea...")
|
|
|
|
response = httpx.post(
|
|
f"{GITEA_INSTANCE}/api/v1/repos/{GITEA_REPO}/issues",
|
|
headers={
|
|
"Authorization": f"token {GITEA_BOT_TOKEN}",
|
|
"Content-Type": "application/json",
|
|
},
|
|
json={"title": title, "body": body},
|
|
timeout=30.0,
|
|
)
|
|
|
|
if response.status_code not in (200, 201):
|
|
print(f"❌ Gitea вернул {response.status_code}: {response.text[:500]}", file=sys.stderr)
|
|
sys.exit(1)
|
|
|
|
data = response.json()
|
|
issue_url = data.get("html_url", "")
|
|
print(f"✅ Issue создан: {issue_url}")
|
|
return issue_url
|
|
|
|
|
|
# ============ Main ============
|
|
|
|
def main() -> None:
|
|
check_env()
|
|
|
|
repo_root = Path(".").resolve()
|
|
print(f"📁 Репозиторий: {repo_root}")
|
|
|
|
all_passed: list[dict] = []
|
|
pack_stats: list[dict] = []
|
|
total_stats = {
|
|
"total": 0, "no_file": 0, "snippet_mismatch": 0,
|
|
"bad_severity": 0, "low_confidence": 0,
|
|
"no_effect_or_repro": 0, "passed": 0,
|
|
}
|
|
|
|
for pack in PACKS:
|
|
print(f"\n📦 Обрабатываю пак: {pack['name']}")
|
|
code, files_map = collect_pack(repo_root, pack)
|
|
|
|
if not code:
|
|
print(f" ⚠️ Пак '{pack['name']}' пуст — пропускаю")
|
|
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
|
continue
|
|
|
|
raw = call_together(code, pack)
|
|
findings = extract_json(raw)
|
|
filtered, stats = validate_and_filter(findings, files_map)
|
|
|
|
all_passed.extend(filtered)
|
|
for k in total_stats:
|
|
total_stats[k] += stats.get(k, 0)
|
|
|
|
pack_stats.append({
|
|
"name": pack["name"],
|
|
"files": len(files_map),
|
|
"symbols": sum(len(c) for c in files_map.values()),
|
|
"findings": len(filtered),
|
|
})
|
|
|
|
print(f" ✅ Пак '{pack['name']}': прошло фильтр {stats['passed']} из {stats['total']}")
|
|
|
|
print(f"\n📊 ИТОГО: прошло фильтр {total_stats['passed']} из {total_stats['total']}")
|
|
|
|
date_str = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M UTC")
|
|
title = f"🤖 AI Review (frontend): {total_stats['passed']} задач ({date_str})"
|
|
body = format_issue_body(all_passed, pack_stats, total_stats, date_str)
|
|
|
|
create_issue(title, body)
|
|
print("🎉 Готово!")
|
|
|
|
|
|
if __name__ == "__main__":
|
|
main() |