#!/usr/bin/env python3 """ AI Code Review for Filwords PL Frontend (JSON-контракт + пак-подход) Frontend слишком большой (1M+ символов) для одного запроса — модель уходит в reasoning и не успевает выдать JSON. Решение: разбиваем файлы на паки по папкам, делаем отдельный запрос на каждый пак, объединяем находки. (21.09.2026) Первая версия для frontend — адаптация backend-скрипта. (21.09.2026, вечер) Пак-подход: 4 пака (components, pages, core, admin). (25.09.2026) Разбивка паков: 9 паков, MAX_OUTPUT_TOKENS=32000. (25.09.2026, вечер) ФИКС root cause: DeepSeek-V4.1-Flash по умолчанию думает (reasoning), и на сложных/больших паках весь max_tokens уходит в thinking — content пустой, finish=length, находки теряются (это видно по 6 из 9 паков в последнем прогоне). → reasoning выключен явно ("reasoning": {"enabled": False}). → fallback на reasoning_content убран (это была причина "Ошибка парсинга JSON": туда попадал сырой текст рассуждений, а не JSON). → extract_json теперь спасает отдельные валидные находки, даже если ответ всё же обрежется по max_tokens — вместо потери пака целиком. """ import json import os import re import sys from datetime import datetime, timezone from pathlib import Path import httpx # ============ Настройки ============ TOGETHER_API_KEY = os.environ.get("TOGETHER_API_KEY") GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend") MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" # DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть, # но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже). MAX_OUTPUT_TOKENS = 32000 # Что игнорировать при сборе кода IGNORE_DIRS = { "node_modules", "dist", "build", ".git", ".gitea", "public", "coverage", ".vite", ".cache", } IGNORE_FILES = {"ai_review.py", "vite-env.d.ts"} # Расширения, которые читаем INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"} # Максимальный размер одного файла (символов) MAX_FILE_SIZE = 100_000 # Фильтр находок MIN_CONFIDENCE = 0.7 ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} # Паки для frontend. Если пак получается > 500K символов — модель может # не успеть, тогда дроби ещё мельче (например, по подпапкам components/). PACKS = [ { "name": "components_editors", "paths": [ "src/components/ContentEditorMenu.tsx", "src/components/LessonEditorModal.tsx", "src/components/LessonsEditor.tsx", "src/components/TextsEditor.tsx", "src/components/WordsEditor.tsx", ], "description": "UI: редакторы контента", }, { "name": "components_modals", "paths": [ "src/components/AdminDashboardModal.tsx", "src/components/FeedModal.tsx", "src/components/FeedPostComposer.tsx", "src/components/OnboardingModal.tsx", "src/components/PronunciationModal.tsx", "src/components/RulesModal.tsx", "src/components/SupportChatModal.tsx", "src/components/TeacherMenuModal.tsx", "src/components/TypingModal.tsx", ], "description": "UI: модалки", }, { "name": "components_misc", "paths": [ "src/components/AnimatedCat.tsx", "src/components/HighlightsCarousel.tsx", "src/components/HintPanel.tsx", "src/components/ImageLightbox.tsx", "src/components/LetterGrid.tsx", ], "description": "UI: прочие компоненты (игры, карусель)", }, { "name": "pages_lessons", "paths": [ "src/pages/LessonsPage.tsx", "src/pages/TopicLessonsPage.tsx", "src/pages/LessonViewPage.tsx", "src/pages/TestViewPage.tsx", "src/pages/PracticeViewPage.tsx", ], "description": "Страницы: уроки и тесты", }, { "name": "pages_teacher", "paths": [ "src/pages/TeacherChatPage.tsx", "src/pages/PronunciationPage.tsx", "src/pages/TypingPage.tsx", ], "description": "Страницы: учитель, произношение, печать", }, { "name": "pages_games", "paths": [ "src/pages/WordSearchPage.tsx", "src/pages/SentenceBuilderPage.tsx", "src/pages/WordQuizPage.tsx", "src/pages/BubbleWordsPage.tsx", ], "description": "Страницы: игры", }, { "name": "pages_menu", "paths": [ "src/pages/MenuPage.tsx", "src/pages/LeaderboardPage.tsx", "src/pages/FlashcardsPage.tsx", "src/pages/LanguageSelectPage.tsx", ], "description": "Страницы: меню, рейтинг, карточки, язык", }, { "name": "core", "paths": ["src/App.tsx", "src/api.ts", "src/telegram.ts", "src/main.tsx"], "description": "Ядро: App, api, telegram, входная точка", }, { "name": "infra", "paths": ["src/hooks/", "src/i18n/", "src/styles/", "src/data/", "src/types/"], "description": "Инфраструктура: хуки, локализация, стили, данные, типы", }, ] # ============ Проверка окружения ============ def check_env() -> None: missing = [] if not TOGETHER_API_KEY: missing.append("TOGETHER_API_KEY") if not GITEA_BOT_TOKEN: missing.append("BOT_TOKEN") if missing: print(f"❌ Отсутствуют переменные окружения: {', '.join(missing)}", file=sys.stderr) sys.exit(1) # ============ Сбор кода ============ def read_file(path: Path, repo_root: Path) -> tuple[str, str] | None: """Читает один файл. Возвращает (относительный_путь, содержимое) или None.""" try: content = path.read_text(encoding="utf-8") except Exception as e: print(f"⚠️ Не прочитал {path.relative_to(repo_root)}: {e}", file=sys.stderr) return None if len(content) > MAX_FILE_SIZE: print(f"⚠️ Пропущен большой файл: {path.relative_to(repo_root)} ({len(content)} символов)", file=sys.stderr) return None rel_str = str(path.relative_to(repo_root)).replace("\\", "/") return rel_str, content def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]: """Собирает файлы одного пака. Возвращает (текст, словарь {путь: содержимое}).""" chunks: list[str] = [] files_map: dict[str, str] = {} total_size = 0 for path_pattern in pack["paths"]: target = repo_root / path_pattern if not target.exists(): continue if target.is_file(): result = read_file(target, repo_root) if result: rel_str, content = result lang = "typescript" if target.suffix in (".ts", ".tsx") else "javascript" chunks.append(f"### FILE: {rel_str}\n```{lang}\n{content}\n```\n") files_map[rel_str] = content total_size += len(content) else: # Папка — рекурсивно for f in sorted(target.rglob("*")): if not f.is_file(): continue if f.suffix not in INCLUDE_EXTENSIONS: continue if f.name in IGNORE_FILES: continue if f.name.endswith(".d.ts"): continue if any(part in IGNORE_DIRS for part in f.relative_to(repo_root).parts): continue result = read_file(f, repo_root) if result: rel_str, content = result lang = "typescript" if f.suffix in (".ts", ".tsx") else "javascript" chunks.append(f"### FILE: {rel_str}\n```{lang}\n{content}\n```\n") files_map[rel_str] = content total_size += len(content) print(f" 📦 Пак '{pack['name']}': {len(files_map)} файлов, {total_size:,} символов") return "\n".join(chunks), files_map # ============ Промпт для модели ============ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React + TypeScript кода (Telegram Mini App). Твоя задача — проанализировать код и вернуть СТРОГО JSON-массив находок. ФОРМАТ ОТВЕТА (только JSON, без markdown, без пояснений): [ { "id": "КРАТКОЕ_ИМЯ_БАГА", "file": "src/components/FeedModal.tsx", "line": 120, "snippet": "точное цитирование 1-3 строк из файла", "severity": "user_impact", "user_effect": "что видит пользователь: модалка не закрывается, картинка обрезается", "repro": "открыть Feed → кликнуть по посту → модалка не реагирует на Escape", "fix_hint": "добавить обработчик onKeyDown для Escape в useEffect", "confidence": 0.86 } ] ПРАВИЛА: 1. severity — только одно из: "user_impact", "data_risk", "maintainability". - user_impact: пользователь видит баг, ломается UX, не работает кнопка - data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI - maintainability: дубликат компонента, мёртвый код, устаревший API 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. 3. confidence — число от 0 до 1. Если меньше 0.7 — не включай. 4. Максимум 10 находок за этот пак. 5. НЕ переписывай код. Только описывай, что не так. 6. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX. 7. Если проблем нет — верни пустой массив: [] Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив. """ USER_PROMPT_TEMPLATE = """Проанализируй часть кода frontend проекта Filwords PL (Telegram Mini App). Это React 19 + TypeScript + Vite + React Router. Пак: **{pack_name}** — {pack_description} Ищи: 1. Баги и логические ошибки (React hooks, useEffect, state) 2. Проблемы безопасности (XSS, утечки токенов, невалидные URL) 3. Проблемы UX (модалки не закрываются, кнопки не работают, скролл) 4. Утечки памяти (неотписанные слушатели, таймеры) 5. N+1 запросы к API 6. Отсутствие обработки ошибок (fetch без catch, loading без finally) 7. Дублирование кода и компонентов 8. Мёртвый код (неиспользуемые импорты, старые модалки) Верни JSON-массив находок по формату выше. Вот код: {code} """ # ============ Запрос к Together AI ============ def call_together(code: str, pack: dict) -> str: """Отправляет код пака в DeepSeek V4.1 Flash.""" print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...") user_prompt = USER_PROMPT_TEMPLATE.format( pack_name=pack["name"], pack_description=pack["description"], code=code, ) response = httpx.post( "https://api.together.xyz/v1/chat/completions", headers={ "Authorization": f"Bearer {TOGETHER_API_KEY}", "Content-Type": "application/json", }, json={ "model": MODEL, "messages": [ {"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": user_prompt}, ], "max_tokens": MAX_OUTPUT_TOKENS, "temperature": 0.2, # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию # думает перед ответом. На сложных/больших паках весь # max_tokens уходит в thinking, content остаётся пустым, # finish_reason="length" — находки терялись целиком (6 из 9 # паков в последнем прогоне). Задаче нужна строгая экстракция, # а не рассуждения, поэтому reasoning выключаем явно. "reasoning": {"enabled": False}, }, timeout=300.0, ) if response.status_code != 200: print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr) print(f" Ответ: {response.text[:500]}", file=sys.stderr) return "" data = response.json() try: message = data["choices"][0]["message"] result = message.get("content") if not result: # 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content # убран. Он был источником "Ошибка парсинга JSON" — туда # попадал сырой текст рассуждений модели, а не JSON, и # extract_json пытался распарсить мусор. Теперь при пустом # content просто считаем, что пак не дал результата. raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: print(f" ❌ Формат ответа: {e}", file=sys.stderr) return "" usage = data.get("usage", {}) finish = data["choices"][0].get("finish_reason", "unknown") print( f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, " f"выход={usage.get('completion_tokens', 0)}, finish={finish}" ) if finish == "length": print( f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — " f"пробуем спасти то, что успело сгенериться", file=sys.stderr, ) return result # ============ Парсинг и фильтрация JSON ============ def extract_json(text: str) -> list[dict]: """Извлекает находки из ответа модели. 🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON весь пак терял ВСЕ находки — json.loads() падал на всём массиве целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode) и останавливаемся на первом, который не удалось распарсить — то есть спасаем всё, что модель успела сгенерить до обрезки. """ if not text: return [] text = text.strip() if text.startswith("```"): text = re.sub(r"^```(?:json)?\s*", "", text) text = re.sub(r"\s*```$", "", text) start = text.find("[") if start == -1: print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr) return [] decoder = json.JSONDecoder() idx, n = start + 1, len(text) results: list[dict] = [] while idx < n: while idx < n and text[idx] in " \t\n\r,": idx += 1 if idx >= n or text[idx] == "]": break try: obj, end = decoder.raw_decode(text, idx) except json.JSONDecodeError: # Дальше — обрезанный объект (ответ упёрся в max_tokens). # Останавливаемся, но не теряем то, что уже успели распарсить. break if isinstance(obj, dict): results.append(obj) idx = end if not results: print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr) return results def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]: """Фильтрует находки.""" stats = { "total": len(findings), "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, } passed: list[dict] = [] for f in findings: if not isinstance(f, dict): continue file_path = (f.get("file") or "").strip().replace("\\", "/") snippet = (f.get("snippet") or "").strip() severity = (f.get("severity") or "").strip().lower() confidence = f.get("confidence", 0) if file_path not in files_map: stats["no_file"] += 1 continue if not snippet or snippet not in files_map[file_path]: stats["snippet_mismatch"] += 1 continue if severity not in ALLOWED_SEVERITY: stats["bad_severity"] += 1 continue try: conf_val = float(confidence) except (TypeError, ValueError): conf_val = 0 if conf_val < MIN_CONFIDENCE: stats["low_confidence"] += 1 continue if severity in ("user_impact", "data_risk"): if not (f.get("user_effect") or "").strip() or not (f.get("repro") or "").strip(): stats["no_effect_or_repro"] += 1 continue passed.append(f) stats["passed"] += 1 return passed, stats # ============ Форматирование Issue ============ SEVERITY_EMOJI = {"user_impact": "🔴", "data_risk": "🟠", "maintainability": "🟡"} SEVERITY_LABEL = { "user_impact": "Влияет на пользователя", "data_risk": "Риск для данных", "maintainability": "Качество кода", } def format_issue_body( all_findings: list[dict], pack_stats: list[dict], total_stats: dict[str, int], date_str: str, ) -> str: """Формирует markdown-тело Issue.""" lines: list[str] = [] lines.append("# 🤖 AI Code Review (Frontend)") lines.append("") lines.append(f"**Дата:** {date_str}") lines.append(f"**Модель:** `{MODEL}`") lines.append(f"**Репозиторий:** `{GITEA_REPO}`") lines.append("") lines.append("## 📊 По пакам") lines.append("") for ps in pack_stats: lines.append(f"- **{ps['name']}** — {ps['files']} файлов, " f"{ps['symbols']:,} символов, находок={ps['findings']}") lines.append("") lines.append("---") lines.append("") if not all_findings: lines.append("✅ **После фильтрации не осталось находок.**") else: by_severity: dict[str, list[dict]] = {"user_impact": [], "data_risk": [], "maintainability": []} for f in all_findings: by_severity.setdefault(f.get("severity", "maintainability"), []).append(f) counter = 0 for sev in ["user_impact", "data_risk", "maintainability"]: items = by_severity.get(sev, []) if not items: continue lines.append(f"## {SEVERITY_EMOJI[sev]} {SEVERITY_LABEL[sev]} ({len(items)})") lines.append("") for f in items: counter += 1 lines.append(f"### {counter}. {f.get('id', 'без имени')}") lines.append("") lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`") lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`") lines.append(f"- **Проблема:** {f.get('user_effect', '—')}") lines.append(f"- **Как воспроизвести:** {f.get('repro', '—')}") lines.append(f"- **Что сделать:** {f.get('fix_hint', '—')}") lines.append(f"- **Confidence:** {f.get('confidence', '?')}") lines.append("") lines.append("---") lines.append("") lines.append(f"**Итого:** всего находок={total_stats['total']}, " f"snippet не совпал={total_stats['snippet_mismatch']}, " f"низкий confidence={total_stats['low_confidence']}, " f"прошло={total_stats['passed']}") lines.append("") lines.append("_Этот Issue создан автоматически. Исправления делаются вручную._") return "\n".join(lines) # ============ Создание Issue ============ def create_issue(title: str, body: str) -> str: print("📝 Создаю Issue в Gitea...") response = httpx.post( f"{GITEA_INSTANCE}/api/v1/repos/{GITEA_REPO}/issues", headers={ "Authorization": f"token {GITEA_BOT_TOKEN}", "Content-Type": "application/json", }, json={"title": title, "body": body}, timeout=30.0, ) if response.status_code not in (200, 201): print(f"❌ Gitea вернул {response.status_code}: {response.text[:500]}", file=sys.stderr) sys.exit(1) data = response.json() issue_url = data.get("html_url", "") print(f"✅ Issue создан: {issue_url}") return issue_url # ============ Main ============ def main() -> None: check_env() repo_root = Path(".").resolve() print(f"📁 Репозиторий: {repo_root}") all_passed: list[dict] = [] pack_stats: list[dict] = [] total_stats = { "total": 0, "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, } for pack in PACKS: print(f"\n📦 Обрабатываю пак: {pack['name']}") code, files_map = collect_pack(repo_root, pack) if not code: print(f" ⚠️ Пак '{pack['name']}' пуст — пропускаю") pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0}) continue raw = call_together(code, pack) findings = extract_json(raw) filtered, stats = validate_and_filter(findings, files_map) all_passed.extend(filtered) for k in total_stats: total_stats[k] += stats.get(k, 0) pack_stats.append({ "name": pack["name"], "files": len(files_map), "symbols": sum(len(c) for c in files_map.values()), "findings": len(filtered), }) print(f" ✅ Пак '{pack['name']}': прошло фильтр {stats['passed']} из {stats['total']}") print(f"\n📊 ИТОГО: прошло фильтр {total_stats['passed']} из {total_stats['total']}") date_str = datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M UTC") title = f"🤖 AI Review (frontend): {total_stats['passed']} задач ({date_str})" body = format_issue_body(all_passed, pack_stats, total_stats, date_str) create_issue(title, body) print("🎉 Готово!") if __name__ == "__main__": main()