diff --git a/scripts/ai_review.py b/scripts/ai_review.py index 62858e7..7bd8f67 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -9,6 +9,15 @@ Frontend слишком большой (1M+ символов) для одног (21.09.2026) Первая версия для frontend — адаптация backend-скрипта. (21.09.2026, вечер) Пак-подход: 4 пака (components, pages, core, admin). (25.09.2026) Разбивка паков: 9 паков, MAX_OUTPUT_TOKENS=32000. +(25.09.2026, вечер) ФИКС root cause: DeepSeek-V4.1-Flash по умолчанию + думает (reasoning), и на сложных/больших паках весь max_tokens уходит + в thinking — content пустой, finish=length, находки теряются + (это видно по 6 из 9 паков в последнем прогоне). + → reasoning выключен явно ("reasoning": {"enabled": False}). + → fallback на reasoning_content убран (это была причина "Ошибка + парсинга JSON": туда попадал сырой текст рассуждений, а не JSON). + → extract_json теперь спасает отдельные валидные находки, даже если + ответ всё же обрежется по max_tokens — вместо потери пака целиком. """ import json @@ -30,9 +39,8 @@ GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend") MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" -# 🔧 ФИКС (25.09.2026): MAX_OUTPUT_TOKENS 12000 → 32000. -# DeepSeek V4.1 Flash поддерживает до 32k output — даём модели в 2.7× больше -# места, чтобы большие паки успевали выдать полный JSON без обрезки. +# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть, +# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже). MAX_OUTPUT_TOKENS = 32000 # Что игнорировать при сборе кода @@ -53,14 +61,8 @@ MIN_CONFIDENCE = 0.7 ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} -# 🔧 НОВОЕ (21.09.2026): паки для frontend -# Каждый пак — отдельный запрос к модели. Файлы одного пака собираются в один текст. -# Если пак получается > 500K символов — модель может не успеть. В таком случае -# дроби ещё мельче (например, по подпапкам components/). -# -# 🔧 ФИКС (25.09.2026): разбивка паков на меньшие — -# DeepSeek V4.1 Flash обрезается на 12k токенов при больших паках. -# components (349k) → 3 пака, pages (401k) → 4 пака. +# Паки для frontend. Если пак получается > 500K символов — модель может +# не успеть, тогда дроби ещё мельче (например, по подпапкам components/). PACKS = [ { "name": "components_editors", @@ -263,7 +265,7 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React 6. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX. 7. Если проблем нет — верни пустой массив: [] -Отвечай ТОЛЬКО JSON, без markdown-обёрток. +Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив. """ @@ -317,6 +319,13 @@ def call_together(code: str, pack: dict) -> str: ], "max_tokens": MAX_OUTPUT_TOKENS, "temperature": 0.2, + # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию + # думает перед ответом. На сложных/больших паках весь + # max_tokens уходит в thinking, content остаётся пустым, + # finish_reason="length" — находки терялись целиком (6 из 9 + # паков в последнем прогоне). Задаче нужна строгая экстракция, + # а не рассуждения, поэтому reasoning выключаем явно. + "reasoning": {"enabled": False}, }, timeout=300.0, ) @@ -332,9 +341,12 @@ def call_together(code: str, pack: dict) -> str: message = data["choices"][0]["message"] result = message.get("content") if not result: - result = message.get("reasoning_content") - if not result: - raise KeyError("пусто") + # 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content + # убран. Он был источником "Ошибка парсинга JSON" — туда + # попадал сырой текст рассуждений модели, а не JSON, и + # extract_json пытался распарсить мусор. Теперь при пустом + # content просто считаем, что пак не дал результата. + raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: print(f" ❌ Формат ответа: {e}", file=sys.stderr) return "" @@ -345,6 +357,12 @@ def call_together(code: str, pack: dict) -> str: f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, " f"выход={usage.get('completion_tokens', 0)}, finish={finish}" ) + if finish == "length": + print( + f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — " + f"пробуем спасти то, что успело сгенериться", + file=sys.stderr, + ) return result @@ -352,7 +370,14 @@ def call_together(code: str, pack: dict) -> str: # ============ Парсинг и фильтрация JSON ============ def extract_json(text: str) -> list[dict]: - """Извлекает JSON-массив из ответа модели.""" + """Извлекает находки из ответа модели. + + 🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON + весь пак терял ВСЕ находки — json.loads() падал на всём массиве + целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode) + и останавливаемся на первом, который не удалось распарсить — то есть + спасаем всё, что модель успела сгенерить до обрезки. + """ if not text: return [] text = text.strip() @@ -361,22 +386,33 @@ def extract_json(text: str) -> list[dict]: text = re.sub(r"\s*```$", "", text) start = text.find("[") - end = text.rfind("]") - if start == -1 or end == -1 or end < start: + if start == -1: print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr) return [] - json_str = text[start:end + 1] + decoder = json.JSONDecoder() + idx, n = start + 1, len(text) + results: list[dict] = [] - try: - parsed = json.loads(json_str) - if not isinstance(parsed, list): - print(f" ⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr) - return [] - return parsed - except json.JSONDecodeError as e: - print(f" ⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr) - return [] + while idx < n: + while idx < n and text[idx] in " \t\n\r,": + idx += 1 + if idx >= n or text[idx] == "]": + break + try: + obj, end = decoder.raw_decode(text, idx) + except json.JSONDecodeError: + # Дальше — обрезанный объект (ответ упёрся в max_tokens). + # Останавливаемся, но не теряем то, что уже успели распарсить. + break + if isinstance(obj, dict): + results.append(obj) + idx = end + + if not results: + print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr) + + return results def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]: