diff --git a/scripts/ai_review.py b/scripts/ai_review.py index 7cb3efa..fa41d83 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -11,6 +11,14 @@ Backend слишком большой (~440K символов) для одног (21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence. (22.09.2026, вечер) Пак-подход: 3 пака (routers, core, services+scripts). (25.09.2026) Разбивка routers на 4 пака, MAX_OUTPUT_TOKENS=32000. +(25.09.2026, вечер) ФИКС root cause: DeepSeek-V4.1-Flash по умолчанию + думает (reasoning), и на сложных паках весь max_tokens уходит в + thinking — content пустой, finish=length, находки теряются. + → reasoning выключен явно ("reasoning": {"enabled": False}). + → fallback на reasoning_content убран (это была причина "Ошибка + парсинга JSON": туда попадал сырой текст рассуждений, а не JSON). + → extract_json теперь спасает отдельные валидные находки, даже если + ответ всё же обрежется по max_tokens — вместо потери пака целиком. """ import json @@ -32,9 +40,8 @@ GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" -# 🔧 ФИКС (25.09.2026): MAX_OUTPUT_TOKENS 12000 → 32000. -# DeepSeek V4.1 Flash поддерживает до 32k output — даём модели в 2.7× больше -# места, чтобы большие паки успевали выдать полный JSON без обрезки. +# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть, +# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже). MAX_OUTPUT_TOKENS = 32000 # Что игнорировать при сборе кода @@ -46,8 +53,6 @@ IGNORE_DIRS = { IGNORE_FILES = { "ai_review.py", "conftest.py", "code_summary.py", "add_levels.py", "generate_levels_v2.py", - # 🔧 ФИКС (25.09.2026): __init__.py исключён — пустой в каждом роутере, - # нет смысла гонять его в модель. "__init__.py", } @@ -62,12 +67,7 @@ MIN_CONFIDENCE = 0.7 ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} -# 🔧 НОВОЕ (22.09.2026): паки для backend -# Backend ~440K символов — не влезает в один запрос (finish=length). -# Разбиваем на паки. Каждый пак — отдельный запрос к модели. -# -# 🔧 ФИКС (25.09.2026): разбивка паков на меньшие — -# routers (329k) → 4 пака. Пути проверены по факту (`ls routers/`). +# Паки для backend. Пути проверены по факту (`ls routers/`). PACKS = [ { "name": "routers_games", @@ -233,7 +233,7 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python 6. Без воды. Без общих слов. 7. Если проблем нет — верни пустой массив: [] -Отвечай ТОЛЬКО JSON, без markdown-обёрток. +Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив. """ @@ -286,6 +286,13 @@ def call_together(code: str, pack: dict) -> str: ], "max_tokens": MAX_OUTPUT_TOKENS, "temperature": 0.2, + # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию + # думает перед ответом. На сложных/больших паках весь + # max_tokens уходит в thinking, content остаётся пустым, + # finish_reason="length" — находки терялись целиком. + # Задаче нужна строгая экстракция, а не рассуждения, поэтому + # reasoning выключаем явно. + "reasoning": {"enabled": False}, }, timeout=300.0, ) @@ -301,9 +308,12 @@ def call_together(code: str, pack: dict) -> str: message = data["choices"][0]["message"] result = message.get("content") if not result: - result = message.get("reasoning_content") - if not result: - raise KeyError("пусто") + # 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content + # убран. Он был источником "Ошибка парсинга JSON" — туда + # попадал сырой текст рассуждений модели, а не JSON, и + # extract_json пытался распарсить мусор. Теперь при пустом + # content просто считаем, что пак не дал результата. + raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: print(f" ❌ Формат ответа: {e}", file=sys.stderr) return "" @@ -314,6 +324,12 @@ def call_together(code: str, pack: dict) -> str: f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, " f"выход={usage.get('completion_tokens', 0)}, finish={finish}" ) + if finish == "length": + print( + f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — " + f"пробуем спасти то, что успело сгенериться", + file=sys.stderr, + ) return result @@ -321,7 +337,14 @@ def call_together(code: str, pack: dict) -> str: # ============ Парсинг и фильтрация JSON ============ def extract_json(text: str) -> list[dict]: - """Извлекает JSON-массив из ответа модели.""" + """Извлекает находки из ответа модели. + + 🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON + весь пак терял ВСЕ находки — json.loads() падал на всём массиве + целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode) + и останавливаемся на первом, который не удалось распарсить — то есть + спасаем всё, что модель успела сгенерить до обрезки. + """ if not text: return [] text = text.strip() @@ -330,22 +353,35 @@ def extract_json(text: str) -> list[dict]: text = re.sub(r"\s*```$", "", text) start = text.find("[") - end = text.rfind("]") - if start == -1 or end == -1 or end < start: + if start == -1: print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr) return [] - json_str = text[start:end + 1] + decoder = json.JSONDecoder() + idx, n = start + 1, len(text) + results: list[dict] = [] - try: - parsed = json.loads(json_str) - if not isinstance(parsed, list): - print(f" ⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr) - return [] - return parsed - except json.JSONDecodeError as e: - print(f" ⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr) - return [] + while idx < n: + while idx < n and text[idx] in " \t\n\r,": + idx += 1 + if idx >= n or text[idx] == "]": + break + try: + obj, end = decoder.raw_decode(text, idx) + except json.JSONDecodeError: + # Дальше — обрезанный объект (ответ упёрся в max_tokens). + # Останавливаемся, но не теряем то, что уже успели распарсить. + break + if isinstance(obj, dict): + results.append(obj) + idx = end + + if not results: + print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr) + elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start: + pass # на всякий случай, не используется — оставлено для ясности логики выше + + return results def validate_and_filter(