From c3c0521ae4c4a283b5b6729f0859b0c097f6b5bc Mon Sep 17 00:00:00 2001 From: Drobysh Date: Fri, 25 Sep 2026 18:31:43 +0000 Subject: [PATCH] =?UTF-8?q?=F0=9F=94=A7=20AI=20Review:=20DeepSeek=20V4=20P?= =?UTF-8?q?ro=200813=20(quality-first)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст) - MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать всё подряд) - MIN_CONFIDENCE: 0.7 → 0.75 - SYSTEM_PROMPT: запрет 'Ок'/'Не баг'/'Работает корректно', ТОП-10 по severity - USER_PROMPT: 'Ищи ТОЛЬКО реальные проблемы' - validate_and_filter: overshoot guard (> 15 находок → топ-10 по confidence) - reasoning: {enabled: false} (остаётся) Цель: убрать 81% мусора из routers_learning (было 174 находки, ~130 'Ок'). --- scripts/ai_review.py | 101 ++++++++++++++++++++++++++++++------------- 1 file changed, 72 insertions(+), 29 deletions(-) diff --git a/scripts/ai_review.py b/scripts/ai_review.py index fa41d83..9c1a17d 100644 --- a/scripts/ai_review.py +++ b/scripts/ai_review.py @@ -19,6 +19,14 @@ Backend слишком большой (~440K символов) для одног парсинга JSON": туда попадал сырой текст рассуждений, а не JSON). → extract_json теперь спасает отдельные валидные находки, даже если ответ всё же обрежется по max_tokens — вместо потери пака целиком. +(26.09.2026) ФИКС quality-first: + → MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 + (Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст). + → MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд"). + → SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно", + confidence >= 0.75, ТОП-10 по severity. + → validate_and_filter: overshoot guard — если находок > 15 на пак, + берём только топ-10 по confidence (признак, что модель "потекла"). """ import json @@ -38,11 +46,16 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") -MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" +# 🔧 ФИКС (26.09.2026): ai_review_quality_first — +# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%, +# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит), +# но качество находок важнее. +MODEL = "deepseek-ai/DeepSeek-V4-Pro-0813" -# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть, -# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже). -MAX_OUTPUT_TOKENS = 32000 +# 🔧 ФИКС (26.09.2026): ai_review_overshoot — +# 32000 токенов = модель пишет "Ок" на каждую функцию. +# 10 находок × ~500 токенов = 5000. 8000 — с запасом. +MAX_OUTPUT_TOKENS = 8000 # Что игнорировать при сборе кода IGNORE_DIRS = { @@ -63,9 +76,17 @@ INCLUDE_EXTENSIONS = {".py"} MAX_FILE_SIZE = 100_000 # Фильтр находок -MIN_CONFIDENCE = 0.7 +# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75. +# Модель стала сильнее — требуем уверенности. +MIN_CONFIDENCE = 0.75 ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} +# 🔧 ФИКС (26.09.2026): overshoot guard. +# Если модель выдала > 15 находок на пак — она "потекла", +# берём только топ-10 по confidence. +OVERSHOOT_LIMIT = 15 +OVERSHOOT_KEEP = 10 + # Паки для backend. Пути проверены по факту (`ls routers/`). PACKS = [ @@ -221,17 +242,19 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python } ] -ПРАВИЛА: +ПРАВИЛА (соблюдай строго): 1. severity — только одно из: "user_impact", "data_risk", "maintainability". - user_impact: ученик видит баг, теряет прогресс, очки, доступ - data_risk: порча БД, утечка, неверный auth/rate-limit - maintainability: запах, дубль, устаревший API 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку. -3. confidence — число от 0 до 1. Если меньше 0.7 — не включай. -4. Максимум 10 находок за этот пак. -5. НЕ переписывай код. Только описывай, что не так и что сделать. -6. Без воды. Без общих слов. -7. Если проблем нет — верни пустой массив: [] +3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай. +4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability). +5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы. +6. НЕ комментируй каждую функцию. Только баги, security, UX. +7. НЕ переписывай код. Только описывай, что не так и что сделать. +8. Без воды. Без общих слов. +9. Если проблем нет — верни пустой массив: []. Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив. """ @@ -243,15 +266,17 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про Пак: **{pack_name}** — {pack_description} -Ищи: -1. Баги и логические ошибки +Ищи ТОЛЬКО реальные проблемы: +1. Баги и логические ошибки (не "Ок", а "тут падает") 2. Проблемы безопасности (утечки, инъекции, неправильная валидация) 3. N+1 запросы к БД -4. Отсутствие обработки ошибок +4. Отсутствие обработки ошибок (где РЕАЛЬНО упадёт) 5. Дублирование кода 6. Мёртвый код 7. Слабые места архитектуры +НЕ пиши "Ок", "Не баг", "Работает корректно". Если проблем нет — верни []. + Верни JSON-массив находок по формату выше. Вот код: @@ -263,8 +288,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про # ============ Запрос к Together AI ============ def call_together(code: str, pack: dict) -> str: - """Отправляет код пака в DeepSeek V4.1 Flash.""" - print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...") + """Отправляет код пака в DeepSeek V4 Pro.""" + print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...") user_prompt = USER_PROMPT_TEMPLATE.format( pack_name=pack["name"], @@ -286,12 +311,12 @@ def call_together(code: str, pack: dict) -> str: ], "max_tokens": MAX_OUTPUT_TOKENS, "temperature": 0.2, - # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию - # думает перед ответом. На сложных/больших паках весь - # max_tokens уходит в thinking, content остаётся пустым, + # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro + # по умолчанию думают перед ответом. На сложных/больших паках + # весь max_tokens уходит в thinking, content остаётся пустым, # finish_reason="length" — находки терялись целиком. - # Задаче нужна строгая экстракция, а не рассуждения, поэтому - # reasoning выключаем явно. + # Задаче нужна строгая экстракция, а не рассуждения, + # поэтому reasoning выключаем явно. "reasoning": {"enabled": False}, }, timeout=300.0, @@ -309,10 +334,7 @@ def call_together(code: str, pack: dict) -> str: result = message.get("content") if not result: # 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content - # убран. Он был источником "Ошибка парсинга JSON" — туда - # попадал сырой текст рассуждений модели, а не JSON, и - # extract_json пытался распарсить мусор. Теперь при пустом - # content просто считаем, что пак не дал результата. + # убран. Он был источником "Ошибка парсинга JSON". raise KeyError("пусто (content отсутствует)") except (KeyError, IndexError, TypeError) as e: print(f" ❌ Формат ответа: {e}", file=sys.stderr) @@ -378,8 +400,6 @@ def extract_json(text: str) -> list[dict]: if not results: print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr) - elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start: - pass # на всякий случай, не используется — оставлено для ясности логики выше return results @@ -388,12 +408,34 @@ def validate_and_filter( findings: list[dict], files_map: dict[str, str], ) -> tuple[list[dict], dict[str, int]]: - """Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.7, severity валидна.""" + """Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна. + + 🔧 ФИКС (26.09.2026): overshoot guard. + Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг"). + Берём только топ-10 по confidence. + """ stats = { "total": len(findings), + "overshoot": 0, "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, } + + # 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard — + # если находок > OVERSHOOT_LIMIT, модель "потекла". + if len(findings) > OVERSHOOT_LIMIT: + print( + f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), " + f"берём топ-{OVERSHOOT_KEEP} по confidence", + file=sys.stderr, + ) + findings = sorted( + [f for f in findings if isinstance(f, dict)], + key=lambda x: float(x.get("confidence", 0) or 0), + reverse=True, + )[:OVERSHOOT_KEEP] + stats["overshoot"] = 1 + passed: list[dict] = [] for f in findings: @@ -498,6 +540,7 @@ def format_issue_body( lines.append("---") lines.append("") lines.append(f"**Итого:** всего находок={total_stats['total']}, " + f"overshoot={total_stats.get('overshoot', 0)}, " f"snippet не совпал={total_stats['snippet_mismatch']}, " f"низкий confidence={total_stats['low_confidence']}, " f"прошло={total_stats['passed']}") @@ -544,7 +587,7 @@ def main() -> None: all_passed: list[dict] = [] pack_stats: list[dict] = [] total_stats = { - "total": 0, "no_file": 0, "snippet_mismatch": 0, + "total": 0, "overshoot": 0, "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, }