🔧 AI Review: DeepSeek V4 Pro 0813 (quality-first)

- MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
  (Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст)
- MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать всё подряд)
- MIN_CONFIDENCE: 0.7 → 0.75
- SYSTEM_PROMPT: запрет 'Ок'/'Не баг'/'Работает корректно', ТОП-10 по severity
- USER_PROMPT: 'Ищи ТОЛЬКО реальные проблемы'
- validate_and_filter: overshoot guard (> 15 находок → топ-10 по confidence)
- reasoning: {enabled: false} (остаётся)

Цель: убрать 81% мусора из routers_learning (было 174 находки, ~130 'Ок').
This commit is contained in:
2026-09-25 18:31:43 +00:00
parent f7a4bf5c71
commit c3c0521ae4
+72 -29
View File
@@ -19,6 +19,14 @@ Backend слишком большой (~440K символов) для одног
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON). парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
→ extract_json теперь спасает отдельные валидные находки, даже если → extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком. ответ всё же обрежется по max_tokens — вместо потери пака целиком.
(26.09.2026) ФИКС quality-first:
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
→ MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд").
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
confidence >= 0.75, ТОП-10 по severity.
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence (признак, что модель "потекла").
""" """
import json import json
@@ -38,11 +46,16 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" # 🔧 ФИКС (26.09.2026): ai_review_quality_first —
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит),
# но качество находок важнее.
MODEL = "deepseek-ai/DeepSeek-V4-Pro-0813"
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть, # 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже). # 32000 токенов = модель пишет "Ок" на каждую функцию.
MAX_OUTPUT_TOKENS = 32000 # 10 находок × ~500 токенов = 5000. 8000 — с запасом.
MAX_OUTPUT_TOKENS = 8000
# Что игнорировать при сборе кода # Что игнорировать при сборе кода
IGNORE_DIRS = { IGNORE_DIRS = {
@@ -63,9 +76,17 @@ INCLUDE_EXTENSIONS = {".py"}
MAX_FILE_SIZE = 100_000 MAX_FILE_SIZE = 100_000
# Фильтр находок # Фильтр находок
MIN_CONFIDENCE = 0.7 # 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
# Модель стала сильнее — требуем уверенности.
MIN_CONFIDENCE = 0.75
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
# 🔧 ФИКС (26.09.2026): overshoot guard.
# Если модель выдала > 15 находок на пак — она "потекла",
# берём только топ-10 по confidence.
OVERSHOOT_LIMIT = 15
OVERSHOOT_KEEP = 10
# Паки для backend. Пути проверены по факту (`ls routers/`). # Паки для backend. Пути проверены по факту (`ls routers/`).
PACKS = [ PACKS = [
@@ -221,17 +242,19 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python
} }
] ]
ПРАВИЛА: ПРАВИЛА (соблюдай строго):
1. severity — только одно из: "user_impact", "data_risk", "maintainability". 1. severity — только одно из: "user_impact", "data_risk", "maintainability".
- user_impact: ученик видит баг, теряет прогресс, очки, доступ - user_impact: ученик видит баг, теряет прогресс, очки, доступ
- data_risk: порча БД, утечка, неверный auth/rate-limit - data_risk: порча БД, утечка, неверный auth/rate-limit
- maintainability: запах, дубль, устаревший API - maintainability: запах, дубль, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку. 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку.
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай. 3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
4. Максимум 10 находок за этот пак. 4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
5. НЕ переписывай код. Только описывай, что не так и что сделать. 5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
6. Без воды. Без общих слов. 6. НЕ комментируй каждую функцию. Только баги, security, UX.
7. Если проблем нет — верни пустой массив: [] 7. НЕ переписывай код. Только описывай, что не так и что сделать.
8. Без воды. Без общих слов.
9. Если проблем нет — верни пустой массив: [].
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив. Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
""" """
@@ -243,15 +266,17 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
Пак: **{pack_name}** — {pack_description} Пак: **{pack_name}** — {pack_description}
Ищи: Ищи ТОЛЬКО реальные проблемы:
1. Баги и логические ошибки 1. Баги и логические ошибки (не "Ок", а "тут падает")
2. Проблемы безопасности (утечки, инъекции, неправильная валидация) 2. Проблемы безопасности (утечки, инъекции, неправильная валидация)
3. N+1 запросы к БД 3. N+1 запросы к БД
4. Отсутствие обработки ошибок 4. Отсутствие обработки ошибок (где РЕАЛЬНО упадёт)
5. Дублирование кода 5. Дублирование кода
6. Мёртвый код 6. Мёртвый код
7. Слабые места архитектуры 7. Слабые места архитектуры
НЕ пиши "Ок", "Не баг", "Работает корректно". Если проблем нет — верни [].
Верни JSON-массив находок по формату выше. Верни JSON-массив находок по формату выше.
Вот код: Вот код:
@@ -263,8 +288,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
# ============ Запрос к Together AI ============ # ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str: def call_together(code: str, pack: dict) -> str:
"""Отправляет код пака в DeepSeek V4.1 Flash.""" """Отправляет код пака в DeepSeek V4 Pro."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...") print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
user_prompt = USER_PROMPT_TEMPLATE.format( user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"], pack_name=pack["name"],
@@ -286,12 +311,12 @@ def call_together(code: str, pack: dict) -> str:
], ],
"max_tokens": MAX_OUTPUT_TOKENS, "max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2, "temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию # 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro
# думает перед ответом. На сложных/больших паках весь # по умолчанию думают перед ответом. На сложных/больших паках
# max_tokens уходит в thinking, content остаётся пустым, # весь max_tokens уходит в thinking, content остаётся пустым,
# finish_reason="length" — находки терялись целиком. # finish_reason="length" — находки терялись целиком.
# Задаче нужна строгая экстракция, а не рассуждения, поэтому # Задаче нужна строгая экстракция, а не рассуждения,
# reasoning выключаем явно. # поэтому reasoning выключаем явно.
"reasoning": {"enabled": False}, "reasoning": {"enabled": False},
}, },
timeout=300.0, timeout=300.0,
@@ -309,10 +334,7 @@ def call_together(code: str, pack: dict) -> str:
result = message.get("content") result = message.get("content")
if not result: if not result:
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content # 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
# убран. Он был источником "Ошибка парсинга JSON" — туда # убран. Он был источником "Ошибка парсинга JSON".
# попадал сырой текст рассуждений модели, а не JSON, и
# extract_json пытался распарсить мусор. Теперь при пустом
# content просто считаем, что пак не дал результата.
raise KeyError("пусто (content отсутствует)") raise KeyError("пусто (content отсутствует)")
except (KeyError, IndexError, TypeError) as e: except (KeyError, IndexError, TypeError) as e:
print(f" ❌ Формат ответа: {e}", file=sys.stderr) print(f" ❌ Формат ответа: {e}", file=sys.stderr)
@@ -378,8 +400,6 @@ def extract_json(text: str) -> list[dict]:
if not results: if not results:
print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr) print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr)
elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start:
pass # на всякий случай, не используется — оставлено для ясности логики выше
return results return results
@@ -388,12 +408,34 @@ def validate_and_filter(
findings: list[dict], findings: list[dict],
files_map: dict[str, str], files_map: dict[str, str],
) -> tuple[list[dict], dict[str, int]]: ) -> tuple[list[dict], dict[str, int]]:
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.7, severity валидна.""" """Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
🔧 ФИКС (26.09.2026): overshoot guard.
Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг").
Берём только топ-10 по confidence.
"""
stats = { stats = {
"total": len(findings), "total": len(findings),
"overshoot": 0,
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
} }
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard —
# если находок > OVERSHOOT_LIMIT, модель "потекла".
if len(findings) > OVERSHOOT_LIMIT:
print(
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
f"берём топ-{OVERSHOOT_KEEP} по confidence",
file=sys.stderr,
)
findings = sorted(
[f for f in findings if isinstance(f, dict)],
key=lambda x: float(x.get("confidence", 0) or 0),
reverse=True,
)[:OVERSHOOT_KEEP]
stats["overshoot"] = 1
passed: list[dict] = [] passed: list[dict] = []
for f in findings: for f in findings:
@@ -498,6 +540,7 @@ def format_issue_body(
lines.append("---") lines.append("---")
lines.append("") lines.append("")
lines.append(f"**Итого:** всего находок={total_stats['total']}, " lines.append(f"**Итого:** всего находок={total_stats['total']}, "
f"overshoot={total_stats.get('overshoot', 0)}, "
f"snippet не совпал={total_stats['snippet_mismatch']}, " f"snippet не совпал={total_stats['snippet_mismatch']}, "
f"низкий confidence={total_stats['low_confidence']}, " f"низкий confidence={total_stats['low_confidence']}, "
f"прошло={total_stats['passed']}") f"прошло={total_stats['passed']}")
@@ -544,7 +587,7 @@ def main() -> None:
all_passed: list[dict] = [] all_passed: list[dict] = []
pack_stats: list[dict] = [] pack_stats: list[dict] = []
total_stats = { total_stats = {
"total": 0, "no_file": 0, "snippet_mismatch": 0, "total": 0, "overshoot": 0, "no_file": 0, "snippet_mismatch": 0,
"bad_severity": 0, "low_confidence": 0, "bad_severity": 0, "low_confidence": 0,
"no_effect_or_repro": 0, "passed": 0, "no_effect_or_repro": 0, "passed": 0,
} }