🔧 AI Review: DeepSeek V4 Pro 0813 (quality-first)

- MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
  (Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст)
- MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать всё подряд)
- MIN_CONFIDENCE: 0.7 → 0.75
- SYSTEM_PROMPT: запрет 'Ок'/'Не баг'/'Работает корректно', ТОП-10 по severity
- USER_PROMPT: 'Ищи ТОЛЬКО реальные проблемы'
- validate_and_filter: overshoot guard (> 15 находок → топ-10 по confidence)
- reasoning: {enabled: false} (остаётся)

Цель: убрать 81% мусора из routers_learning (было 174 находки, ~130 'Ок').
This commit is contained in:
2026-09-25 18:31:43 +00:00
parent f7a4bf5c71
commit c3c0521ae4
+72 -29
View File
@@ -19,6 +19,14 @@ Backend слишком большой (~440K символов) для одног
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
→ extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
(26.09.2026) ФИКС quality-first:
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
→ MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд").
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
confidence >= 0.75, ТОП-10 по severity.
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence (признак, что модель "потекла").
"""
import json
@@ -38,11 +46,16 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит),
# но качество находок важнее.
MODEL = "deepseek-ai/DeepSeek-V4-Pro-0813"
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть,
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже).
MAX_OUTPUT_TOKENS = 32000
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# 32000 токенов = модель пишет "Ок" на каждую функцию.
# 10 находок × ~500 токенов = 5000. 8000 — с запасом.
MAX_OUTPUT_TOKENS = 8000
# Что игнорировать при сборе кода
IGNORE_DIRS = {
@@ -63,9 +76,17 @@ INCLUDE_EXTENSIONS = {".py"}
MAX_FILE_SIZE = 100_000
# Фильтр находок
MIN_CONFIDENCE = 0.7
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
# Модель стала сильнее — требуем уверенности.
MIN_CONFIDENCE = 0.75
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
# 🔧 ФИКС (26.09.2026): overshoot guard.
# Если модель выдала > 15 находок на пак — она "потекла",
# берём только топ-10 по confidence.
OVERSHOOT_LIMIT = 15
OVERSHOOT_KEEP = 10
# Паки для backend. Пути проверены по факту (`ls routers/`).
PACKS = [
@@ -221,17 +242,19 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python
}
]
ПРАВИЛА:
ПРАВИЛА (соблюдай строго):
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
- user_impact: ученик видит баг, теряет прогресс, очки, доступ
- data_risk: порча БД, утечка, неверный auth/rate-limit
- maintainability: запах, дубль, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку.
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
4. Максимум 10 находок за этот пак.
5. НЕ переписывай код. Только описывай, что не так и что сделать.
6. Без воды. Без общих слов.
7. Если проблем нет — верни пустой массив: []
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
6. НЕ комментируй каждую функцию. Только баги, security, UX.
7. НЕ переписывай код. Только описывай, что не так и что сделать.
8. Без воды. Без общих слов.
9. Если проблем нет — верни пустой массив: [].
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
"""
@@ -243,15 +266,17 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
Пак: **{pack_name}** — {pack_description}
Ищи:
1. Баги и логические ошибки
Ищи ТОЛЬКО реальные проблемы:
1. Баги и логические ошибки (не "Ок", а "тут падает")
2. Проблемы безопасности (утечки, инъекции, неправильная валидация)
3. N+1 запросы к БД
4. Отсутствие обработки ошибок
4. Отсутствие обработки ошибок (где РЕАЛЬНО упадёт)
5. Дублирование кода
6. Мёртвый код
7. Слабые места архитектуры
НЕ пиши "Ок", "Не баг", "Работает корректно". Если проблем нет — верни [].
Верни JSON-массив находок по формату выше.
Вот код:
@@ -263,8 +288,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
# ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str:
"""Отправляет код пака в DeepSeek V4.1 Flash."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...")
"""Отправляет код пака в DeepSeek V4 Pro."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"],
@@ -286,12 +311,12 @@ def call_together(code: str, pack: dict) -> str:
],
"max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию
# думает перед ответом. На сложных/больших паках весь
# max_tokens уходит в thinking, content остаётся пустым,
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro
# по умолчанию думают перед ответом. На сложных/больших паках
# весь max_tokens уходит в thinking, content остаётся пустым,
# finish_reason="length" — находки терялись целиком.
# Задаче нужна строгая экстракция, а не рассуждения, поэтому
# reasoning выключаем явно.
# Задаче нужна строгая экстракция, а не рассуждения,
# поэтому reasoning выключаем явно.
"reasoning": {"enabled": False},
},
timeout=300.0,
@@ -309,10 +334,7 @@ def call_together(code: str, pack: dict) -> str:
result = message.get("content")
if not result:
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
# убран. Он был источником "Ошибка парсинга JSON" — туда
# попадал сырой текст рассуждений модели, а не JSON, и
# extract_json пытался распарсить мусор. Теперь при пустом
# content просто считаем, что пак не дал результата.
# убран. Он был источником "Ошибка парсинга JSON".
raise KeyError("пусто (content отсутствует)")
except (KeyError, IndexError, TypeError) as e:
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
@@ -378,8 +400,6 @@ def extract_json(text: str) -> list[dict]:
if not results:
print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr)
elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start:
pass # на всякий случай, не используется — оставлено для ясности логики выше
return results
@@ -388,12 +408,34 @@ def validate_and_filter(
findings: list[dict],
files_map: dict[str, str],
) -> tuple[list[dict], dict[str, int]]:
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.7, severity валидна."""
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
🔧 ФИКС (26.09.2026): overshoot guard.
Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг").
Берём только топ-10 по confidence.
"""
stats = {
"total": len(findings),
"overshoot": 0,
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
}
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard —
# если находок > OVERSHOOT_LIMIT, модель "потекла".
if len(findings) > OVERSHOOT_LIMIT:
print(
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
f"берём топ-{OVERSHOOT_KEEP} по confidence",
file=sys.stderr,
)
findings = sorted(
[f for f in findings if isinstance(f, dict)],
key=lambda x: float(x.get("confidence", 0) or 0),
reverse=True,
)[:OVERSHOOT_KEEP]
stats["overshoot"] = 1
passed: list[dict] = []
for f in findings:
@@ -498,6 +540,7 @@ def format_issue_body(
lines.append("---")
lines.append("")
lines.append(f"**Итого:** всего находок={total_stats['total']}, "
f"overshoot={total_stats.get('overshoot', 0)}, "
f"snippet не совпал={total_stats['snippet_mismatch']}, "
f"низкий confidence={total_stats['low_confidence']}, "
f"прошло={total_stats['passed']}")
@@ -544,7 +587,7 @@ def main() -> None:
all_passed: list[dict] = []
pack_stats: list[dict] = []
total_stats = {
"total": 0, "no_file": 0, "snippet_mismatch": 0,
"total": 0, "overshoot": 0, "no_file": 0, "snippet_mismatch": 0,
"bad_severity": 0, "low_confidence": 0,
"no_effect_or_repro": 0, "passed": 0,
}