🔧 AI Review: DeepSeek V4 Pro 0813 (quality-first)
- MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст)
- MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать всё подряд)
- MIN_CONFIDENCE: 0.7 → 0.75
- SYSTEM_PROMPT: запрет 'Ок'/'Не баг'/'Работает корректно', ТОП-10 по severity
- USER_PROMPT: 'Ищи ТОЛЬКО реальные проблемы'
- validate_and_filter: overshoot guard (> 15 находок → топ-10 по confidence)
- reasoning: {enabled: false} (остаётся)
Цель: убрать 81% мусора из routers_learning (было 174 находки, ~130 'Ок').
This commit is contained in:
+72
-29
@@ -19,6 +19,14 @@ Backend слишком большой (~440K символов) для одног
|
||||
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
|
||||
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||
(26.09.2026) ФИКС quality-first:
|
||||
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
|
||||
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
|
||||
→ MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд").
|
||||
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
||||
confidence >= 0.75, ТОП-10 по severity.
|
||||
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
||||
берём только топ-10 по confidence (признак, что модель "потекла").
|
||||
"""
|
||||
|
||||
import json
|
||||
@@ -38,11 +46,16 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
||||
|
||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
|
||||
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
|
||||
# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит),
|
||||
# но качество находок важнее.
|
||||
MODEL = "deepseek-ai/DeepSeek-V4-Pro-0813"
|
||||
|
||||
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть,
|
||||
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже).
|
||||
MAX_OUTPUT_TOKENS = 32000
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
||||
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
||||
# 10 находок × ~500 токенов = 5000. 8000 — с запасом.
|
||||
MAX_OUTPUT_TOKENS = 8000
|
||||
|
||||
# Что игнорировать при сборе кода
|
||||
IGNORE_DIRS = {
|
||||
@@ -63,9 +76,17 @@ INCLUDE_EXTENSIONS = {".py"}
|
||||
MAX_FILE_SIZE = 100_000
|
||||
|
||||
# Фильтр находок
|
||||
MIN_CONFIDENCE = 0.7
|
||||
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
||||
# Модель стала сильнее — требуем уверенности.
|
||||
MIN_CONFIDENCE = 0.75
|
||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): overshoot guard.
|
||||
# Если модель выдала > 15 находок на пак — она "потекла",
|
||||
# берём только топ-10 по confidence.
|
||||
OVERSHOOT_LIMIT = 15
|
||||
OVERSHOOT_KEEP = 10
|
||||
|
||||
|
||||
# Паки для backend. Пути проверены по факту (`ls routers/`).
|
||||
PACKS = [
|
||||
@@ -221,17 +242,19 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python
|
||||
}
|
||||
]
|
||||
|
||||
ПРАВИЛА:
|
||||
ПРАВИЛА (соблюдай строго):
|
||||
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
||||
- user_impact: ученик видит баг, теряет прогресс, очки, доступ
|
||||
- data_risk: порча БД, утечка, неверный auth/rate-limit
|
||||
- maintainability: запах, дубль, устаревший API
|
||||
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. Если не уверен — не включай находку.
|
||||
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
|
||||
4. Максимум 10 находок за этот пак.
|
||||
5. НЕ переписывай код. Только описывай, что не так и что сделать.
|
||||
6. Без воды. Без общих слов.
|
||||
7. Если проблем нет — верни пустой массив: []
|
||||
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
|
||||
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
|
||||
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
|
||||
6. НЕ комментируй каждую функцию. Только баги, security, UX.
|
||||
7. НЕ переписывай код. Только описывай, что не так и что сделать.
|
||||
8. Без воды. Без общих слов.
|
||||
9. Если проблем нет — верни пустой массив: [].
|
||||
|
||||
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
|
||||
"""
|
||||
@@ -243,15 +266,17 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
|
||||
|
||||
Пак: **{pack_name}** — {pack_description}
|
||||
|
||||
Ищи:
|
||||
1. Баги и логические ошибки
|
||||
Ищи ТОЛЬКО реальные проблемы:
|
||||
1. Баги и логические ошибки (не "Ок", а "тут падает")
|
||||
2. Проблемы безопасности (утечки, инъекции, неправильная валидация)
|
||||
3. N+1 запросы к БД
|
||||
4. Отсутствие обработки ошибок
|
||||
4. Отсутствие обработки ошибок (где РЕАЛЬНО упадёт)
|
||||
5. Дублирование кода
|
||||
6. Мёртвый код
|
||||
7. Слабые места архитектуры
|
||||
|
||||
НЕ пиши "Ок", "Не баг", "Работает корректно". Если проблем нет — верни [].
|
||||
|
||||
Верни JSON-массив находок по формату выше.
|
||||
|
||||
Вот код:
|
||||
@@ -263,8 +288,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
|
||||
# ============ Запрос к Together AI ============
|
||||
|
||||
def call_together(code: str, pack: dict) -> str:
|
||||
"""Отправляет код пака в DeepSeek V4.1 Flash."""
|
||||
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...")
|
||||
"""Отправляет код пака в DeepSeek V4 Pro."""
|
||||
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
|
||||
|
||||
user_prompt = USER_PROMPT_TEMPLATE.format(
|
||||
pack_name=pack["name"],
|
||||
@@ -286,12 +311,12 @@ def call_together(code: str, pack: dict) -> str:
|
||||
],
|
||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||
"temperature": 0.2,
|
||||
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию
|
||||
# думает перед ответом. На сложных/больших паках весь
|
||||
# max_tokens уходит в thinking, content остаётся пустым,
|
||||
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro
|
||||
# по умолчанию думают перед ответом. На сложных/больших паках
|
||||
# весь max_tokens уходит в thinking, content остаётся пустым,
|
||||
# finish_reason="length" — находки терялись целиком.
|
||||
# Задаче нужна строгая экстракция, а не рассуждения, поэтому
|
||||
# reasoning выключаем явно.
|
||||
# Задаче нужна строгая экстракция, а не рассуждения,
|
||||
# поэтому reasoning выключаем явно.
|
||||
"reasoning": {"enabled": False},
|
||||
},
|
||||
timeout=300.0,
|
||||
@@ -309,10 +334,7 @@ def call_together(code: str, pack: dict) -> str:
|
||||
result = message.get("content")
|
||||
if not result:
|
||||
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
|
||||
# убран. Он был источником "Ошибка парсинга JSON" — туда
|
||||
# попадал сырой текст рассуждений модели, а не JSON, и
|
||||
# extract_json пытался распарсить мусор. Теперь при пустом
|
||||
# content просто считаем, что пак не дал результата.
|
||||
# убран. Он был источником "Ошибка парсинга JSON".
|
||||
raise KeyError("пусто (content отсутствует)")
|
||||
except (KeyError, IndexError, TypeError) as e:
|
||||
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
||||
@@ -378,8 +400,6 @@ def extract_json(text: str) -> list[dict]:
|
||||
|
||||
if not results:
|
||||
print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr)
|
||||
elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start:
|
||||
pass # на всякий случай, не используется — оставлено для ясности логики выше
|
||||
|
||||
return results
|
||||
|
||||
@@ -388,12 +408,34 @@ def validate_and_filter(
|
||||
findings: list[dict],
|
||||
files_map: dict[str, str],
|
||||
) -> tuple[list[dict], dict[str, int]]:
|
||||
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.7, severity валидна."""
|
||||
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
|
||||
|
||||
🔧 ФИКС (26.09.2026): overshoot guard.
|
||||
Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг").
|
||||
Берём только топ-10 по confidence.
|
||||
"""
|
||||
stats = {
|
||||
"total": len(findings),
|
||||
"overshoot": 0,
|
||||
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
|
||||
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
||||
}
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard —
|
||||
# если находок > OVERSHOOT_LIMIT, модель "потекла".
|
||||
if len(findings) > OVERSHOOT_LIMIT:
|
||||
print(
|
||||
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
|
||||
f"берём топ-{OVERSHOOT_KEEP} по confidence",
|
||||
file=sys.stderr,
|
||||
)
|
||||
findings = sorted(
|
||||
[f for f in findings if isinstance(f, dict)],
|
||||
key=lambda x: float(x.get("confidence", 0) or 0),
|
||||
reverse=True,
|
||||
)[:OVERSHOOT_KEEP]
|
||||
stats["overshoot"] = 1
|
||||
|
||||
passed: list[dict] = []
|
||||
|
||||
for f in findings:
|
||||
@@ -498,6 +540,7 @@ def format_issue_body(
|
||||
lines.append("---")
|
||||
lines.append("")
|
||||
lines.append(f"**Итого:** всего находок={total_stats['total']}, "
|
||||
f"overshoot={total_stats.get('overshoot', 0)}, "
|
||||
f"snippet не совпал={total_stats['snippet_mismatch']}, "
|
||||
f"низкий confidence={total_stats['low_confidence']}, "
|
||||
f"прошло={total_stats['passed']}")
|
||||
@@ -544,7 +587,7 @@ def main() -> None:
|
||||
all_passed: list[dict] = []
|
||||
pack_stats: list[dict] = []
|
||||
total_stats = {
|
||||
"total": 0, "no_file": 0, "snippet_mismatch": 0,
|
||||
"total": 0, "overshoot": 0, "no_file": 0, "snippet_mismatch": 0,
|
||||
"bad_severity": 0, "low_confidence": 0,
|
||||
"no_effect_or_repro": 0, "passed": 0,
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user