🔧 AI Review: DeepSeek V4 Pro 0813 (quality-first) — frontend

- MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
- MAX_OUTPUT_TOKENS: 32000 → 8000
- MIN_CONFIDENCE: 0.7 → 0.75
- SYSTEM_PROMPT: запрет 'Ок'/'Не баг', ТОП-10 по severity
- validate_and_filter: overshoot guard (> 15 находок → топ-10)
This commit is contained in:
2026-09-25 21:32:33 +03:00
parent 4522eab8f2
commit d62fd1e3ce
+59 -37
View File
@@ -18,6 +18,14 @@ Frontend слишком большой (1M+ символов) для одног
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
→ extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
(26.09.2026) ФИКС quality-first:
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
→ MAX_OUTPUT_TOKENS: 32000 → 8000.
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
confidence >= 0.75, ТОП-10 по severity.
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence.
"""
import json
@@ -37,11 +45,14 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
# 1M контекст.
MODEL = "deepseek-ai/DeepSeek-V4-Pro-0813"
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть,
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже).
MAX_OUTPUT_TOKENS = 32000
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# 32000 токенов = модель пишет "Ок" на каждую функцию.
MAX_OUTPUT_TOKENS = 8000
# Что игнорировать при сборе кода
IGNORE_DIRS = {
@@ -57,9 +68,14 @@ INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
MAX_FILE_SIZE = 100_000
# Фильтр находок
MIN_CONFIDENCE = 0.7
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
MIN_CONFIDENCE = 0.75
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
# 🔧 ФИКС (26.09.2026): overshoot guard.
OVERSHOOT_LIMIT = 15
OVERSHOOT_KEEP = 10
# Паки для frontend. Если пак получается > 500K символов — модель может
# не успеть, тогда дроби ещё мельче (например, по подпапкам components/).
@@ -253,17 +269,19 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
}
]
ПРАВИЛА:
ПРАВИЛА (соблюдай строго):
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
- maintainability: дубликат компонента, мёртвый код, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
4. Максимум 10 находок за этот пак.
5. НЕ переписывай код. Только описывай, что не так.
6. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX.
7. Если проблем нет — верни пустой массив: []
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
6. НЕ комментируй каждую функцию. Только баги, security, UX.
7. НЕ переписывай код. Только описывай, что не так.
8. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX.
9. Если проблем нет — верни пустой массив: [].
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
"""
@@ -275,7 +293,7 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
Пак: **{pack_name}** — {pack_description}
Ищи:
Ищи ТОЛЬКО реальные проблемы:
1. Баги и логические ошибки (React hooks, useEffect, state)
2. Проблемы безопасности (XSS, утечки токенов, невалидные URL)
3. Проблемы UX (модалки не закрываются, кнопки не работают, скролл)
@@ -285,6 +303,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
7. Дублирование кода и компонентов
8. Мёртвый код (неиспользуемые импорты, старые модалки)
НЕ пиши "Ок", "Не баг", "Работает корректно". Если проблем нет — верни [].
Верни JSON-массив находок по формату выше.
Вот код:
@@ -296,8 +316,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
# ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str:
"""Отправляет код пака в DeepSeek V4.1 Flash."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...")
"""Отправляет код пака в DeepSeek V4 Pro."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"],
@@ -319,12 +339,7 @@ def call_together(code: str, pack: dict) -> str:
],
"max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию
# думает перед ответом. На сложных/больших паках весь
# max_tokens уходит в thinking, content остаётся пустым,
# finish_reason="length" — находки терялись целиком (6 из 9
# паков в последнем прогоне). Задаче нужна строгая экстракция,
# а не рассуждения, поэтому reasoning выключаем явно.
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
"reasoning": {"enabled": False},
},
timeout=300.0,
@@ -341,11 +356,6 @@ def call_together(code: str, pack: dict) -> str:
message = data["choices"][0]["message"]
result = message.get("content")
if not result:
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
# убран. Он был источником "Ошибка парсинга JSON" — туда
# попадал сырой текст рассуждений модели, а не JSON, и
# extract_json пытался распарсить мусор. Теперь при пустом
# content просто считаем, что пак не дал результата.
raise KeyError("пусто (content отсутствует)")
except (KeyError, IndexError, TypeError) as e:
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
@@ -370,14 +380,7 @@ def call_together(code: str, pack: dict) -> str:
# ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]:
"""Извлекает находки из ответа модели.
🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON
весь пак терял ВСЕ находки — json.loads() падал на всём массиве
целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode)
и останавливаемся на первом, который не удалось распарсить — то есть
спасаем всё, что модель успела сгенерить до обрезки.
"""
"""Извлекает находки из ответа модели."""
if not text:
return []
text = text.strip()
@@ -402,8 +405,6 @@ def extract_json(text: str) -> list[dict]:
try:
obj, end = decoder.raw_decode(text, idx)
except json.JSONDecodeError:
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
# Останавливаемся, но не теряем то, что уже успели распарсить.
break
if isinstance(obj, dict):
results.append(obj)
@@ -416,12 +417,32 @@ def extract_json(text: str) -> list[dict]:
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
"""Фильтрует находки."""
"""Фильтрует находки.
🔧 ФИКС (26.09.2026): overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence.
"""
stats = {
"total": len(findings),
"overshoot": 0,
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
}
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard
if len(findings) > OVERSHOOT_LIMIT:
print(
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
f"берём топ-{OVERSHOOT_KEEP} по confidence",
file=sys.stderr,
)
findings = sorted(
[f for f in findings if isinstance(f, dict)],
key=lambda x: float(x.get("confidence", 0) or 0),
reverse=True,
)[:OVERSHOOT_KEEP]
stats["overshoot"] = 1
passed: list[dict] = []
for f in findings:
@@ -526,6 +547,7 @@ def format_issue_body(
lines.append("---")
lines.append("")
lines.append(f"**Итого:** всего находок={total_stats['total']}, "
f"overshoot={total_stats.get('overshoot', 0)}, "
f"snippet не совпал={total_stats['snippet_mismatch']}, "
f"низкий confidence={total_stats['low_confidence']}, "
f"прошло={total_stats['passed']}")
@@ -571,7 +593,7 @@ def main() -> None:
all_passed: list[dict] = []
pack_stats: list[dict] = []
total_stats = {
"total": 0, "no_file": 0, "snippet_mismatch": 0,
"total": 0, "overshoot": 0, "no_file": 0, "snippet_mismatch": 0,
"bad_severity": 0, "low_confidence": 0,
"no_effect_or_repro": 0, "passed": 0,
}