🔧 AI Review: DeepSeek V4 Pro 0813 (quality-first) — frontend

- MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
- MAX_OUTPUT_TOKENS: 32000 → 8000
- MIN_CONFIDENCE: 0.7 → 0.75
- SYSTEM_PROMPT: запрет 'Ок'/'Не баг', ТОП-10 по severity
- validate_and_filter: overshoot guard (> 15 находок → топ-10)
This commit is contained in:
2026-09-25 21:32:33 +03:00
parent 4522eab8f2
commit d62fd1e3ce
+59 -37
View File
@@ -18,6 +18,14 @@ Frontend слишком большой (1M+ символов) для одног
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON). парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
→ extract_json теперь спасает отдельные валидные находки, даже если → extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком. ответ всё же обрежется по max_tokens — вместо потери пака целиком.
(26.09.2026) ФИКС quality-first:
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
→ MAX_OUTPUT_TOKENS: 32000 → 8000.
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
confidence >= 0.75, ТОП-10 по severity.
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence.
""" """
import json import json
@@ -37,11 +45,14 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" # 🔧 ФИКС (26.09.2026): ai_review_quality_first —
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
# 1M контекст.
MODEL = "deepseek-ai/DeepSeek-V4-Pro-0813"
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть, # 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже). # 32000 токенов = модель пишет "Ок" на каждую функцию.
MAX_OUTPUT_TOKENS = 32000 MAX_OUTPUT_TOKENS = 8000
# Что игнорировать при сборе кода # Что игнорировать при сборе кода
IGNORE_DIRS = { IGNORE_DIRS = {
@@ -57,9 +68,14 @@ INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
MAX_FILE_SIZE = 100_000 MAX_FILE_SIZE = 100_000
# Фильтр находок # Фильтр находок
MIN_CONFIDENCE = 0.7 # 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
MIN_CONFIDENCE = 0.75
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
# 🔧 ФИКС (26.09.2026): overshoot guard.
OVERSHOOT_LIMIT = 15
OVERSHOOT_KEEP = 10
# Паки для frontend. Если пак получается > 500K символов — модель может # Паки для frontend. Если пак получается > 500K символов — модель может
# не успеть, тогда дроби ещё мельче (например, по подпапкам components/). # не успеть, тогда дроби ещё мельче (например, по подпапкам components/).
@@ -253,17 +269,19 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
} }
] ]
ПРАВИЛА: ПРАВИЛА (соблюдай строго):
1. severity — только одно из: "user_impact", "data_risk", "maintainability". 1. severity — только одно из: "user_impact", "data_risk", "maintainability".
- user_impact: пользователь видит баг, ломается UX, не работает кнопка - user_impact: пользователь видит баг, ломается UX, не работает кнопка
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI - data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
- maintainability: дубликат компонента, мёртвый код, устаревший API - maintainability: дубликат компонента, мёртвый код, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай. 3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
4. Максимум 10 находок за этот пак. 4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
5. НЕ переписывай код. Только описывай, что не так. 5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
6. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX. 6. НЕ комментируй каждую функцию. Только баги, security, UX.
7. Если проблем нет — верни пустой массив: [] 7. НЕ переписывай код. Только описывай, что не так.
8. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX.
9. Если проблем нет — верни пустой массив: [].
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив. Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
""" """
@@ -275,7 +293,7 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
Пак: **{pack_name}** — {pack_description} Пак: **{pack_name}** — {pack_description}
Ищи: Ищи ТОЛЬКО реальные проблемы:
1. Баги и логические ошибки (React hooks, useEffect, state) 1. Баги и логические ошибки (React hooks, useEffect, state)
2. Проблемы безопасности (XSS, утечки токенов, невалидные URL) 2. Проблемы безопасности (XSS, утечки токенов, невалидные URL)
3. Проблемы UX (модалки не закрываются, кнопки не работают, скролл) 3. Проблемы UX (модалки не закрываются, кнопки не работают, скролл)
@@ -285,6 +303,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
7. Дублирование кода и компонентов 7. Дублирование кода и компонентов
8. Мёртвый код (неиспользуемые импорты, старые модалки) 8. Мёртвый код (неиспользуемые импорты, старые модалки)
НЕ пиши "Ок", "Не баг", "Работает корректно". Если проблем нет — верни [].
Верни JSON-массив находок по формату выше. Верни JSON-массив находок по формату выше.
Вот код: Вот код:
@@ -296,8 +316,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
# ============ Запрос к Together AI ============ # ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str: def call_together(code: str, pack: dict) -> str:
"""Отправляет код пака в DeepSeek V4.1 Flash.""" """Отправляет код пака в DeepSeek V4 Pro."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...") print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
user_prompt = USER_PROMPT_TEMPLATE.format( user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"], pack_name=pack["name"],
@@ -319,12 +339,7 @@ def call_together(code: str, pack: dict) -> str:
], ],
"max_tokens": MAX_OUTPUT_TOKENS, "max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2, "temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию # 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
# думает перед ответом. На сложных/больших паках весь
# max_tokens уходит в thinking, content остаётся пустым,
# finish_reason="length" — находки терялись целиком (6 из 9
# паков в последнем прогоне). Задаче нужна строгая экстракция,
# а не рассуждения, поэтому reasoning выключаем явно.
"reasoning": {"enabled": False}, "reasoning": {"enabled": False},
}, },
timeout=300.0, timeout=300.0,
@@ -341,11 +356,6 @@ def call_together(code: str, pack: dict) -> str:
message = data["choices"][0]["message"] message = data["choices"][0]["message"]
result = message.get("content") result = message.get("content")
if not result: if not result:
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
# убран. Он был источником "Ошибка парсинга JSON" — туда
# попадал сырой текст рассуждений модели, а не JSON, и
# extract_json пытался распарсить мусор. Теперь при пустом
# content просто считаем, что пак не дал результата.
raise KeyError("пусто (content отсутствует)") raise KeyError("пусто (content отсутствует)")
except (KeyError, IndexError, TypeError) as e: except (KeyError, IndexError, TypeError) as e:
print(f" ❌ Формат ответа: {e}", file=sys.stderr) print(f" ❌ Формат ответа: {e}", file=sys.stderr)
@@ -370,14 +380,7 @@ def call_together(code: str, pack: dict) -> str:
# ============ Парсинг и фильтрация JSON ============ # ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]: def extract_json(text: str) -> list[dict]:
"""Извлекает находки из ответа модели. """Извлекает находки из ответа модели."""
🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON
весь пак терял ВСЕ находки — json.loads() падал на всём массиве
целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode)
и останавливаемся на первом, который не удалось распарсить — то есть
спасаем всё, что модель успела сгенерить до обрезки.
"""
if not text: if not text:
return [] return []
text = text.strip() text = text.strip()
@@ -402,8 +405,6 @@ def extract_json(text: str) -> list[dict]:
try: try:
obj, end = decoder.raw_decode(text, idx) obj, end = decoder.raw_decode(text, idx)
except json.JSONDecodeError: except json.JSONDecodeError:
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
# Останавливаемся, но не теряем то, что уже успели распарсить.
break break
if isinstance(obj, dict): if isinstance(obj, dict):
results.append(obj) results.append(obj)
@@ -416,12 +417,32 @@ def extract_json(text: str) -> list[dict]:
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]: def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
"""Фильтрует находки.""" """Фильтрует находки.
🔧 ФИКС (26.09.2026): overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence.
"""
stats = { stats = {
"total": len(findings), "total": len(findings),
"overshoot": 0,
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0, "no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
} }
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard
if len(findings) > OVERSHOOT_LIMIT:
print(
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
f"берём топ-{OVERSHOOT_KEEP} по confidence",
file=sys.stderr,
)
findings = sorted(
[f for f in findings if isinstance(f, dict)],
key=lambda x: float(x.get("confidence", 0) or 0),
reverse=True,
)[:OVERSHOOT_KEEP]
stats["overshoot"] = 1
passed: list[dict] = [] passed: list[dict] = []
for f in findings: for f in findings:
@@ -526,6 +547,7 @@ def format_issue_body(
lines.append("---") lines.append("---")
lines.append("") lines.append("")
lines.append(f"**Итого:** всего находок={total_stats['total']}, " lines.append(f"**Итого:** всего находок={total_stats['total']}, "
f"overshoot={total_stats.get('overshoot', 0)}, "
f"snippet не совпал={total_stats['snippet_mismatch']}, " f"snippet не совпал={total_stats['snippet_mismatch']}, "
f"низкий confidence={total_stats['low_confidence']}, " f"низкий confidence={total_stats['low_confidence']}, "
f"прошло={total_stats['passed']}") f"прошло={total_stats['passed']}")
@@ -571,7 +593,7 @@ def main() -> None:
all_passed: list[dict] = [] all_passed: list[dict] = []
pack_stats: list[dict] = [] pack_stats: list[dict] = []
total_stats = { total_stats = {
"total": 0, "no_file": 0, "snippet_mismatch": 0, "total": 0, "overshoot": 0, "no_file": 0, "snippet_mismatch": 0,
"bad_severity": 0, "low_confidence": 0, "bad_severity": 0, "low_confidence": 0,
"no_effect_or_repro": 0, "passed": 0, "no_effect_or_repro": 0, "passed": 0,
} }