🔧 AI Review: DeepSeek V4 Pro 0813 (quality-first) — frontend
- MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 - MAX_OUTPUT_TOKENS: 32000 → 8000 - MIN_CONFIDENCE: 0.7 → 0.75 - SYSTEM_PROMPT: запрет 'Ок'/'Не баг', ТОП-10 по severity - validate_and_filter: overshoot guard (> 15 находок → топ-10)
This commit is contained in:
+59
-37
@@ -18,6 +18,14 @@ Frontend слишком большой (1M+ символов) для одног
|
|||||||
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
|
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
|
||||||
→ extract_json теперь спасает отдельные валидные находки, даже если
|
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||||
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||||
|
(26.09.2026) ФИКС quality-first:
|
||||||
|
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
|
||||||
|
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
|
||||||
|
→ MAX_OUTPUT_TOKENS: 32000 → 8000.
|
||||||
|
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
||||||
|
confidence >= 0.75, ТОП-10 по severity.
|
||||||
|
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
||||||
|
берём только топ-10 по confidence.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import json
|
import json
|
||||||
@@ -37,11 +45,14 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
|||||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
|
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
|
||||||
|
|
||||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
|
||||||
|
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
|
||||||
|
# 1M контекст.
|
||||||
|
MODEL = "deepseek-ai/DeepSeek-V4-Pro-0813"
|
||||||
|
|
||||||
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть,
|
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
||||||
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже).
|
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
||||||
MAX_OUTPUT_TOKENS = 32000
|
MAX_OUTPUT_TOKENS = 8000
|
||||||
|
|
||||||
# Что игнорировать при сборе кода
|
# Что игнорировать при сборе кода
|
||||||
IGNORE_DIRS = {
|
IGNORE_DIRS = {
|
||||||
@@ -57,9 +68,14 @@ INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
|
|||||||
MAX_FILE_SIZE = 100_000
|
MAX_FILE_SIZE = 100_000
|
||||||
|
|
||||||
# Фильтр находок
|
# Фильтр находок
|
||||||
MIN_CONFIDENCE = 0.7
|
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
||||||
|
MIN_CONFIDENCE = 0.75
|
||||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||||
|
|
||||||
|
# 🔧 ФИКС (26.09.2026): overshoot guard.
|
||||||
|
OVERSHOOT_LIMIT = 15
|
||||||
|
OVERSHOOT_KEEP = 10
|
||||||
|
|
||||||
|
|
||||||
# Паки для frontend. Если пак получается > 500K символов — модель может
|
# Паки для frontend. Если пак получается > 500K символов — модель может
|
||||||
# не успеть, тогда дроби ещё мельче (например, по подпапкам components/).
|
# не успеть, тогда дроби ещё мельче (например, по подпапкам components/).
|
||||||
@@ -253,17 +269,19 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
|
|||||||
}
|
}
|
||||||
]
|
]
|
||||||
|
|
||||||
ПРАВИЛА:
|
ПРАВИЛА (соблюдай строго):
|
||||||
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
||||||
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
|
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
|
||||||
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
|
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
|
||||||
- maintainability: дубликат компонента, мёртвый код, устаревший API
|
- maintainability: дубликат компонента, мёртвый код, устаревший API
|
||||||
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
|
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
|
||||||
3. confidence — число от 0 до 1. Если меньше 0.7 — не включай.
|
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
|
||||||
4. Максимум 10 находок за этот пак.
|
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
|
||||||
5. НЕ переписывай код. Только описывай, что не так.
|
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
|
||||||
6. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX.
|
6. НЕ комментируй каждую функцию. Только баги, security, UX.
|
||||||
7. Если проблем нет — верни пустой массив: []
|
7. НЕ переписывай код. Только описывай, что не так.
|
||||||
|
8. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX.
|
||||||
|
9. Если проблем нет — верни пустой массив: [].
|
||||||
|
|
||||||
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
|
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
|
||||||
"""
|
"""
|
||||||
@@ -275,7 +293,7 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
|
|||||||
|
|
||||||
Пак: **{pack_name}** — {pack_description}
|
Пак: **{pack_name}** — {pack_description}
|
||||||
|
|
||||||
Ищи:
|
Ищи ТОЛЬКО реальные проблемы:
|
||||||
1. Баги и логические ошибки (React hooks, useEffect, state)
|
1. Баги и логические ошибки (React hooks, useEffect, state)
|
||||||
2. Проблемы безопасности (XSS, утечки токенов, невалидные URL)
|
2. Проблемы безопасности (XSS, утечки токенов, невалидные URL)
|
||||||
3. Проблемы UX (модалки не закрываются, кнопки не работают, скролл)
|
3. Проблемы UX (модалки не закрываются, кнопки не работают, скролл)
|
||||||
@@ -285,6 +303,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
|
|||||||
7. Дублирование кода и компонентов
|
7. Дублирование кода и компонентов
|
||||||
8. Мёртвый код (неиспользуемые импорты, старые модалки)
|
8. Мёртвый код (неиспользуемые импорты, старые модалки)
|
||||||
|
|
||||||
|
НЕ пиши "Ок", "Не баг", "Работает корректно". Если проблем нет — верни [].
|
||||||
|
|
||||||
Верни JSON-массив находок по формату выше.
|
Верни JSON-массив находок по формату выше.
|
||||||
|
|
||||||
Вот код:
|
Вот код:
|
||||||
@@ -296,8 +316,8 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
|
|||||||
# ============ Запрос к Together AI ============
|
# ============ Запрос к Together AI ============
|
||||||
|
|
||||||
def call_together(code: str, pack: dict) -> str:
|
def call_together(code: str, pack: dict) -> str:
|
||||||
"""Отправляет код пака в DeepSeek V4.1 Flash."""
|
"""Отправляет код пака в DeepSeek V4 Pro."""
|
||||||
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4.1 Flash...")
|
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
|
||||||
|
|
||||||
user_prompt = USER_PROMPT_TEMPLATE.format(
|
user_prompt = USER_PROMPT_TEMPLATE.format(
|
||||||
pack_name=pack["name"],
|
pack_name=pack["name"],
|
||||||
@@ -319,12 +339,7 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
],
|
],
|
||||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||||
"temperature": 0.2,
|
"temperature": 0.2,
|
||||||
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию
|
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
|
||||||
# думает перед ответом. На сложных/больших паках весь
|
|
||||||
# max_tokens уходит в thinking, content остаётся пустым,
|
|
||||||
# finish_reason="length" — находки терялись целиком (6 из 9
|
|
||||||
# паков в последнем прогоне). Задаче нужна строгая экстракция,
|
|
||||||
# а не рассуждения, поэтому reasoning выключаем явно.
|
|
||||||
"reasoning": {"enabled": False},
|
"reasoning": {"enabled": False},
|
||||||
},
|
},
|
||||||
timeout=300.0,
|
timeout=300.0,
|
||||||
@@ -341,11 +356,6 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
message = data["choices"][0]["message"]
|
message = data["choices"][0]["message"]
|
||||||
result = message.get("content")
|
result = message.get("content")
|
||||||
if not result:
|
if not result:
|
||||||
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
|
|
||||||
# убран. Он был источником "Ошибка парсинга JSON" — туда
|
|
||||||
# попадал сырой текст рассуждений модели, а не JSON, и
|
|
||||||
# extract_json пытался распарсить мусор. Теперь при пустом
|
|
||||||
# content просто считаем, что пак не дал результата.
|
|
||||||
raise KeyError("пусто (content отсутствует)")
|
raise KeyError("пусто (content отсутствует)")
|
||||||
except (KeyError, IndexError, TypeError) as e:
|
except (KeyError, IndexError, TypeError) as e:
|
||||||
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
||||||
@@ -370,14 +380,7 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
# ============ Парсинг и фильтрация JSON ============
|
# ============ Парсинг и фильтрация JSON ============
|
||||||
|
|
||||||
def extract_json(text: str) -> list[dict]:
|
def extract_json(text: str) -> list[dict]:
|
||||||
"""Извлекает находки из ответа модели.
|
"""Извлекает находки из ответа модели."""
|
||||||
|
|
||||||
🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON
|
|
||||||
весь пак терял ВСЕ находки — json.loads() падал на всём массиве
|
|
||||||
целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode)
|
|
||||||
и останавливаемся на первом, который не удалось распарсить — то есть
|
|
||||||
спасаем всё, что модель успела сгенерить до обрезки.
|
|
||||||
"""
|
|
||||||
if not text:
|
if not text:
|
||||||
return []
|
return []
|
||||||
text = text.strip()
|
text = text.strip()
|
||||||
@@ -402,8 +405,6 @@ def extract_json(text: str) -> list[dict]:
|
|||||||
try:
|
try:
|
||||||
obj, end = decoder.raw_decode(text, idx)
|
obj, end = decoder.raw_decode(text, idx)
|
||||||
except json.JSONDecodeError:
|
except json.JSONDecodeError:
|
||||||
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
|
|
||||||
# Останавливаемся, но не теряем то, что уже успели распарсить.
|
|
||||||
break
|
break
|
||||||
if isinstance(obj, dict):
|
if isinstance(obj, dict):
|
||||||
results.append(obj)
|
results.append(obj)
|
||||||
@@ -416,12 +417,32 @@ def extract_json(text: str) -> list[dict]:
|
|||||||
|
|
||||||
|
|
||||||
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
|
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
|
||||||
"""Фильтрует находки."""
|
"""Фильтрует находки.
|
||||||
|
|
||||||
|
🔧 ФИКС (26.09.2026): overshoot guard — если находок > 15 на пак,
|
||||||
|
берём только топ-10 по confidence.
|
||||||
|
"""
|
||||||
stats = {
|
stats = {
|
||||||
"total": len(findings),
|
"total": len(findings),
|
||||||
|
"overshoot": 0,
|
||||||
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
|
"no_file": 0, "snippet_mismatch": 0, "bad_severity": 0,
|
||||||
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
||||||
}
|
}
|
||||||
|
|
||||||
|
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard
|
||||||
|
if len(findings) > OVERSHOOT_LIMIT:
|
||||||
|
print(
|
||||||
|
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
|
||||||
|
f"берём топ-{OVERSHOOT_KEEP} по confidence",
|
||||||
|
file=sys.stderr,
|
||||||
|
)
|
||||||
|
findings = sorted(
|
||||||
|
[f for f in findings if isinstance(f, dict)],
|
||||||
|
key=lambda x: float(x.get("confidence", 0) or 0),
|
||||||
|
reverse=True,
|
||||||
|
)[:OVERSHOOT_KEEP]
|
||||||
|
stats["overshoot"] = 1
|
||||||
|
|
||||||
passed: list[dict] = []
|
passed: list[dict] = []
|
||||||
|
|
||||||
for f in findings:
|
for f in findings:
|
||||||
@@ -526,6 +547,7 @@ def format_issue_body(
|
|||||||
lines.append("---")
|
lines.append("---")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append(f"**Итого:** всего находок={total_stats['total']}, "
|
lines.append(f"**Итого:** всего находок={total_stats['total']}, "
|
||||||
|
f"overshoot={total_stats.get('overshoot', 0)}, "
|
||||||
f"snippet не совпал={total_stats['snippet_mismatch']}, "
|
f"snippet не совпал={total_stats['snippet_mismatch']}, "
|
||||||
f"низкий confidence={total_stats['low_confidence']}, "
|
f"низкий confidence={total_stats['low_confidence']}, "
|
||||||
f"прошло={total_stats['passed']}")
|
f"прошло={total_stats['passed']}")
|
||||||
@@ -571,7 +593,7 @@ def main() -> None:
|
|||||||
all_passed: list[dict] = []
|
all_passed: list[dict] = []
|
||||||
pack_stats: list[dict] = []
|
pack_stats: list[dict] = []
|
||||||
total_stats = {
|
total_stats = {
|
||||||
"total": 0, "no_file": 0, "snippet_mismatch": 0,
|
"total": 0, "overshoot": 0, "no_file": 0, "snippet_mismatch": 0,
|
||||||
"bad_severity": 0, "low_confidence": 0,
|
"bad_severity": 0, "low_confidence": 0,
|
||||||
"no_effect_or_repro": 0, "passed": 0,
|
"no_effect_or_repro": 0, "passed": 0,
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user