🔧 AI Review: dual-model (DeepSeek + GLM 5.3) — frontend

- MODEL_PRIMARY = DeepSeek V4.1 Flash
- MODEL_SECONDARY = GLM 5.3
- merge_dual_findings: пересечение по (file, snippet)
- USE_SECONDARY_MODEL=True
This commit is contained in:
2026-09-25 21:58:27 +03:00
parent 4970632851
commit 0c5a28a1d9
+85 -28
View File
@@ -19,13 +19,17 @@ Frontend слишком большой (1M+ символов) для одног
→ extract_json теперь спасает отдельные валидные находки, даже если → extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком. ответ всё же обрежется по max_tokens — вместо потери пака целиком.
(26.09.2026) ФИКС quality-first: (26.09.2026) ФИКС quality-first:
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 → MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат).
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
→ MAX_OUTPUT_TOKENS: 32000 → 8000. → MAX_OUTPUT_TOKENS: 32000 → 8000.
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно", → SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
confidence >= 0.75, ТОП-10 по severity. confidence >= 0.75, ТОП-10 по severity.
→ validate_and_filter: overshoot guard — если находок > 15 на пак, → validate_and_filter: overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence. берём только топ-10 по confidence.
(26.09.2026, вечер) ФИКС dual-model:
→ Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок:
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
Пересечение по (file, snippet) → confidence +0.05.
→ USE_SECONDARY_MODEL=True включает вторую модель.
""" """
import json import json
@@ -45,10 +49,14 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com") GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend") GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
# 🔧 ФИКС (26.09.2026): ai_review_quality_first — # 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%, # Две модели для пересечения находок.
# 1M контекст. MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash" MODEL_SECONDARY = "zai-org/GLM-5.3"
MODEL = MODEL_PRIMARY # backward compat
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled.
USE_SECONDARY_MODEL = True
# 🔧 ФИКС (26.09.2026): ai_review_overshoot — # 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# 32000 токенов = модель пишет "Ок" на каждую функцию. # 32000 токенов = модель пишет "Ок" на каждую функцию.
@@ -68,7 +76,6 @@ INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
MAX_FILE_SIZE = 100_000 MAX_FILE_SIZE = 100_000
# Фильтр находок # Фильтр находок
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
MIN_CONFIDENCE = 0.75 MIN_CONFIDENCE = 0.75
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"} ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
@@ -222,7 +229,6 @@ def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]:
files_map[rel_str] = content files_map[rel_str] = content
total_size += len(content) total_size += len(content)
else: else:
# Папка — рекурсивно
for f in sorted(target.rglob("*")): for f in sorted(target.rglob("*")):
if not f.is_file(): if not f.is_file():
continue continue
@@ -271,12 +277,9 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
ПРАВИЛА (соблюдай строго): ПРАВИЛА (соблюдай строго):
1. severity — только одно из: "user_impact", "data_risk", "maintainability". 1. severity — только одно из: "user_impact", "data_risk", "maintainability".
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
- maintainability: дубликат компонента, мёртвый код, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй. 2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай. 3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability). 4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity.
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы. 5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
6. НЕ комментируй каждую функцию. Только баги, security, UX. 6. НЕ комментируй каждую функцию. Только баги, security, UX.
7. НЕ переписывай код. Только описывай, что не так. 7. НЕ переписывай код. Только описывай, что не так.
@@ -315,9 +318,9 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
# ============ Запрос к Together AI ============ # ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str: def call_together_model(code: str, pack: dict, model_name: str) -> str:
"""Отправляет код пака в DeepSeek V4 Pro.""" """Отправляет код пака в указанную модель."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...") print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
user_prompt = USER_PROMPT_TEMPLATE.format( user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"], pack_name=pack["name"],
@@ -332,21 +335,20 @@ def call_together(code: str, pack: dict) -> str:
"Content-Type": "application/json", "Content-Type": "application/json",
}, },
json={ json={
"model": MODEL, "model": model_name,
"messages": [ "messages": [
{"role": "system", "content": SYSTEM_PROMPT}, {"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_prompt}, {"role": "user", "content": user_prompt},
], ],
"max_tokens": MAX_OUTPUT_TOKENS, "max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2, "temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
"reasoning": {"enabled": False}, "reasoning": {"enabled": False},
}, },
timeout=300.0, timeout=300.0,
) )
if response.status_code != 200: if response.status_code != 200:
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr) print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr)
print(f" Ответ: {response.text[:500]}", file=sys.stderr) print(f" Ответ: {response.text[:500]}", file=sys.stderr)
return "" return ""
@@ -364,19 +366,24 @@ def call_together(code: str, pack: dict) -> str:
usage = data.get("usage", {}) usage = data.get("usage", {})
finish = data["choices"][0].get("finish_reason", "unknown") finish = data["choices"][0].get("finish_reason", "unknown")
print( print(
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, " f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
f"вход={usage.get('prompt_tokens', 0)}, "
f"выход={usage.get('completion_tokens', 0)}, finish={finish}" f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
) )
if finish == "length": if finish == "length":
print( print(
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — " f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})",
f"пробуем спасти то, что успело сгенериться",
file=sys.stderr, file=sys.stderr,
) )
return result return result
def call_together(code: str, pack: dict) -> str:
"""Backward-compat."""
return call_together_model(code, pack, MODEL_PRIMARY)
# ============ Парсинг и фильтрация JSON ============ # ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]: def extract_json(text: str) -> list[dict]:
@@ -416,11 +423,51 @@ def extract_json(text: str) -> list[dict]:
return results return results
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
"""Объединяет находки от двух моделей.
Пересечение по (file, snippet) → confidence +0.05.
"""
p_list = extract_json(primary_raw)
s_list = extract_json(secondary_raw)
def _key(f: dict) -> str:
return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}"
p_map = {_key(f): f for f in p_list if isinstance(f, dict)}
s_map = {_key(f): f for f in s_list if isinstance(f, dict)}
merged: dict[str, dict] = {}
for k, f in p_map.items():
item = dict(f)
item["_source"] = "primary"
if k in s_map:
try:
conf = float(item.get("confidence", 0) or 0)
except (TypeError, ValueError):
conf = 0
item["confidence"] = min(1.0, round(conf + 0.05, 2))
item["_source"] = "both"
merged[k] = item
for k, f in s_map.items():
if k not in merged:
item = dict(f)
item["_source"] = "secondary"
merged[k] = item
both_count = sum(1 for v in merged.values() if v.get("_source") == "both")
print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, "
f"пересечение={both_count}, всего={len(merged)}")
return list(merged.values())
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]: def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
"""Фильтрует находки. """Фильтрует находки.
🔧 ФИКС (26.09.2026): overshoot guard — если находок > 15 на пак, Overshoot guard — если находок > 15 на пак, берём только топ-10 по confidence.
берём только топ-10 по confidence.
""" """
stats = { stats = {
"total": len(findings), "total": len(findings),
@@ -429,7 +476,6 @@ def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tupl
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0, "low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
} }
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard
if len(findings) > OVERSHOOT_LIMIT: if len(findings) > OVERSHOOT_LIMIT:
print( print(
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), " f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
@@ -506,7 +552,10 @@ def format_issue_body(
lines.append("# 🤖 AI Code Review (Frontend)") lines.append("# 🤖 AI Code Review (Frontend)")
lines.append("") lines.append("")
lines.append(f"**Дата:** {date_str}") lines.append(f"**Дата:** {date_str}")
lines.append(f"**Модель:** `{MODEL}`") if USE_SECONDARY_MODEL:
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
else:
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
lines.append(f"**Репозиторий:** `{GITEA_REPO}`") lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
lines.append("") lines.append("")
lines.append("## 📊 По пакам") lines.append("## 📊 По пакам")
@@ -534,7 +583,9 @@ def format_issue_body(
lines.append("") lines.append("")
for f in items: for f in items:
counter += 1 counter += 1
lines.append(f"### {counter}. {f.get('id', 'без имени')}") source = f.get("_source", "primary")
source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "")
lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}")
lines.append("") lines.append("")
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`") lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`") lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
@@ -607,8 +658,14 @@ def main() -> None:
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0}) pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
continue continue
raw = call_together(code, pack) primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
findings = extract_json(raw)
if USE_SECONDARY_MODEL:
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
findings = merge_dual_findings(primary_raw, secondary_raw)
else:
findings = extract_json(primary_raw)
filtered, stats = validate_and_filter(findings, files_map) filtered, stats = validate_and_filter(findings, files_map)
all_passed.extend(filtered) all_passed.extend(filtered)