🔧 AI Review: dual-model (DeepSeek + GLM 5.3) — frontend

- MODEL_PRIMARY = DeepSeek V4.1 Flash
- MODEL_SECONDARY = GLM 5.3
- merge_dual_findings: пересечение по (file, snippet)
- USE_SECONDARY_MODEL=True
This commit is contained in:
2026-09-25 21:58:27 +03:00
parent 4970632851
commit 0c5a28a1d9
+85 -28
View File
@@ -19,13 +19,17 @@ Frontend слишком большой (1M+ символов) для одног
→ extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
(26.09.2026) ФИКС quality-first:
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат).
→ MAX_OUTPUT_TOKENS: 32000 → 8000.
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
confidence >= 0.75, ТОП-10 по severity.
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence.
(26.09.2026, вечер) ФИКС dual-model:
→ Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок:
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
Пересечение по (file, snippet) → confidence +0.05.
→ USE_SECONDARY_MODEL=True включает вторую модель.
"""
import json
@@ -45,10 +49,14 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
# 1M контекст.
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
# Две модели для пересечения находок.
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
MODEL_SECONDARY = "zai-org/GLM-5.3"
MODEL = MODEL_PRIMARY # backward compat
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled.
USE_SECONDARY_MODEL = True
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# 32000 токенов = модель пишет "Ок" на каждую функцию.
@@ -68,7 +76,6 @@ INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
MAX_FILE_SIZE = 100_000
# Фильтр находок
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
MIN_CONFIDENCE = 0.75
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
@@ -222,7 +229,6 @@ def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]:
files_map[rel_str] = content
total_size += len(content)
else:
# Папка — рекурсивно
for f in sorted(target.rglob("*")):
if not f.is_file():
continue
@@ -271,12 +277,9 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
ПРАВИЛА (соблюдай строго):
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
- maintainability: дубликат компонента, мёртвый код, устаревший API
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity.
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
6. НЕ комментируй каждую функцию. Только баги, security, UX.
7. НЕ переписывай код. Только описывай, что не так.
@@ -315,9 +318,9 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
# ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str:
"""Отправляет код пака в DeepSeek V4 Pro."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
def call_together_model(code: str, pack: dict, model_name: str) -> str:
"""Отправляет код пака в указанную модель."""
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"],
@@ -332,21 +335,20 @@ def call_together(code: str, pack: dict) -> str:
"Content-Type": "application/json",
},
json={
"model": MODEL,
"model": model_name,
"messages": [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_prompt},
],
"max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
"reasoning": {"enabled": False},
},
timeout=300.0,
)
if response.status_code != 200:
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr)
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
return ""
@@ -364,19 +366,24 @@ def call_together(code: str, pack: dict) -> str:
usage = data.get("usage", {})
finish = data["choices"][0].get("finish_reason", "unknown")
print(
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
f"вход={usage.get('prompt_tokens', 0)}, "
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
)
if finish == "length":
print(
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
f"пробуем спасти то, что успело сгенериться",
f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})",
file=sys.stderr,
)
return result
def call_together(code: str, pack: dict) -> str:
"""Backward-compat."""
return call_together_model(code, pack, MODEL_PRIMARY)
# ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]:
@@ -416,11 +423,51 @@ def extract_json(text: str) -> list[dict]:
return results
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
"""Объединяет находки от двух моделей.
Пересечение по (file, snippet) → confidence +0.05.
"""
p_list = extract_json(primary_raw)
s_list = extract_json(secondary_raw)
def _key(f: dict) -> str:
return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}"
p_map = {_key(f): f for f in p_list if isinstance(f, dict)}
s_map = {_key(f): f for f in s_list if isinstance(f, dict)}
merged: dict[str, dict] = {}
for k, f in p_map.items():
item = dict(f)
item["_source"] = "primary"
if k in s_map:
try:
conf = float(item.get("confidence", 0) or 0)
except (TypeError, ValueError):
conf = 0
item["confidence"] = min(1.0, round(conf + 0.05, 2))
item["_source"] = "both"
merged[k] = item
for k, f in s_map.items():
if k not in merged:
item = dict(f)
item["_source"] = "secondary"
merged[k] = item
both_count = sum(1 for v in merged.values() if v.get("_source") == "both")
print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, "
f"пересечение={both_count}, всего={len(merged)}")
return list(merged.values())
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
"""Фильтрует находки.
🔧 ФИКС (26.09.2026): overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence.
Overshoot guard — если находок > 15 на пак, берём только топ-10 по confidence.
"""
stats = {
"total": len(findings),
@@ -429,7 +476,6 @@ def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tupl
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
}
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard
if len(findings) > OVERSHOOT_LIMIT:
print(
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
@@ -506,7 +552,10 @@ def format_issue_body(
lines.append("# 🤖 AI Code Review (Frontend)")
lines.append("")
lines.append(f"**Дата:** {date_str}")
lines.append(f"**Модель:** `{MODEL}`")
if USE_SECONDARY_MODEL:
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
else:
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
lines.append("")
lines.append("## 📊 По пакам")
@@ -534,7 +583,9 @@ def format_issue_body(
lines.append("")
for f in items:
counter += 1
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
source = f.get("_source", "primary")
source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "")
lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}")
lines.append("")
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
@@ -607,8 +658,14 @@ def main() -> None:
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
continue
raw = call_together(code, pack)
findings = extract_json(raw)
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
if USE_SECONDARY_MODEL:
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
findings = merge_dual_findings(primary_raw, secondary_raw)
else:
findings = extract_json(primary_raw)
filtered, stats = validate_and_filter(findings, files_map)
all_passed.extend(filtered)