🔧 AI Review: dual-model (DeepSeek + GLM 5.3) — frontend
- MODEL_PRIMARY = DeepSeek V4.1 Flash - MODEL_SECONDARY = GLM 5.3 - merge_dual_findings: пересечение по (file, snippet) - USE_SECONDARY_MODEL=True
This commit is contained in:
+85
-28
@@ -19,13 +19,17 @@ Frontend слишком большой (1M+ символов) для одног
|
||||
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||
(26.09.2026) ФИКС quality-first:
|
||||
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
|
||||
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
|
||||
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат).
|
||||
→ MAX_OUTPUT_TOKENS: 32000 → 8000.
|
||||
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
||||
confidence >= 0.75, ТОП-10 по severity.
|
||||
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
||||
берём только топ-10 по confidence.
|
||||
(26.09.2026, вечер) ФИКС dual-model:
|
||||
→ Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок:
|
||||
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
|
||||
Пересечение по (file, snippet) → confidence +0.05.
|
||||
→ USE_SECONDARY_MODEL=True включает вторую модель.
|
||||
"""
|
||||
|
||||
import json
|
||||
@@ -45,10 +49,14 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
|
||||
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
|
||||
# 1M контекст.
|
||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||
# Две модели для пересечения находок.
|
||||
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||
MODEL_SECONDARY = "zai-org/GLM-5.3"
|
||||
MODEL = MODEL_PRIMARY # backward compat
|
||||
|
||||
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled.
|
||||
USE_SECONDARY_MODEL = True
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
||||
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
||||
@@ -68,7 +76,6 @@ INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
|
||||
MAX_FILE_SIZE = 100_000
|
||||
|
||||
# Фильтр находок
|
||||
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
||||
MIN_CONFIDENCE = 0.75
|
||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||
|
||||
@@ -222,7 +229,6 @@ def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]:
|
||||
files_map[rel_str] = content
|
||||
total_size += len(content)
|
||||
else:
|
||||
# Папка — рекурсивно
|
||||
for f in sorted(target.rglob("*")):
|
||||
if not f.is_file():
|
||||
continue
|
||||
@@ -271,12 +277,9 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
|
||||
|
||||
ПРАВИЛА (соблюдай строго):
|
||||
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
||||
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
|
||||
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
|
||||
- maintainability: дубликат компонента, мёртвый код, устаревший API
|
||||
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
|
||||
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
|
||||
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
|
||||
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity.
|
||||
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
|
||||
6. НЕ комментируй каждую функцию. Только баги, security, UX.
|
||||
7. НЕ переписывай код. Только описывай, что не так.
|
||||
@@ -315,9 +318,9 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
|
||||
|
||||
# ============ Запрос к Together AI ============
|
||||
|
||||
def call_together(code: str, pack: dict) -> str:
|
||||
"""Отправляет код пака в DeepSeek V4 Pro."""
|
||||
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
|
||||
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
||||
"""Отправляет код пака в указанную модель."""
|
||||
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
||||
|
||||
user_prompt = USER_PROMPT_TEMPLATE.format(
|
||||
pack_name=pack["name"],
|
||||
@@ -332,21 +335,20 @@ def call_together(code: str, pack: dict) -> str:
|
||||
"Content-Type": "application/json",
|
||||
},
|
||||
json={
|
||||
"model": MODEL,
|
||||
"model": model_name,
|
||||
"messages": [
|
||||
{"role": "system", "content": SYSTEM_PROMPT},
|
||||
{"role": "user", "content": user_prompt},
|
||||
],
|
||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||
"temperature": 0.2,
|
||||
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
|
||||
"reasoning": {"enabled": False},
|
||||
},
|
||||
timeout=300.0,
|
||||
)
|
||||
|
||||
if response.status_code != 200:
|
||||
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
|
||||
print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr)
|
||||
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
|
||||
return ""
|
||||
|
||||
@@ -364,19 +366,24 @@ def call_together(code: str, pack: dict) -> str:
|
||||
usage = data.get("usage", {})
|
||||
finish = data["choices"][0].get("finish_reason", "unknown")
|
||||
print(
|
||||
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
||||
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
|
||||
f"вход={usage.get('prompt_tokens', 0)}, "
|
||||
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
||||
)
|
||||
if finish == "length":
|
||||
print(
|
||||
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
|
||||
f"пробуем спасти то, что успело сгенериться",
|
||||
f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})",
|
||||
file=sys.stderr,
|
||||
)
|
||||
|
||||
return result
|
||||
|
||||
|
||||
def call_together(code: str, pack: dict) -> str:
|
||||
"""Backward-compat."""
|
||||
return call_together_model(code, pack, MODEL_PRIMARY)
|
||||
|
||||
|
||||
# ============ Парсинг и фильтрация JSON ============
|
||||
|
||||
def extract_json(text: str) -> list[dict]:
|
||||
@@ -416,11 +423,51 @@ def extract_json(text: str) -> list[dict]:
|
||||
return results
|
||||
|
||||
|
||||
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
|
||||
"""Объединяет находки от двух моделей.
|
||||
|
||||
Пересечение по (file, snippet) → confidence +0.05.
|
||||
"""
|
||||
p_list = extract_json(primary_raw)
|
||||
s_list = extract_json(secondary_raw)
|
||||
|
||||
def _key(f: dict) -> str:
|
||||
return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}"
|
||||
|
||||
p_map = {_key(f): f for f in p_list if isinstance(f, dict)}
|
||||
s_map = {_key(f): f for f in s_list if isinstance(f, dict)}
|
||||
|
||||
merged: dict[str, dict] = {}
|
||||
|
||||
for k, f in p_map.items():
|
||||
item = dict(f)
|
||||
item["_source"] = "primary"
|
||||
if k in s_map:
|
||||
try:
|
||||
conf = float(item.get("confidence", 0) or 0)
|
||||
except (TypeError, ValueError):
|
||||
conf = 0
|
||||
item["confidence"] = min(1.0, round(conf + 0.05, 2))
|
||||
item["_source"] = "both"
|
||||
merged[k] = item
|
||||
|
||||
for k, f in s_map.items():
|
||||
if k not in merged:
|
||||
item = dict(f)
|
||||
item["_source"] = "secondary"
|
||||
merged[k] = item
|
||||
|
||||
both_count = sum(1 for v in merged.values() if v.get("_source") == "both")
|
||||
print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, "
|
||||
f"пересечение={both_count}, всего={len(merged)}")
|
||||
|
||||
return list(merged.values())
|
||||
|
||||
|
||||
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
|
||||
"""Фильтрует находки.
|
||||
|
||||
🔧 ФИКС (26.09.2026): overshoot guard — если находок > 15 на пак,
|
||||
берём только топ-10 по confidence.
|
||||
Overshoot guard — если находок > 15 на пак, берём только топ-10 по confidence.
|
||||
"""
|
||||
stats = {
|
||||
"total": len(findings),
|
||||
@@ -429,7 +476,6 @@ def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tupl
|
||||
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
||||
}
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard
|
||||
if len(findings) > OVERSHOOT_LIMIT:
|
||||
print(
|
||||
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
|
||||
@@ -506,7 +552,10 @@ def format_issue_body(
|
||||
lines.append("# 🤖 AI Code Review (Frontend)")
|
||||
lines.append("")
|
||||
lines.append(f"**Дата:** {date_str}")
|
||||
lines.append(f"**Модель:** `{MODEL}`")
|
||||
if USE_SECONDARY_MODEL:
|
||||
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
|
||||
else:
|
||||
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
|
||||
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
||||
lines.append("")
|
||||
lines.append("## 📊 По пакам")
|
||||
@@ -534,7 +583,9 @@ def format_issue_body(
|
||||
lines.append("")
|
||||
for f in items:
|
||||
counter += 1
|
||||
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
|
||||
source = f.get("_source", "primary")
|
||||
source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "")
|
||||
lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}")
|
||||
lines.append("")
|
||||
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
||||
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
||||
@@ -607,8 +658,14 @@ def main() -> None:
|
||||
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
||||
continue
|
||||
|
||||
raw = call_together(code, pack)
|
||||
findings = extract_json(raw)
|
||||
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
||||
|
||||
if USE_SECONDARY_MODEL:
|
||||
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
|
||||
findings = merge_dual_findings(primary_raw, secondary_raw)
|
||||
else:
|
||||
findings = extract_json(primary_raw)
|
||||
|
||||
filtered, stats = validate_and_filter(findings, files_map)
|
||||
|
||||
all_passed.extend(filtered)
|
||||
|
||||
Reference in New Issue
Block a user