🔧 AI Review: dual-model (DeepSeek + GLM 5.3) — frontend
- MODEL_PRIMARY = DeepSeek V4.1 Flash - MODEL_SECONDARY = GLM 5.3 - merge_dual_findings: пересечение по (file, snippet) - USE_SECONDARY_MODEL=True
This commit is contained in:
+85
-28
@@ -19,13 +19,17 @@ Frontend слишком большой (1M+ символов) для одног
|
|||||||
→ extract_json теперь спасает отдельные валидные находки, даже если
|
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||||
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||||
(26.09.2026) ФИКС quality-first:
|
(26.09.2026) ФИКС quality-first:
|
||||||
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
|
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат).
|
||||||
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
|
|
||||||
→ MAX_OUTPUT_TOKENS: 32000 → 8000.
|
→ MAX_OUTPUT_TOKENS: 32000 → 8000.
|
||||||
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
||||||
confidence >= 0.75, ТОП-10 по severity.
|
confidence >= 0.75, ТОП-10 по severity.
|
||||||
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
||||||
берём только топ-10 по confidence.
|
берём только топ-10 по confidence.
|
||||||
|
(26.09.2026, вечер) ФИКС dual-model:
|
||||||
|
→ Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок:
|
||||||
|
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
|
||||||
|
Пересечение по (file, snippet) → confidence +0.05.
|
||||||
|
→ USE_SECONDARY_MODEL=True включает вторую модель.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import json
|
import json
|
||||||
@@ -45,10 +49,14 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
|||||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
|
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
|
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||||
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
|
# Две модели для пересечения находок.
|
||||||
# 1M контекст.
|
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
MODEL_SECONDARY = "zai-org/GLM-5.3"
|
||||||
|
MODEL = MODEL_PRIMARY # backward compat
|
||||||
|
|
||||||
|
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled.
|
||||||
|
USE_SECONDARY_MODEL = True
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
||||||
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
||||||
@@ -68,7 +76,6 @@ INCLUDE_EXTENSIONS = {".ts", ".tsx", ".js", ".jsx"}
|
|||||||
MAX_FILE_SIZE = 100_000
|
MAX_FILE_SIZE = 100_000
|
||||||
|
|
||||||
# Фильтр находок
|
# Фильтр находок
|
||||||
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
|
||||||
MIN_CONFIDENCE = 0.75
|
MIN_CONFIDENCE = 0.75
|
||||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||||
|
|
||||||
@@ -222,7 +229,6 @@ def collect_pack(repo_root: Path, pack: dict) -> tuple[str, dict[str, str]]:
|
|||||||
files_map[rel_str] = content
|
files_map[rel_str] = content
|
||||||
total_size += len(content)
|
total_size += len(content)
|
||||||
else:
|
else:
|
||||||
# Папка — рекурсивно
|
|
||||||
for f in sorted(target.rglob("*")):
|
for f in sorted(target.rglob("*")):
|
||||||
if not f.is_file():
|
if not f.is_file():
|
||||||
continue
|
continue
|
||||||
@@ -271,12 +277,9 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
|
|||||||
|
|
||||||
ПРАВИЛА (соблюдай строго):
|
ПРАВИЛА (соблюдай строго):
|
||||||
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
1. severity — только одно из: "user_impact", "data_risk", "maintainability".
|
||||||
- user_impact: пользователь видит баг, ломается UX, не работает кнопка
|
|
||||||
- data_risk: утечка данных, неверная валидация, XSS, утечка токенов в UI
|
|
||||||
- maintainability: дубликат компонента, мёртвый код, устаревший API
|
|
||||||
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
|
2. snippet — ТОЧНАЯ цитата 1-3 строк из файла. Не перефразируй.
|
||||||
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
|
3. confidence — число от 0 до 1. Если меньше 0.75 — НЕ включай.
|
||||||
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity (user_impact > data_risk > maintainability).
|
4. МАКСИМУМ 10 находок за этот пак. Если находишь больше — выбери ТОП-10 по severity.
|
||||||
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
|
5. НЕ пиши находки типа "Ок", "Не баг", "Работает корректно", "Не влияет на UX", "Не критично". Только РЕАЛЬНЫЕ проблемы.
|
||||||
6. НЕ комментируй каждую функцию. Только баги, security, UX.
|
6. НЕ комментируй каждую функцию. Только баги, security, UX.
|
||||||
7. НЕ переписывай код. Только описывай, что не так.
|
7. НЕ переписывай код. Только описывай, что не так.
|
||||||
@@ -315,9 +318,9 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода fronten
|
|||||||
|
|
||||||
# ============ Запрос к Together AI ============
|
# ============ Запрос к Together AI ============
|
||||||
|
|
||||||
def call_together(code: str, pack: dict) -> str:
|
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
||||||
"""Отправляет код пака в DeepSeek V4 Pro."""
|
"""Отправляет код пака в указанную модель."""
|
||||||
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
|
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
||||||
|
|
||||||
user_prompt = USER_PROMPT_TEMPLATE.format(
|
user_prompt = USER_PROMPT_TEMPLATE.format(
|
||||||
pack_name=pack["name"],
|
pack_name=pack["name"],
|
||||||
@@ -332,21 +335,20 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
"Content-Type": "application/json",
|
"Content-Type": "application/json",
|
||||||
},
|
},
|
||||||
json={
|
json={
|
||||||
"model": MODEL,
|
"model": model_name,
|
||||||
"messages": [
|
"messages": [
|
||||||
{"role": "system", "content": SYSTEM_PROMPT},
|
{"role": "system", "content": SYSTEM_PROMPT},
|
||||||
{"role": "user", "content": user_prompt},
|
{"role": "user", "content": user_prompt},
|
||||||
],
|
],
|
||||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||||
"temperature": 0.2,
|
"temperature": 0.2,
|
||||||
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
|
|
||||||
"reasoning": {"enabled": False},
|
"reasoning": {"enabled": False},
|
||||||
},
|
},
|
||||||
timeout=300.0,
|
timeout=300.0,
|
||||||
)
|
)
|
||||||
|
|
||||||
if response.status_code != 200:
|
if response.status_code != 200:
|
||||||
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
|
print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr)
|
||||||
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
|
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
|
||||||
return ""
|
return ""
|
||||||
|
|
||||||
@@ -364,19 +366,24 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
usage = data.get("usage", {})
|
usage = data.get("usage", {})
|
||||||
finish = data["choices"][0].get("finish_reason", "unknown")
|
finish = data["choices"][0].get("finish_reason", "unknown")
|
||||||
print(
|
print(
|
||||||
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
|
||||||
|
f"вход={usage.get('prompt_tokens', 0)}, "
|
||||||
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
||||||
)
|
)
|
||||||
if finish == "length":
|
if finish == "length":
|
||||||
print(
|
print(
|
||||||
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
|
f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})",
|
||||||
f"пробуем спасти то, что успело сгенериться",
|
|
||||||
file=sys.stderr,
|
file=sys.stderr,
|
||||||
)
|
)
|
||||||
|
|
||||||
return result
|
return result
|
||||||
|
|
||||||
|
|
||||||
|
def call_together(code: str, pack: dict) -> str:
|
||||||
|
"""Backward-compat."""
|
||||||
|
return call_together_model(code, pack, MODEL_PRIMARY)
|
||||||
|
|
||||||
|
|
||||||
# ============ Парсинг и фильтрация JSON ============
|
# ============ Парсинг и фильтрация JSON ============
|
||||||
|
|
||||||
def extract_json(text: str) -> list[dict]:
|
def extract_json(text: str) -> list[dict]:
|
||||||
@@ -416,11 +423,51 @@ def extract_json(text: str) -> list[dict]:
|
|||||||
return results
|
return results
|
||||||
|
|
||||||
|
|
||||||
|
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
|
||||||
|
"""Объединяет находки от двух моделей.
|
||||||
|
|
||||||
|
Пересечение по (file, snippet) → confidence +0.05.
|
||||||
|
"""
|
||||||
|
p_list = extract_json(primary_raw)
|
||||||
|
s_list = extract_json(secondary_raw)
|
||||||
|
|
||||||
|
def _key(f: dict) -> str:
|
||||||
|
return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}"
|
||||||
|
|
||||||
|
p_map = {_key(f): f for f in p_list if isinstance(f, dict)}
|
||||||
|
s_map = {_key(f): f for f in s_list if isinstance(f, dict)}
|
||||||
|
|
||||||
|
merged: dict[str, dict] = {}
|
||||||
|
|
||||||
|
for k, f in p_map.items():
|
||||||
|
item = dict(f)
|
||||||
|
item["_source"] = "primary"
|
||||||
|
if k in s_map:
|
||||||
|
try:
|
||||||
|
conf = float(item.get("confidence", 0) or 0)
|
||||||
|
except (TypeError, ValueError):
|
||||||
|
conf = 0
|
||||||
|
item["confidence"] = min(1.0, round(conf + 0.05, 2))
|
||||||
|
item["_source"] = "both"
|
||||||
|
merged[k] = item
|
||||||
|
|
||||||
|
for k, f in s_map.items():
|
||||||
|
if k not in merged:
|
||||||
|
item = dict(f)
|
||||||
|
item["_source"] = "secondary"
|
||||||
|
merged[k] = item
|
||||||
|
|
||||||
|
both_count = sum(1 for v in merged.values() if v.get("_source") == "both")
|
||||||
|
print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, "
|
||||||
|
f"пересечение={both_count}, всего={len(merged)}")
|
||||||
|
|
||||||
|
return list(merged.values())
|
||||||
|
|
||||||
|
|
||||||
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
|
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
|
||||||
"""Фильтрует находки.
|
"""Фильтрует находки.
|
||||||
|
|
||||||
🔧 ФИКС (26.09.2026): overshoot guard — если находок > 15 на пак,
|
Overshoot guard — если находок > 15 на пак, берём только топ-10 по confidence.
|
||||||
берём только топ-10 по confidence.
|
|
||||||
"""
|
"""
|
||||||
stats = {
|
stats = {
|
||||||
"total": len(findings),
|
"total": len(findings),
|
||||||
@@ -429,7 +476,6 @@ def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tupl
|
|||||||
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
"low_confidence": 0, "no_effect_or_repro": 0, "passed": 0,
|
||||||
}
|
}
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot_guard
|
|
||||||
if len(findings) > OVERSHOOT_LIMIT:
|
if len(findings) > OVERSHOOT_LIMIT:
|
||||||
print(
|
print(
|
||||||
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
|
f" ⚠️ Overshoot: {len(findings)} находок (> {OVERSHOOT_LIMIT}), "
|
||||||
@@ -506,7 +552,10 @@ def format_issue_body(
|
|||||||
lines.append("# 🤖 AI Code Review (Frontend)")
|
lines.append("# 🤖 AI Code Review (Frontend)")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append(f"**Дата:** {date_str}")
|
lines.append(f"**Дата:** {date_str}")
|
||||||
lines.append(f"**Модель:** `{MODEL}`")
|
if USE_SECONDARY_MODEL:
|
||||||
|
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
|
||||||
|
else:
|
||||||
|
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
|
||||||
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append("## 📊 По пакам")
|
lines.append("## 📊 По пакам")
|
||||||
@@ -534,7 +583,9 @@ def format_issue_body(
|
|||||||
lines.append("")
|
lines.append("")
|
||||||
for f in items:
|
for f in items:
|
||||||
counter += 1
|
counter += 1
|
||||||
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
|
source = f.get("_source", "primary")
|
||||||
|
source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "")
|
||||||
|
lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
||||||
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
||||||
@@ -607,8 +658,14 @@ def main() -> None:
|
|||||||
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
||||||
continue
|
continue
|
||||||
|
|
||||||
raw = call_together(code, pack)
|
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
||||||
findings = extract_json(raw)
|
|
||||||
|
if USE_SECONDARY_MODEL:
|
||||||
|
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
|
||||||
|
findings = merge_dual_findings(primary_raw, secondary_raw)
|
||||||
|
else:
|
||||||
|
findings = extract_json(primary_raw)
|
||||||
|
|
||||||
filtered, stats = validate_and_filter(findings, files_map)
|
filtered, stats = validate_and_filter(findings, files_map)
|
||||||
|
|
||||||
all_passed.extend(filtered)
|
all_passed.extend(filtered)
|
||||||
|
|||||||
Reference in New Issue
Block a user