🔧 AI Review: dual-model (DeepSeek + GLM 5.3) + split routers_learning

1. routers_learning (100k) разбит на 3 пака:
   - routers_learning_core (learning.py)
   - routers_learning_teacher (teacher.py)
   - routers_learning_orch (orchestrator + profile + data)
   → finish=length исчезнет.

2. Вторая модель GLM 5.3:
   - MODEL_PRIMARY = DeepSeek V4.1 Flash (основная)
   - MODEL_SECONDARY = GLM 5.3 (вторая)
   - merge_dual_findings: пересечение по (file, snippet) → confidence +0.05
   - Только primary → normal, только secondary → normal
   - USE_SECONDARY_MODEL=True

3. format_issue_body показывает источник: 🔗 both / 🔵 secondary

Ожидаем: качество находок, меньше ложных.
This commit is contained in:
2026-09-25 18:57:22 +00:00
parent 54ae48f193
commit 8de309bca9
+122 -38
View File
@@ -20,13 +20,21 @@ Backend слишком большой (~440K символов) для одног
→ extract_json теперь спасает отдельные валидные находки, даже если
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
(26.09.2026) ФИКС quality-first:
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат).
→ MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд").
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
confidence >= 0.75, ТОП-10 по severity.
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
берём только топ-10 по confidence (признак, что модель "потекла").
(26.09.2026, вечер) ФИКС dual-model + split routers_learning:
→ routers_learning (100k) разбит на 3 пака:
routers_learning_core, routers_learning_teacher, routers_learning_orch.
Это устраняет finish=length — модель успевает выдать JSON.
→ Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок:
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
Пересечение по (file, snippet) → confidence +0.05.
→ Только primary → normal. Только secondary → normal.
→ USE_SECONDARY_MODEL=True включает вторую модель.
"""
import json
@@ -46,11 +54,19 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит),
# но качество находок важнее.
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
# Две модели для пересечения находок:
# - DeepSeek V4.1 Flash — основная (дешёвая, $0.30/$1.20)
# - GLM 5.3 — вторая (сильная для code review, $1.40/$4.40)
# Пересечение по (file, snippet) → высокая уверенность.
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
MODEL_SECONDARY = "zai-org/GLM-5.3"
MODEL = MODEL_PRIMARY # backward compat
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled —
# если True — гоняем обе модели, объединяем по пересечению.
# Дороже (~$0.90 vs $0.38), но точнее.
USE_SECONDARY_MODEL = True
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
# 32000 токенов = модель пишет "Ок" на каждую функцию.
@@ -77,13 +93,10 @@ MAX_FILE_SIZE = 100_000
# Фильтр находок
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
# Модель стала сильнее — требуем уверенности.
MIN_CONFIDENCE = 0.75
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
# 🔧 ФИКС (26.09.2026): overshoot guard.
# Если модель выдала > 15 находок на пак — она "потекла",
# берём только топ-10 по confidence.
OVERSHOOT_LIMIT = 15
OVERSHOOT_KEEP = 10
@@ -103,16 +116,27 @@ PACKS = [
],
"description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation",
},
# 🔧 ФИКС (26.09.2026, вечер): routers_learning_split —
# 100k символов → модель уходит в reasoning, finish=length.
# Разбиваем на 3 пака по ~30-40k.
{
"name": "routers_learning",
"name": "routers_learning_core",
"paths": ["routers/learning.py"],
"description": "Уроки: learning.py (эндпоинты + update_*)",
},
{
"name": "routers_learning_teacher",
"paths": ["routers/teacher.py"],
"description": "Учитель: teacher.py",
},
{
"name": "routers_learning_orch",
"paths": [
"routers/learning.py",
"routers/learning_profile.py",
"routers/teacher.py",
"routers/orchestrator.py",
"routers/learning_profile.py",
"routers/learning_data/",
],
"description": "Уроки: learning, teacher, orchestrator, learning_data",
"description": "Orchestrator + profile + learning_data",
},
{
"name": "routers_admin",
@@ -287,9 +311,13 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
# ============ Запрос к Together AI ============
def call_together(code: str, pack: dict) -> str:
"""Отправляет код пака в DeepSeek V4 Pro."""
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
def call_together_model(code: str, pack: dict, model_name: str) -> str:
"""Отправляет код пака в указанную модель.
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
параметр model_name позволяет гонять 2 модели.
"""
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
user_prompt = USER_PROMPT_TEMPLATE.format(
pack_name=pack["name"],
@@ -304,26 +332,21 @@ def call_together(code: str, pack: dict) -> str:
"Content-Type": "application/json",
},
json={
"model": MODEL,
"model": model_name,
"messages": [
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_prompt},
],
"max_tokens": MAX_OUTPUT_TOKENS,
"temperature": 0.2,
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro
# по умолчанию думают перед ответом. На сложных/больших паках
# весь max_tokens уходит в thinking, content остаётся пустым,
# finish_reason="length" — находки терялись целиком.
# Задаче нужна строгая экстракция, а не рассуждения,
# поэтому reasoning выключаем явно.
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
"reasoning": {"enabled": False},
},
timeout=300.0,
)
if response.status_code != 200:
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr)
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
return ""
@@ -333,8 +356,6 @@ def call_together(code: str, pack: dict) -> str:
message = data["choices"][0]["message"]
result = message.get("content")
if not result:
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
# убран. Он был источником "Ошибка парсинга JSON".
raise KeyError("пусто (content отсутствует)")
except (KeyError, IndexError, TypeError) as e:
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
@@ -343,19 +364,24 @@ def call_together(code: str, pack: dict) -> str:
usage = data.get("usage", {})
finish = data["choices"][0].get("finish_reason", "unknown")
print(
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
f"вход={usage.get('prompt_tokens', 0)}, "
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
)
if finish == "length":
print(
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
f"пробуем спасти то, что успело сгенериться",
f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})",
file=sys.stderr,
)
return result
def call_together(code: str, pack: dict) -> str:
"""Backward-compat: одна модель (primary)."""
return call_together_model(code, pack, MODEL_PRIMARY)
# ============ Парсинг и фильтрация JSON ============
def extract_json(text: str) -> list[dict]:
@@ -391,8 +417,6 @@ def extract_json(text: str) -> list[dict]:
try:
obj, end = decoder.raw_decode(text, idx)
except json.JSONDecodeError:
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
# Останавливаемся, но не теряем то, что уже успели распарсить.
break
if isinstance(obj, dict):
results.append(obj)
@@ -404,6 +428,53 @@ def extract_json(text: str) -> list[dict]:
return results
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
"""Объединяет находки от двух моделей.
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model_merge —
пересечение по (file, snippet) → confidence +0.05.
Только primary → normal.
Только secondary → normal.
"""
p_list = extract_json(primary_raw)
s_list = extract_json(secondary_raw)
def _key(f: dict) -> str:
return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}"
p_map = {_key(f): f for f in p_list if isinstance(f, dict)}
s_map = {_key(f): f for f in s_list if isinstance(f, dict)}
merged: dict[str, dict] = {}
# Primary — base
for k, f in p_map.items():
item = dict(f)
item["_source"] = "primary"
if k in s_map:
# Пересечение — повышаем confidence
try:
conf = float(item.get("confidence", 0) or 0)
except (TypeError, ValueError):
conf = 0
item["confidence"] = min(1.0, round(conf + 0.05, 2))
item["_source"] = "both"
merged[k] = item
# Secondary — только то, чего нет в primary
for k, f in s_map.items():
if k not in merged:
item = dict(f)
item["_source"] = "secondary"
merged[k] = item
both_count = sum(1 for v in merged.values() if v.get("_source") == "both")
print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, "
f"пересечение={both_count}, всего={len(merged)}")
return list(merged.values())
def validate_and_filter(
findings: list[dict],
files_map: dict[str, str],
@@ -411,7 +482,7 @@ def validate_and_filter(
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
🔧 ФИКС (26.09.2026): overshoot guard.
Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг").
Если модель выдала > 15 находок на пак — она "потекла".
Берём только топ-10 по confidence.
"""
stats = {
@@ -499,7 +570,10 @@ def format_issue_body(
lines.append("# 🤖 AI Code Review (Backend)")
lines.append("")
lines.append(f"**Дата:** {date_str}")
lines.append(f"**Модель:** `{MODEL}`")
if USE_SECONDARY_MODEL:
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
else:
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
lines.append("")
lines.append("## 📊 По пакам")
@@ -527,7 +601,9 @@ def format_issue_body(
lines.append("")
for f in items:
counter += 1
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
source = f.get("_source", "primary")
source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "")
lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}")
lines.append("")
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
@@ -601,8 +677,16 @@ def main() -> None:
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
continue
raw = call_together(code, pack)
findings = extract_json(raw)
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
# primary всегда, secondary — если USE_SECONDARY_MODEL.
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
if USE_SECONDARY_MODEL:
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
findings = merge_dual_findings(primary_raw, secondary_raw)
else:
findings = extract_json(primary_raw)
filtered, stats = validate_and_filter(findings, files_map)
all_passed.extend(filtered)