🔧 AI Review: dual-model (DeepSeek + GLM 5.3) + split routers_learning
1. routers_learning (100k) разбит на 3 пака: - routers_learning_core (learning.py) - routers_learning_teacher (teacher.py) - routers_learning_orch (orchestrator + profile + data) → finish=length исчезнет. 2. Вторая модель GLM 5.3: - MODEL_PRIMARY = DeepSeek V4.1 Flash (основная) - MODEL_SECONDARY = GLM 5.3 (вторая) - merge_dual_findings: пересечение по (file, snippet) → confidence +0.05 - Только primary → normal, только secondary → normal - USE_SECONDARY_MODEL=True 3. format_issue_body показывает источник: 🔗 both / 🔵 secondary Ожидаем: качество находок, меньше ложных.
This commit is contained in:
+122
-38
@@ -20,13 +20,21 @@ Backend слишком большой (~440K символов) для одног
|
|||||||
→ extract_json теперь спасает отдельные валидные находки, даже если
|
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||||
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||||
(26.09.2026) ФИКС quality-first:
|
(26.09.2026) ФИКС quality-first:
|
||||||
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
|
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат).
|
||||||
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
|
|
||||||
→ MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд").
|
→ MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд").
|
||||||
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
||||||
confidence >= 0.75, ТОП-10 по severity.
|
confidence >= 0.75, ТОП-10 по severity.
|
||||||
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
||||||
берём только топ-10 по confidence (признак, что модель "потекла").
|
берём только топ-10 по confidence (признак, что модель "потекла").
|
||||||
|
(26.09.2026, вечер) ФИКС dual-model + split routers_learning:
|
||||||
|
→ routers_learning (100k) разбит на 3 пака:
|
||||||
|
routers_learning_core, routers_learning_teacher, routers_learning_orch.
|
||||||
|
Это устраняет finish=length — модель успевает выдать JSON.
|
||||||
|
→ Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок:
|
||||||
|
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
|
||||||
|
Пересечение по (file, snippet) → confidence +0.05.
|
||||||
|
→ Только primary → normal. Только secondary → normal.
|
||||||
|
→ USE_SECONDARY_MODEL=True включает вторую модель.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import json
|
import json
|
||||||
@@ -46,11 +54,19 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
|||||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
|
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||||
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
|
# Две модели для пересечения находок:
|
||||||
# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит),
|
# - DeepSeek V4.1 Flash — основная (дешёвая, $0.30/$1.20)
|
||||||
# но качество находок важнее.
|
# - GLM 5.3 — вторая (сильная для code review, $1.40/$4.40)
|
||||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
# Пересечение по (file, snippet) → высокая уверенность.
|
||||||
|
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||||
|
MODEL_SECONDARY = "zai-org/GLM-5.3"
|
||||||
|
MODEL = MODEL_PRIMARY # backward compat
|
||||||
|
|
||||||
|
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled —
|
||||||
|
# если True — гоняем обе модели, объединяем по пересечению.
|
||||||
|
# Дороже (~$0.90 vs $0.38), но точнее.
|
||||||
|
USE_SECONDARY_MODEL = True
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
||||||
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
||||||
@@ -77,13 +93,10 @@ MAX_FILE_SIZE = 100_000
|
|||||||
|
|
||||||
# Фильтр находок
|
# Фильтр находок
|
||||||
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
||||||
# Модель стала сильнее — требуем уверенности.
|
|
||||||
MIN_CONFIDENCE = 0.75
|
MIN_CONFIDENCE = 0.75
|
||||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): overshoot guard.
|
# 🔧 ФИКС (26.09.2026): overshoot guard.
|
||||||
# Если модель выдала > 15 находок на пак — она "потекла",
|
|
||||||
# берём только топ-10 по confidence.
|
|
||||||
OVERSHOOT_LIMIT = 15
|
OVERSHOOT_LIMIT = 15
|
||||||
OVERSHOOT_KEEP = 10
|
OVERSHOOT_KEEP = 10
|
||||||
|
|
||||||
@@ -103,16 +116,27 @@ PACKS = [
|
|||||||
],
|
],
|
||||||
"description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation",
|
"description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation",
|
||||||
},
|
},
|
||||||
|
# 🔧 ФИКС (26.09.2026, вечер): routers_learning_split —
|
||||||
|
# 100k символов → модель уходит в reasoning, finish=length.
|
||||||
|
# Разбиваем на 3 пака по ~30-40k.
|
||||||
{
|
{
|
||||||
"name": "routers_learning",
|
"name": "routers_learning_core",
|
||||||
|
"paths": ["routers/learning.py"],
|
||||||
|
"description": "Уроки: learning.py (эндпоинты + update_*)",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"name": "routers_learning_teacher",
|
||||||
|
"paths": ["routers/teacher.py"],
|
||||||
|
"description": "Учитель: teacher.py",
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"name": "routers_learning_orch",
|
||||||
"paths": [
|
"paths": [
|
||||||
"routers/learning.py",
|
|
||||||
"routers/learning_profile.py",
|
|
||||||
"routers/teacher.py",
|
|
||||||
"routers/orchestrator.py",
|
"routers/orchestrator.py",
|
||||||
|
"routers/learning_profile.py",
|
||||||
"routers/learning_data/",
|
"routers/learning_data/",
|
||||||
],
|
],
|
||||||
"description": "Уроки: learning, teacher, orchestrator, learning_data",
|
"description": "Orchestrator + profile + learning_data",
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"name": "routers_admin",
|
"name": "routers_admin",
|
||||||
@@ -287,9 +311,13 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
|
|||||||
|
|
||||||
# ============ Запрос к Together AI ============
|
# ============ Запрос к Together AI ============
|
||||||
|
|
||||||
def call_together(code: str, pack: dict) -> str:
|
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
||||||
"""Отправляет код пака в DeepSeek V4 Pro."""
|
"""Отправляет код пака в указанную модель.
|
||||||
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
|
|
||||||
|
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||||
|
параметр model_name позволяет гонять 2 модели.
|
||||||
|
"""
|
||||||
|
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
||||||
|
|
||||||
user_prompt = USER_PROMPT_TEMPLATE.format(
|
user_prompt = USER_PROMPT_TEMPLATE.format(
|
||||||
pack_name=pack["name"],
|
pack_name=pack["name"],
|
||||||
@@ -304,26 +332,21 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
"Content-Type": "application/json",
|
"Content-Type": "application/json",
|
||||||
},
|
},
|
||||||
json={
|
json={
|
||||||
"model": MODEL,
|
"model": model_name,
|
||||||
"messages": [
|
"messages": [
|
||||||
{"role": "system", "content": SYSTEM_PROMPT},
|
{"role": "system", "content": SYSTEM_PROMPT},
|
||||||
{"role": "user", "content": user_prompt},
|
{"role": "user", "content": user_prompt},
|
||||||
],
|
],
|
||||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||||
"temperature": 0.2,
|
"temperature": 0.2,
|
||||||
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro
|
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
|
||||||
# по умолчанию думают перед ответом. На сложных/больших паках
|
|
||||||
# весь max_tokens уходит в thinking, content остаётся пустым,
|
|
||||||
# finish_reason="length" — находки терялись целиком.
|
|
||||||
# Задаче нужна строгая экстракция, а не рассуждения,
|
|
||||||
# поэтому reasoning выключаем явно.
|
|
||||||
"reasoning": {"enabled": False},
|
"reasoning": {"enabled": False},
|
||||||
},
|
},
|
||||||
timeout=300.0,
|
timeout=300.0,
|
||||||
)
|
)
|
||||||
|
|
||||||
if response.status_code != 200:
|
if response.status_code != 200:
|
||||||
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
|
print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr)
|
||||||
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
|
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
|
||||||
return ""
|
return ""
|
||||||
|
|
||||||
@@ -333,8 +356,6 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
message = data["choices"][0]["message"]
|
message = data["choices"][0]["message"]
|
||||||
result = message.get("content")
|
result = message.get("content")
|
||||||
if not result:
|
if not result:
|
||||||
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
|
|
||||||
# убран. Он был источником "Ошибка парсинга JSON".
|
|
||||||
raise KeyError("пусто (content отсутствует)")
|
raise KeyError("пусто (content отсутствует)")
|
||||||
except (KeyError, IndexError, TypeError) as e:
|
except (KeyError, IndexError, TypeError) as e:
|
||||||
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
||||||
@@ -343,19 +364,24 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
usage = data.get("usage", {})
|
usage = data.get("usage", {})
|
||||||
finish = data["choices"][0].get("finish_reason", "unknown")
|
finish = data["choices"][0].get("finish_reason", "unknown")
|
||||||
print(
|
print(
|
||||||
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
|
||||||
|
f"вход={usage.get('prompt_tokens', 0)}, "
|
||||||
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
||||||
)
|
)
|
||||||
if finish == "length":
|
if finish == "length":
|
||||||
print(
|
print(
|
||||||
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
|
f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})",
|
||||||
f"пробуем спасти то, что успело сгенериться",
|
|
||||||
file=sys.stderr,
|
file=sys.stderr,
|
||||||
)
|
)
|
||||||
|
|
||||||
return result
|
return result
|
||||||
|
|
||||||
|
|
||||||
|
def call_together(code: str, pack: dict) -> str:
|
||||||
|
"""Backward-compat: одна модель (primary)."""
|
||||||
|
return call_together_model(code, pack, MODEL_PRIMARY)
|
||||||
|
|
||||||
|
|
||||||
# ============ Парсинг и фильтрация JSON ============
|
# ============ Парсинг и фильтрация JSON ============
|
||||||
|
|
||||||
def extract_json(text: str) -> list[dict]:
|
def extract_json(text: str) -> list[dict]:
|
||||||
@@ -391,8 +417,6 @@ def extract_json(text: str) -> list[dict]:
|
|||||||
try:
|
try:
|
||||||
obj, end = decoder.raw_decode(text, idx)
|
obj, end = decoder.raw_decode(text, idx)
|
||||||
except json.JSONDecodeError:
|
except json.JSONDecodeError:
|
||||||
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
|
|
||||||
# Останавливаемся, но не теряем то, что уже успели распарсить.
|
|
||||||
break
|
break
|
||||||
if isinstance(obj, dict):
|
if isinstance(obj, dict):
|
||||||
results.append(obj)
|
results.append(obj)
|
||||||
@@ -404,6 +428,53 @@ def extract_json(text: str) -> list[dict]:
|
|||||||
return results
|
return results
|
||||||
|
|
||||||
|
|
||||||
|
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
|
||||||
|
"""Объединяет находки от двух моделей.
|
||||||
|
|
||||||
|
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model_merge —
|
||||||
|
пересечение по (file, snippet) → confidence +0.05.
|
||||||
|
Только primary → normal.
|
||||||
|
Только secondary → normal.
|
||||||
|
"""
|
||||||
|
p_list = extract_json(primary_raw)
|
||||||
|
s_list = extract_json(secondary_raw)
|
||||||
|
|
||||||
|
def _key(f: dict) -> str:
|
||||||
|
return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}"
|
||||||
|
|
||||||
|
p_map = {_key(f): f for f in p_list if isinstance(f, dict)}
|
||||||
|
s_map = {_key(f): f for f in s_list if isinstance(f, dict)}
|
||||||
|
|
||||||
|
merged: dict[str, dict] = {}
|
||||||
|
|
||||||
|
# Primary — base
|
||||||
|
for k, f in p_map.items():
|
||||||
|
item = dict(f)
|
||||||
|
item["_source"] = "primary"
|
||||||
|
if k in s_map:
|
||||||
|
# Пересечение — повышаем confidence
|
||||||
|
try:
|
||||||
|
conf = float(item.get("confidence", 0) or 0)
|
||||||
|
except (TypeError, ValueError):
|
||||||
|
conf = 0
|
||||||
|
item["confidence"] = min(1.0, round(conf + 0.05, 2))
|
||||||
|
item["_source"] = "both"
|
||||||
|
merged[k] = item
|
||||||
|
|
||||||
|
# Secondary — только то, чего нет в primary
|
||||||
|
for k, f in s_map.items():
|
||||||
|
if k not in merged:
|
||||||
|
item = dict(f)
|
||||||
|
item["_source"] = "secondary"
|
||||||
|
merged[k] = item
|
||||||
|
|
||||||
|
both_count = sum(1 for v in merged.values() if v.get("_source") == "both")
|
||||||
|
print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, "
|
||||||
|
f"пересечение={both_count}, всего={len(merged)}")
|
||||||
|
|
||||||
|
return list(merged.values())
|
||||||
|
|
||||||
|
|
||||||
def validate_and_filter(
|
def validate_and_filter(
|
||||||
findings: list[dict],
|
findings: list[dict],
|
||||||
files_map: dict[str, str],
|
files_map: dict[str, str],
|
||||||
@@ -411,7 +482,7 @@ def validate_and_filter(
|
|||||||
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
|
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
|
||||||
|
|
||||||
🔧 ФИКС (26.09.2026): overshoot guard.
|
🔧 ФИКС (26.09.2026): overshoot guard.
|
||||||
Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг").
|
Если модель выдала > 15 находок на пак — она "потекла".
|
||||||
Берём только топ-10 по confidence.
|
Берём только топ-10 по confidence.
|
||||||
"""
|
"""
|
||||||
stats = {
|
stats = {
|
||||||
@@ -499,7 +570,10 @@ def format_issue_body(
|
|||||||
lines.append("# 🤖 AI Code Review (Backend)")
|
lines.append("# 🤖 AI Code Review (Backend)")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append(f"**Дата:** {date_str}")
|
lines.append(f"**Дата:** {date_str}")
|
||||||
lines.append(f"**Модель:** `{MODEL}`")
|
if USE_SECONDARY_MODEL:
|
||||||
|
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
|
||||||
|
else:
|
||||||
|
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
|
||||||
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append("## 📊 По пакам")
|
lines.append("## 📊 По пакам")
|
||||||
@@ -527,7 +601,9 @@ def format_issue_body(
|
|||||||
lines.append("")
|
lines.append("")
|
||||||
for f in items:
|
for f in items:
|
||||||
counter += 1
|
counter += 1
|
||||||
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
|
source = f.get("_source", "primary")
|
||||||
|
source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "")
|
||||||
|
lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
||||||
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
||||||
@@ -601,8 +677,16 @@ def main() -> None:
|
|||||||
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
||||||
continue
|
continue
|
||||||
|
|
||||||
raw = call_together(code, pack)
|
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||||
findings = extract_json(raw)
|
# primary всегда, secondary — если USE_SECONDARY_MODEL.
|
||||||
|
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
||||||
|
|
||||||
|
if USE_SECONDARY_MODEL:
|
||||||
|
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
|
||||||
|
findings = merge_dual_findings(primary_raw, secondary_raw)
|
||||||
|
else:
|
||||||
|
findings = extract_json(primary_raw)
|
||||||
|
|
||||||
filtered, stats = validate_and_filter(findings, files_map)
|
filtered, stats = validate_and_filter(findings, files_map)
|
||||||
|
|
||||||
all_passed.extend(filtered)
|
all_passed.extend(filtered)
|
||||||
|
|||||||
Reference in New Issue
Block a user