🔧 AI Review: dual-model (DeepSeek + GLM 5.3) + split routers_learning
1. routers_learning (100k) разбит на 3 пака: - routers_learning_core (learning.py) - routers_learning_teacher (teacher.py) - routers_learning_orch (orchestrator + profile + data) → finish=length исчезнет. 2. Вторая модель GLM 5.3: - MODEL_PRIMARY = DeepSeek V4.1 Flash (основная) - MODEL_SECONDARY = GLM 5.3 (вторая) - merge_dual_findings: пересечение по (file, snippet) → confidence +0.05 - Только primary → normal, только secondary → normal - USE_SECONDARY_MODEL=True 3. format_issue_body показывает источник: 🔗 both / 🔵 secondary Ожидаем: качество находок, меньше ложных.
This commit is contained in:
+122
-38
@@ -20,13 +20,21 @@ Backend слишком большой (~440K символов) для одног
|
||||
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||
(26.09.2026) ФИКС quality-first:
|
||||
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813
|
||||
(Coding 68.8 AA, SWE-Bench 80.6%, 1M контекст).
|
||||
→ MODEL: DeepSeek-V4.1-Flash → DeepSeek-V4-Pro-0813 (потом откат).
|
||||
→ MAX_OUTPUT_TOKENS: 32000 → 8000 (модель перестаёт писать "всё подряд").
|
||||
→ SYSTEM_PROMPT ужесточён: запрет "Ок"/"Не баг"/"Работает корректно",
|
||||
confidence >= 0.75, ТОП-10 по severity.
|
||||
→ validate_and_filter: overshoot guard — если находок > 15 на пак,
|
||||
берём только топ-10 по confidence (признак, что модель "потекла").
|
||||
(26.09.2026, вечер) ФИКС dual-model + split routers_learning:
|
||||
→ routers_learning (100k) разбит на 3 пака:
|
||||
routers_learning_core, routers_learning_teacher, routers_learning_orch.
|
||||
Это устраняет finish=length — модель успевает выдать JSON.
|
||||
→ Добавлена ВТОРАЯ модель (GLM 5.3) для пересечения находок:
|
||||
DeepSeek V4.1 Flash — основная, GLM 5.3 — вторая.
|
||||
Пересечение по (file, snippet) → confidence +0.05.
|
||||
→ Только primary → normal. Только secondary → normal.
|
||||
→ USE_SECONDARY_MODEL=True включает вторую модель.
|
||||
"""
|
||||
|
||||
import json
|
||||
@@ -46,11 +54,19 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_quality_first —
|
||||
# DeepSeek V4 Pro 0813: Coding 68.8 (AA), SWE-Bench 80.6%,
|
||||
# 1M контекст. В 4 раза дороже V4.1 Flash (~$0.77/аудит),
|
||||
# но качество находок важнее.
|
||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||
# Две модели для пересечения находок:
|
||||
# - DeepSeek V4.1 Flash — основная (дешёвая, $0.30/$1.20)
|
||||
# - GLM 5.3 — вторая (сильная для code review, $1.40/$4.40)
|
||||
# Пересечение по (file, snippet) → высокая уверенность.
|
||||
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||
MODEL_SECONDARY = "zai-org/GLM-5.3"
|
||||
MODEL = MODEL_PRIMARY # backward compat
|
||||
|
||||
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled —
|
||||
# если True — гоняем обе модели, объединяем по пересечению.
|
||||
# Дороже (~$0.90 vs $0.38), но точнее.
|
||||
USE_SECONDARY_MODEL = True
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
||||
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
||||
@@ -77,13 +93,10 @@ MAX_FILE_SIZE = 100_000
|
||||
|
||||
# Фильтр находок
|
||||
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
||||
# Модель стала сильнее — требуем уверенности.
|
||||
MIN_CONFIDENCE = 0.75
|
||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||
|
||||
# 🔧 ФИКС (26.09.2026): overshoot guard.
|
||||
# Если модель выдала > 15 находок на пак — она "потекла",
|
||||
# берём только топ-10 по confidence.
|
||||
OVERSHOOT_LIMIT = 15
|
||||
OVERSHOOT_KEEP = 10
|
||||
|
||||
@@ -103,16 +116,27 @@ PACKS = [
|
||||
],
|
||||
"description": "Игры: wordsearch, hints, quiz, bubbles, sentences, typing, pronunciation",
|
||||
},
|
||||
# 🔧 ФИКС (26.09.2026, вечер): routers_learning_split —
|
||||
# 100k символов → модель уходит в reasoning, finish=length.
|
||||
# Разбиваем на 3 пака по ~30-40k.
|
||||
{
|
||||
"name": "routers_learning",
|
||||
"name": "routers_learning_core",
|
||||
"paths": ["routers/learning.py"],
|
||||
"description": "Уроки: learning.py (эндпоинты + update_*)",
|
||||
},
|
||||
{
|
||||
"name": "routers_learning_teacher",
|
||||
"paths": ["routers/teacher.py"],
|
||||
"description": "Учитель: teacher.py",
|
||||
},
|
||||
{
|
||||
"name": "routers_learning_orch",
|
||||
"paths": [
|
||||
"routers/learning.py",
|
||||
"routers/learning_profile.py",
|
||||
"routers/teacher.py",
|
||||
"routers/orchestrator.py",
|
||||
"routers/learning_profile.py",
|
||||
"routers/learning_data/",
|
||||
],
|
||||
"description": "Уроки: learning, teacher, orchestrator, learning_data",
|
||||
"description": "Orchestrator + profile + learning_data",
|
||||
},
|
||||
{
|
||||
"name": "routers_admin",
|
||||
@@ -287,9 +311,13 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
|
||||
|
||||
# ============ Запрос к Together AI ============
|
||||
|
||||
def call_together(code: str, pack: dict) -> str:
|
||||
"""Отправляет код пака в DeepSeek V4 Pro."""
|
||||
print(f" 🤖 Отправляю пак '{pack['name']}' в DeepSeek V4 Pro...")
|
||||
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
||||
"""Отправляет код пака в указанную модель.
|
||||
|
||||
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||
параметр model_name позволяет гонять 2 модели.
|
||||
"""
|
||||
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
||||
|
||||
user_prompt = USER_PROMPT_TEMPLATE.format(
|
||||
pack_name=pack["name"],
|
||||
@@ -304,26 +332,21 @@ def call_together(code: str, pack: dict) -> str:
|
||||
"Content-Type": "application/json",
|
||||
},
|
||||
json={
|
||||
"model": MODEL,
|
||||
"model": model_name,
|
||||
"messages": [
|
||||
{"role": "system", "content": SYSTEM_PROMPT},
|
||||
{"role": "user", "content": user_prompt},
|
||||
],
|
||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||
"temperature": 0.2,
|
||||
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash / V4 Pro
|
||||
# по умолчанию думают перед ответом. На сложных/больших паках
|
||||
# весь max_tokens уходит в thinking, content остаётся пустым,
|
||||
# finish_reason="length" — находки терялись целиком.
|
||||
# Задаче нужна строгая экстракция, а не рассуждения,
|
||||
# поэтому reasoning выключаем явно.
|
||||
# 🔧 ФИКС (25.09.2026, вечер): reasoning выключен.
|
||||
"reasoning": {"enabled": False},
|
||||
},
|
||||
timeout=300.0,
|
||||
)
|
||||
|
||||
if response.status_code != 200:
|
||||
print(f" ❌ Together AI вернул {response.status_code}", file=sys.stderr)
|
||||
print(f" ❌ {model_name} вернул {response.status_code}", file=sys.stderr)
|
||||
print(f" Ответ: {response.text[:500]}", file=sys.stderr)
|
||||
return ""
|
||||
|
||||
@@ -333,8 +356,6 @@ def call_together(code: str, pack: dict) -> str:
|
||||
message = data["choices"][0]["message"]
|
||||
result = message.get("content")
|
||||
if not result:
|
||||
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
|
||||
# убран. Он был источником "Ошибка парсинга JSON".
|
||||
raise KeyError("пусто (content отсутствует)")
|
||||
except (KeyError, IndexError, TypeError) as e:
|
||||
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
||||
@@ -343,19 +364,24 @@ def call_together(code: str, pack: dict) -> str:
|
||||
usage = data.get("usage", {})
|
||||
finish = data["choices"][0].get("finish_reason", "unknown")
|
||||
print(
|
||||
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
||||
f" ✅ [{model_name.split('/')[-1]}] Пак '{pack['name']}': "
|
||||
f"вход={usage.get('prompt_tokens', 0)}, "
|
||||
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
||||
)
|
||||
if finish == "length":
|
||||
print(
|
||||
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
|
||||
f"пробуем спасти то, что успело сгенериться",
|
||||
f" ⚠️ Пак '{pack['name']}' обрезан по max_tokens ({model_name})",
|
||||
file=sys.stderr,
|
||||
)
|
||||
|
||||
return result
|
||||
|
||||
|
||||
def call_together(code: str, pack: dict) -> str:
|
||||
"""Backward-compat: одна модель (primary)."""
|
||||
return call_together_model(code, pack, MODEL_PRIMARY)
|
||||
|
||||
|
||||
# ============ Парсинг и фильтрация JSON ============
|
||||
|
||||
def extract_json(text: str) -> list[dict]:
|
||||
@@ -391,8 +417,6 @@ def extract_json(text: str) -> list[dict]:
|
||||
try:
|
||||
obj, end = decoder.raw_decode(text, idx)
|
||||
except json.JSONDecodeError:
|
||||
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
|
||||
# Останавливаемся, но не теряем то, что уже успели распарсить.
|
||||
break
|
||||
if isinstance(obj, dict):
|
||||
results.append(obj)
|
||||
@@ -404,6 +428,53 @@ def extract_json(text: str) -> list[dict]:
|
||||
return results
|
||||
|
||||
|
||||
def merge_dual_findings(primary_raw: str, secondary_raw: str) -> list[dict]:
|
||||
"""Объединяет находки от двух моделей.
|
||||
|
||||
🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model_merge —
|
||||
пересечение по (file, snippet) → confidence +0.05.
|
||||
Только primary → normal.
|
||||
Только secondary → normal.
|
||||
"""
|
||||
p_list = extract_json(primary_raw)
|
||||
s_list = extract_json(secondary_raw)
|
||||
|
||||
def _key(f: dict) -> str:
|
||||
return f"{(f.get('file') or '').strip()}::{(f.get('snippet') or '').strip()}"
|
||||
|
||||
p_map = {_key(f): f for f in p_list if isinstance(f, dict)}
|
||||
s_map = {_key(f): f for f in s_list if isinstance(f, dict)}
|
||||
|
||||
merged: dict[str, dict] = {}
|
||||
|
||||
# Primary — base
|
||||
for k, f in p_map.items():
|
||||
item = dict(f)
|
||||
item["_source"] = "primary"
|
||||
if k in s_map:
|
||||
# Пересечение — повышаем confidence
|
||||
try:
|
||||
conf = float(item.get("confidence", 0) or 0)
|
||||
except (TypeError, ValueError):
|
||||
conf = 0
|
||||
item["confidence"] = min(1.0, round(conf + 0.05, 2))
|
||||
item["_source"] = "both"
|
||||
merged[k] = item
|
||||
|
||||
# Secondary — только то, чего нет в primary
|
||||
for k, f in s_map.items():
|
||||
if k not in merged:
|
||||
item = dict(f)
|
||||
item["_source"] = "secondary"
|
||||
merged[k] = item
|
||||
|
||||
both_count = sum(1 for v in merged.values() if v.get("_source") == "both")
|
||||
print(f" 🔗 Merge: primary={len(p_map)}, secondary={len(s_map)}, "
|
||||
f"пересечение={both_count}, всего={len(merged)}")
|
||||
|
||||
return list(merged.values())
|
||||
|
||||
|
||||
def validate_and_filter(
|
||||
findings: list[dict],
|
||||
files_map: dict[str, str],
|
||||
@@ -411,7 +482,7 @@ def validate_and_filter(
|
||||
"""Фильтрует находки: файл существует, snippet совпал, confidence ≥ 0.75, severity валидна.
|
||||
|
||||
🔧 ФИКС (26.09.2026): overshoot guard.
|
||||
Если модель выдала > 15 находок на пак — она "потекла" (пишет "Ок"/"Не баг").
|
||||
Если модель выдала > 15 находок на пак — она "потекла".
|
||||
Берём только топ-10 по confidence.
|
||||
"""
|
||||
stats = {
|
||||
@@ -499,7 +570,10 @@ def format_issue_body(
|
||||
lines.append("# 🤖 AI Code Review (Backend)")
|
||||
lines.append("")
|
||||
lines.append(f"**Дата:** {date_str}")
|
||||
lines.append(f"**Модель:** `{MODEL}`")
|
||||
if USE_SECONDARY_MODEL:
|
||||
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
|
||||
else:
|
||||
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
|
||||
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
||||
lines.append("")
|
||||
lines.append("## 📊 По пакам")
|
||||
@@ -527,7 +601,9 @@ def format_issue_body(
|
||||
lines.append("")
|
||||
for f in items:
|
||||
counter += 1
|
||||
lines.append(f"### {counter}. {f.get('id', 'без имени')}")
|
||||
source = f.get("_source", "primary")
|
||||
source_mark = "🔗 both" if source == "both" else ("🔵 secondary" if source == "secondary" else "")
|
||||
lines.append(f"### {counter}. {f.get('id', 'без имени')} {source_mark}")
|
||||
lines.append("")
|
||||
lines.append(f"- **Файл:** `{f.get('file')}:{f.get('line', '?')}`")
|
||||
lines.append(f"- **Snippet:** `{f.get('snippet', '').strip()[:120]}`")
|
||||
@@ -601,8 +677,16 @@ def main() -> None:
|
||||
pack_stats.append({"name": pack["name"], "files": 0, "symbols": 0, "findings": 0})
|
||||
continue
|
||||
|
||||
raw = call_together(code, pack)
|
||||
findings = extract_json(raw)
|
||||
# 🔧 ФИКС (26.09.2026, вечер): ai_review_dual_model —
|
||||
# primary всегда, secondary — если USE_SECONDARY_MODEL.
|
||||
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
||||
|
||||
if USE_SECONDARY_MODEL:
|
||||
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
|
||||
findings = merge_dual_findings(primary_raw, secondary_raw)
|
||||
else:
|
||||
findings = extract_json(primary_raw)
|
||||
|
||||
filtered, stats = validate_and_filter(findings, files_map)
|
||||
|
||||
all_passed.extend(filtered)
|
||||
|
||||
Reference in New Issue
Block a user