feat(ai-review): single model V4 Pro + stricter filters
- MODEL: V4.1 Flash + GLM → V4 Pro 0813 - USE_SECONDARY_MODEL: True → False - reasoning_effort: low, max_tokens=16000 - MIN_CONFIDENCE: 0.75 → 0.80 - Удалён merge_dual_findings и _is_glm Тест 05.10.2026: V4 Pro игнорирует reasoning_effort=none, low даёт минимальный reasoning (70 токенов на простой запрос).
This commit is contained in:
+37
-69
@@ -60,6 +60,17 @@ Backend слишком большой (~440K символов) для одног
|
|||||||
а не молча терять вклад второй модели.
|
а не молча терять вклад второй модели.
|
||||||
→ Паки не трогаем — routers_admin (97k) пока терпит, но если
|
→ Паки не трогаем — routers_admin (97k) пока терпит, но если
|
||||||
начнёт терять secondary — раздробим.
|
начнёт терять secondary — раздробим.
|
||||||
|
(05.10.2026) ФИКС single_model_v4_pro:
|
||||||
|
→ Отказались от dual-model (DeepSeek Flash + GLM Flash).
|
||||||
|
Причина: GLM добавлял мусор, Flash-версии ошибались на сложных файлах.
|
||||||
|
→ Теперь: только DeepSeek V4 Pro 0813 — флагман, reasoning, 1M контекст.
|
||||||
|
Один промпт → один ответ → один фильтр → меньше мусора.
|
||||||
|
→ MIN_CONFIDENCE: 0.75 → 0.80 — V4 Pro увереннее, но подняли порог,
|
||||||
|
чтобы отсеять спорные находки.
|
||||||
|
→ reasoning_effort="low" — V4 Pro: reasoning_effort="none"
|
||||||
|
игнорируется (тест 05.10.2026), "low" даёт минимальный reasoning
|
||||||
|
(~70 токенов на простой запрос).
|
||||||
|
→ MAX_OUTPUT_TOKENS: 8000 → 16000 — reasoning (~80%) + JSON (~20%).
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import json
|
import json
|
||||||
@@ -79,34 +90,20 @@ GITEA_BOT_TOKEN = os.environ.get("BOT_TOKEN")
|
|||||||
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
GITEA_INSTANCE = os.environ.get("GITEA_INSTANCE", "https://git.filwordspl.com")
|
||||||
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_flash —
|
# 🔧 ФИКС (05.10.2026): single_model_v4_pro —
|
||||||
# Флагман GLM-5.3 ($1.40 in / $4.40 out) заменён на GLM-5.3-Flash
|
# Отказались от dual-model (DeepSeek Flash + GLM Flash).
|
||||||
# ($0.15 in / $0.50 out) — та же линейка модели (Z.ai), но кодинг-версия
|
# Причина: GLM добавлял мусор, Flash-версии ошибались на сложных файлах.
|
||||||
# попроще и в ~9 раз дешевле. Для point-by-point ревью одного пака
|
# Теперь: только DeepSeek V4 Pro 0813 — флагман, reasoning, 1M контекст.
|
||||||
# флагманская "глубина" не нужна, а бюджет 80 центов/аудит с флагманом
|
# Один промпт → один ответ → один фильтр → меньше мусора.
|
||||||
# на большом фронтенде почти исчерпывался.
|
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4-Pro-0813"
|
||||||
MODEL_PRIMARY = "deepseek-ai/DeepSeek-V4.1-Flash"
|
|
||||||
MODEL_SECONDARY = "zai-org/GLM-5.3-Flash"
|
|
||||||
MODEL = MODEL_PRIMARY # backward compat
|
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026, вечер): secondary_model_enabled —
|
USE_SECONDARY_MODEL = False
|
||||||
# если True — гоняем обе модели, объединяем по пересечению.
|
|
||||||
USE_SECONDARY_MODEL = True
|
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): ai_review_overshoot —
|
# V4 Pro: reasoning полностью НЕ отключается (тест 05.10.2026:
|
||||||
# 32000 токенов = модель пишет "Ок" на каждую функцию.
|
# reasoning_effort="none" игнорируется, "low" даёт ~70 токенов).
|
||||||
# 10 находок × ~500 токенов = 5000. 8000 — с запасом.
|
# max_tokens увеличен с 8000 до 16000 — reasoning (~80%) + JSON (~20%).
|
||||||
# Актуально только для DeepSeek (у GLM свой лимит, см. GLM_MAX_OUTPUT_TOKENS).
|
MAX_OUTPUT_TOKENS = 16000
|
||||||
MAX_OUTPUT_TOKENS = 8000
|
REASONING_EFFORT = "low"
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026, ночь): ai_review_glm_reasoning_budget —
|
|
||||||
# У GLM-5.3(-Flash) thinking НЕЛЬЗЯ выключить полностью (только
|
|
||||||
# reasoning_effort="low"/"medium"/"high"/"max"), и трейс мышления
|
|
||||||
# делит один и тот же max_tokens с финальным JSON-ответом.
|
|
||||||
# Раньше при max_tokens=8000 весь бюджет у GLM уходил в reasoning,
|
|
||||||
# content оставался пустым. Даём больше запаса именно для GLM.
|
|
||||||
GLM_MAX_OUTPUT_TOKENS = 12000
|
|
||||||
GLM_REASONING_EFFORT = "low"
|
|
||||||
|
|
||||||
# Что игнорировать при сборе кода
|
# Что игнорировать при сборе кода
|
||||||
IGNORE_DIRS = {
|
IGNORE_DIRS = {
|
||||||
@@ -127,8 +124,10 @@ INCLUDE_EXTENSIONS = {".py"}
|
|||||||
MAX_FILE_SIZE = 100_000
|
MAX_FILE_SIZE = 100_000
|
||||||
|
|
||||||
# Фильтр находок
|
# Фильтр находок
|
||||||
# 🔧 ФИКС (26.09.2026): MIN_CONFIDENCE 0.7 → 0.75.
|
# 🔧 ФИКС (05.10.2026): filter_more_strict —
|
||||||
MIN_CONFIDENCE = 0.75
|
# V4 Pro увереннее, но подняли порог с 0.75 до 0.80,
|
||||||
|
# чтобы отсеять спорные находки.
|
||||||
|
MIN_CONFIDENCE = 0.80
|
||||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||||
|
|
||||||
# 🔧 ФИКС (26.09.2026): overshoot guard.
|
# 🔧 ФИКС (26.09.2026): overshoot guard.
|
||||||
@@ -343,22 +342,12 @@ USER_PROMPT_TEMPLATE = """Проанализируй часть кода про
|
|||||||
|
|
||||||
# ============ Запрос к Together AI ============
|
# ============ Запрос к Together AI ============
|
||||||
|
|
||||||
def _is_glm(model_name: str) -> bool:
|
|
||||||
return "GLM-5.3" in model_name or "glm-5.3" in model_name.lower()
|
|
||||||
|
|
||||||
|
|
||||||
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
||||||
"""Отправляет код пака в указанную модель.
|
"""Отправляет код пака в указанную модель.
|
||||||
|
|
||||||
🔧 ФИКС (26.09.2026, ночь): ai_review_reasoning_per_model —
|
🔧 ФИКС (05.10.2026): reasoning_effort_low —
|
||||||
у DeepSeek reasoning реально выключается через
|
V4 Pro: reasoning_effort="none" игнорируется (тест 05.10.2026),
|
||||||
"reasoning": {"enabled": False}. У GLM-5.3(-Flash) это НЕ работает
|
"low" даёт минимальный reasoning.
|
||||||
(thinking у GLM-5.3 нельзя отключить полностью, см. доки Together) —
|
|
||||||
там единственный рычаг: reasoning_effort="low" + больший max_tokens,
|
|
||||||
т.к. reasoning-трейс делит бюджет токенов с финальным ответом.
|
|
||||||
Раньше общий "reasoning": {"enabled": False} для GLM тихо
|
|
||||||
игнорировался → весь max_tokens=8000 уходил в мышление →
|
|
||||||
content пустой → "Формат ответа: пусто" на всех GLM-паках.
|
|
||||||
"""
|
"""
|
||||||
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
print(f" 🤖 Отправляю пак '{pack['name']}' в {model_name}...")
|
||||||
|
|
||||||
@@ -375,19 +364,13 @@ def call_together_model(code: str, pack: dict, model_name: str) -> str:
|
|||||||
{"role": "user", "content": user_prompt},
|
{"role": "user", "content": user_prompt},
|
||||||
],
|
],
|
||||||
"temperature": 0.2,
|
"temperature": 0.2,
|
||||||
|
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||||
|
# 🔧 ФИКС (05.10.2026): reasoning_effort_low —
|
||||||
|
# V4 Pro: reasoning_effort="none" игнорируется (тест 05.10.2026),
|
||||||
|
# "low" даёт минимальный reasoning (~70 токенов на простой запрос).
|
||||||
|
"reasoning_effort": REASONING_EFFORT,
|
||||||
}
|
}
|
||||||
|
|
||||||
if _is_glm(model_name):
|
|
||||||
# GLM-5.3 / GLM-5.3-Flash: thinking нельзя выключить полностью,
|
|
||||||
# только снизить через reasoning_effort. Даём больше max_tokens,
|
|
||||||
# т.к. трейс мышления делит бюджет с JSON-ответом.
|
|
||||||
payload["reasoning_effort"] = GLM_REASONING_EFFORT
|
|
||||||
payload["max_tokens"] = GLM_MAX_OUTPUT_TOKENS
|
|
||||||
else:
|
|
||||||
# DeepSeek: reasoning реально выключается этим флагом.
|
|
||||||
payload["reasoning"] = {"enabled": False}
|
|
||||||
payload["max_tokens"] = MAX_OUTPUT_TOKENS
|
|
||||||
|
|
||||||
response = httpx.post(
|
response = httpx.post(
|
||||||
"https://api.together.xyz/v1/chat/completions",
|
"https://api.together.xyz/v1/chat/completions",
|
||||||
headers={
|
headers={
|
||||||
@@ -627,9 +610,6 @@ def format_issue_body(
|
|||||||
lines.append("# 🤖 AI Code Review (Backend)")
|
lines.append("# 🤖 AI Code Review (Backend)")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
lines.append(f"**Дата:** {date_str}")
|
lines.append(f"**Дата:** {date_str}")
|
||||||
if USE_SECONDARY_MODEL:
|
|
||||||
lines.append(f"**Модели:** `{MODEL_PRIMARY}` + `{MODEL_SECONDARY}`")
|
|
||||||
else:
|
|
||||||
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
|
lines.append(f"**Модель:** `{MODEL_PRIMARY}`")
|
||||||
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
lines.append(f"**Репозиторий:** `{GITEA_REPO}`")
|
||||||
lines.append("")
|
lines.append("")
|
||||||
@@ -735,20 +715,8 @@ def main() -> None:
|
|||||||
continue
|
continue
|
||||||
|
|
||||||
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
primary_raw = call_together_model(code, pack, MODEL_PRIMARY)
|
||||||
|
# 🔧 ФИКС (05.10.2026): single_model —
|
||||||
if USE_SECONDARY_MODEL:
|
# только V4 Pro, без merge.
|
||||||
secondary_raw = call_together_model(code, pack, MODEL_SECONDARY)
|
|
||||||
# 🔧 ФИКС (27.09.2026): secondary_empty_log —
|
|
||||||
# если GLM вернул пусто (весь бюджет ушёл в reasoning),
|
|
||||||
# пишем это явно, чтобы видеть потери второй модели в логах.
|
|
||||||
if not secondary_raw:
|
|
||||||
print(
|
|
||||||
f" ⚠️ Secondary ({MODEL_SECONDARY}) вернул ПУСТО для пака "
|
|
||||||
f"'{pack['name']}' — пак потерян для второй модели",
|
|
||||||
file=sys.stderr,
|
|
||||||
)
|
|
||||||
findings = merge_dual_findings(primary_raw, secondary_raw)
|
|
||||||
else:
|
|
||||||
findings = extract_json(primary_raw)
|
findings = extract_json(primary_raw)
|
||||||
|
|
||||||
filtered, stats = validate_and_filter(findings, files_map)
|
filtered, stats = validate_and_filter(findings, files_map)
|
||||||
|
|||||||
Reference in New Issue
Block a user