🔧 AI Review (backend): root cause fix — отключён reasoning
Root cause: DeepSeek-V4.1-Flash по умолчанию reasoning-модель
(reasoning_effort=high). На больших паках весь max_tokens уходил
в thinking → content пустой, finish=length, находки терялись.
Фиксы:
- reasoning: {enabled: False} — не тратить бюджет на thinking
- Убран fallback на reasoning_content (источник 'Ошибка парсинга JSON':
туда попадал сырой текст рассуждений, не JSON)
- extract_json через json.JSONDecoder.raw_decode — спасаем валидные
объекты, даже если ответ обрезан по max_tokens
- В SYSTEM_PROMPT: 'Не думай вслух — сразу выдавай JSON-массив'
Ожидается: finish=stop на всех паках, полные находки.
This commit is contained in:
+64
-28
@@ -11,6 +11,14 @@ Backend слишком большой (~440K символов) для одног
|
|||||||
(21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence.
|
(21.09.2026, вечер) JSON-контракт + snippet-проверка + фильтр confidence.
|
||||||
(22.09.2026, вечер) Пак-подход: 3 пака (routers, core, services+scripts).
|
(22.09.2026, вечер) Пак-подход: 3 пака (routers, core, services+scripts).
|
||||||
(25.09.2026) Разбивка routers на 4 пака, MAX_OUTPUT_TOKENS=32000.
|
(25.09.2026) Разбивка routers на 4 пака, MAX_OUTPUT_TOKENS=32000.
|
||||||
|
(25.09.2026, вечер) ФИКС root cause: DeepSeek-V4.1-Flash по умолчанию
|
||||||
|
думает (reasoning), и на сложных паках весь max_tokens уходит в
|
||||||
|
thinking — content пустой, finish=length, находки теряются.
|
||||||
|
→ reasoning выключен явно ("reasoning": {"enabled": False}).
|
||||||
|
→ fallback на reasoning_content убран (это была причина "Ошибка
|
||||||
|
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
|
||||||
|
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||||
|
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import json
|
import json
|
||||||
@@ -32,9 +40,8 @@ GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-backend")
|
|||||||
|
|
||||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||||
|
|
||||||
# 🔧 ФИКС (25.09.2026): MAX_OUTPUT_TOKENS 12000 → 32000.
|
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть,
|
||||||
# DeepSeek V4.1 Flash поддерживает до 32k output — даём модели в 2.7× больше
|
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже).
|
||||||
# места, чтобы большие паки успевали выдать полный JSON без обрезки.
|
|
||||||
MAX_OUTPUT_TOKENS = 32000
|
MAX_OUTPUT_TOKENS = 32000
|
||||||
|
|
||||||
# Что игнорировать при сборе кода
|
# Что игнорировать при сборе кода
|
||||||
@@ -46,8 +53,6 @@ IGNORE_DIRS = {
|
|||||||
IGNORE_FILES = {
|
IGNORE_FILES = {
|
||||||
"ai_review.py", "conftest.py", "code_summary.py",
|
"ai_review.py", "conftest.py", "code_summary.py",
|
||||||
"add_levels.py", "generate_levels_v2.py",
|
"add_levels.py", "generate_levels_v2.py",
|
||||||
# 🔧 ФИКС (25.09.2026): __init__.py исключён — пустой в каждом роутере,
|
|
||||||
# нет смысла гонять его в модель.
|
|
||||||
"__init__.py",
|
"__init__.py",
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -62,12 +67,7 @@ MIN_CONFIDENCE = 0.7
|
|||||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||||
|
|
||||||
|
|
||||||
# 🔧 НОВОЕ (22.09.2026): паки для backend
|
# Паки для backend. Пути проверены по факту (`ls routers/`).
|
||||||
# Backend ~440K символов — не влезает в один запрос (finish=length).
|
|
||||||
# Разбиваем на паки. Каждый пак — отдельный запрос к модели.
|
|
||||||
#
|
|
||||||
# 🔧 ФИКС (25.09.2026): разбивка паков на меньшие —
|
|
||||||
# routers (329k) → 4 пака. Пути проверены по факту (`ls routers/`).
|
|
||||||
PACKS = [
|
PACKS = [
|
||||||
{
|
{
|
||||||
"name": "routers_games",
|
"name": "routers_games",
|
||||||
@@ -233,7 +233,7 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер Python
|
|||||||
6. Без воды. Без общих слов.
|
6. Без воды. Без общих слов.
|
||||||
7. Если проблем нет — верни пустой массив: []
|
7. Если проблем нет — верни пустой массив: []
|
||||||
|
|
||||||
Отвечай ТОЛЬКО JSON, без markdown-обёрток.
|
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
|
||||||
@@ -286,6 +286,13 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
],
|
],
|
||||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||||
"temperature": 0.2,
|
"temperature": 0.2,
|
||||||
|
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию
|
||||||
|
# думает перед ответом. На сложных/больших паках весь
|
||||||
|
# max_tokens уходит в thinking, content остаётся пустым,
|
||||||
|
# finish_reason="length" — находки терялись целиком.
|
||||||
|
# Задаче нужна строгая экстракция, а не рассуждения, поэтому
|
||||||
|
# reasoning выключаем явно.
|
||||||
|
"reasoning": {"enabled": False},
|
||||||
},
|
},
|
||||||
timeout=300.0,
|
timeout=300.0,
|
||||||
)
|
)
|
||||||
@@ -301,9 +308,12 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
message = data["choices"][0]["message"]
|
message = data["choices"][0]["message"]
|
||||||
result = message.get("content")
|
result = message.get("content")
|
||||||
if not result:
|
if not result:
|
||||||
result = message.get("reasoning_content")
|
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
|
||||||
if not result:
|
# убран. Он был источником "Ошибка парсинга JSON" — туда
|
||||||
raise KeyError("пусто")
|
# попадал сырой текст рассуждений модели, а не JSON, и
|
||||||
|
# extract_json пытался распарсить мусор. Теперь при пустом
|
||||||
|
# content просто считаем, что пак не дал результата.
|
||||||
|
raise KeyError("пусто (content отсутствует)")
|
||||||
except (KeyError, IndexError, TypeError) as e:
|
except (KeyError, IndexError, TypeError) as e:
|
||||||
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
||||||
return ""
|
return ""
|
||||||
@@ -314,6 +324,12 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
||||||
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
||||||
)
|
)
|
||||||
|
if finish == "length":
|
||||||
|
print(
|
||||||
|
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
|
||||||
|
f"пробуем спасти то, что успело сгенериться",
|
||||||
|
file=sys.stderr,
|
||||||
|
)
|
||||||
|
|
||||||
return result
|
return result
|
||||||
|
|
||||||
@@ -321,7 +337,14 @@ def call_together(code: str, pack: dict) -> str:
|
|||||||
# ============ Парсинг и фильтрация JSON ============
|
# ============ Парсинг и фильтрация JSON ============
|
||||||
|
|
||||||
def extract_json(text: str) -> list[dict]:
|
def extract_json(text: str) -> list[dict]:
|
||||||
"""Извлекает JSON-массив из ответа модели."""
|
"""Извлекает находки из ответа модели.
|
||||||
|
|
||||||
|
🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON
|
||||||
|
весь пак терял ВСЕ находки — json.loads() падал на всём массиве
|
||||||
|
целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode)
|
||||||
|
и останавливаемся на первом, который не удалось распарсить — то есть
|
||||||
|
спасаем всё, что модель успела сгенерить до обрезки.
|
||||||
|
"""
|
||||||
if not text:
|
if not text:
|
||||||
return []
|
return []
|
||||||
text = text.strip()
|
text = text.strip()
|
||||||
@@ -330,22 +353,35 @@ def extract_json(text: str) -> list[dict]:
|
|||||||
text = re.sub(r"\s*```$", "", text)
|
text = re.sub(r"\s*```$", "", text)
|
||||||
|
|
||||||
start = text.find("[")
|
start = text.find("[")
|
||||||
end = text.rfind("]")
|
if start == -1:
|
||||||
if start == -1 or end == -1 or end < start:
|
|
||||||
print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr)
|
print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr)
|
||||||
return []
|
return []
|
||||||
|
|
||||||
json_str = text[start:end + 1]
|
decoder = json.JSONDecoder()
|
||||||
|
idx, n = start + 1, len(text)
|
||||||
|
results: list[dict] = []
|
||||||
|
|
||||||
try:
|
while idx < n:
|
||||||
parsed = json.loads(json_str)
|
while idx < n and text[idx] in " \t\n\r,":
|
||||||
if not isinstance(parsed, list):
|
idx += 1
|
||||||
print(f" ⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr)
|
if idx >= n or text[idx] == "]":
|
||||||
return []
|
break
|
||||||
return parsed
|
try:
|
||||||
except json.JSONDecodeError as e:
|
obj, end = decoder.raw_decode(text, idx)
|
||||||
print(f" ⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr)
|
except json.JSONDecodeError:
|
||||||
return []
|
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
|
||||||
|
# Останавливаемся, но не теряем то, что уже успели распарсить.
|
||||||
|
break
|
||||||
|
if isinstance(obj, dict):
|
||||||
|
results.append(obj)
|
||||||
|
idx = end
|
||||||
|
|
||||||
|
if not results:
|
||||||
|
print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr)
|
||||||
|
elif idx < n and text[start + 1:idx].strip() and text.rfind("]") < start:
|
||||||
|
pass # на всякий случай, не используется — оставлено для ясности логики выше
|
||||||
|
|
||||||
|
return results
|
||||||
|
|
||||||
|
|
||||||
def validate_and_filter(
|
def validate_and_filter(
|
||||||
|
|||||||
Reference in New Issue
Block a user