🔧 AI Review (frontend): root cause fix — отключён reasoning
Root cause: DeepSeek-V4.1-Flash по умолчанию reasoning-модель.
6 из 9 паков в v9 упали в finish=length — весь бюджет ушёл в thinking.
Фиксы:
- reasoning: {enabled: False}
- Убран fallback на reasoning_content
- extract_json через raw_decode — спасаем обрезанные объекты
- В SYSTEM_PROMPT: 'Не думай вслух'
Ожидается: finish=stop на всех 9 паках.
This commit is contained in:
+64
-28
@@ -9,6 +9,15 @@ Frontend слишком большой (1M+ символов) для одног
|
||||
(21.09.2026) Первая версия для frontend — адаптация backend-скрипта.
|
||||
(21.09.2026, вечер) Пак-подход: 4 пака (components, pages, core, admin).
|
||||
(25.09.2026) Разбивка паков: 9 паков, MAX_OUTPUT_TOKENS=32000.
|
||||
(25.09.2026, вечер) ФИКС root cause: DeepSeek-V4.1-Flash по умолчанию
|
||||
думает (reasoning), и на сложных/больших паках весь max_tokens уходит
|
||||
в thinking — content пустой, finish=length, находки теряются
|
||||
(это видно по 6 из 9 паков в последнем прогоне).
|
||||
→ reasoning выключен явно ("reasoning": {"enabled": False}).
|
||||
→ fallback на reasoning_content убран (это была причина "Ошибка
|
||||
парсинга JSON": туда попадал сырой текст рассуждений, а не JSON).
|
||||
→ extract_json теперь спасает отдельные валидные находки, даже если
|
||||
ответ всё же обрежется по max_tokens — вместо потери пака целиком.
|
||||
"""
|
||||
|
||||
import json
|
||||
@@ -30,9 +39,8 @@ GITEA_REPO = os.environ.get("GITEA_REPO", "Drobysh/filwordspl-frontend")
|
||||
|
||||
MODEL = "deepseek-ai/DeepSeek-V4.1-Flash"
|
||||
|
||||
# 🔧 ФИКС (25.09.2026): MAX_OUTPUT_TOKENS 12000 → 32000.
|
||||
# DeepSeek V4.1 Flash поддерживает до 32k output — даём модели в 2.7× больше
|
||||
# места, чтобы большие паки успевали выдать полный JSON без обрезки.
|
||||
# DeepSeek V4.1 Flash поддерживает до 32k output — оставляем как есть,
|
||||
# но теперь весь этот бюджет уходит в content, а не в thinking (см. ниже).
|
||||
MAX_OUTPUT_TOKENS = 32000
|
||||
|
||||
# Что игнорировать при сборе кода
|
||||
@@ -53,14 +61,8 @@ MIN_CONFIDENCE = 0.7
|
||||
ALLOWED_SEVERITY = {"user_impact", "data_risk", "maintainability"}
|
||||
|
||||
|
||||
# 🔧 НОВОЕ (21.09.2026): паки для frontend
|
||||
# Каждый пак — отдельный запрос к модели. Файлы одного пака собираются в один текст.
|
||||
# Если пак получается > 500K символов — модель может не успеть. В таком случае
|
||||
# дроби ещё мельче (например, по подпапкам components/).
|
||||
#
|
||||
# 🔧 ФИКС (25.09.2026): разбивка паков на меньшие —
|
||||
# DeepSeek V4.1 Flash обрезается на 12k токенов при больших паках.
|
||||
# components (349k) → 3 пака, pages (401k) → 4 пака.
|
||||
# Паки для frontend. Если пак получается > 500K символов — модель может
|
||||
# не успеть, тогда дроби ещё мельче (например, по подпапкам components/).
|
||||
PACKS = [
|
||||
{
|
||||
"name": "components_editors",
|
||||
@@ -263,7 +265,7 @@ SYSTEM_PROMPT = """Ты — опытный техлид и ревьюер React
|
||||
6. НЕ включай проблемы дизайна/стиля (отступы, цвета) — только функционал, безопасность, UX.
|
||||
7. Если проблем нет — верни пустой массив: []
|
||||
|
||||
Отвечай ТОЛЬКО JSON, без markdown-обёрток.
|
||||
Отвечай ТОЛЬКО JSON, без markdown-обёрток. Не думай вслух — сразу выдавай JSON-массив.
|
||||
"""
|
||||
|
||||
|
||||
@@ -317,6 +319,13 @@ def call_together(code: str, pack: dict) -> str:
|
||||
],
|
||||
"max_tokens": MAX_OUTPUT_TOKENS,
|
||||
"temperature": 0.2,
|
||||
# 🔧 ФИКС (25.09.2026, вечер): DeepSeek V4.1 Flash по умолчанию
|
||||
# думает перед ответом. На сложных/больших паках весь
|
||||
# max_tokens уходит в thinking, content остаётся пустым,
|
||||
# finish_reason="length" — находки терялись целиком (6 из 9
|
||||
# паков в последнем прогоне). Задаче нужна строгая экстракция,
|
||||
# а не рассуждения, поэтому reasoning выключаем явно.
|
||||
"reasoning": {"enabled": False},
|
||||
},
|
||||
timeout=300.0,
|
||||
)
|
||||
@@ -332,9 +341,12 @@ def call_together(code: str, pack: dict) -> str:
|
||||
message = data["choices"][0]["message"]
|
||||
result = message.get("content")
|
||||
if not result:
|
||||
result = message.get("reasoning_content")
|
||||
if not result:
|
||||
raise KeyError("пусто")
|
||||
# 🔧 ФИКС (25.09.2026, вечер): fallback на reasoning_content
|
||||
# убран. Он был источником "Ошибка парсинга JSON" — туда
|
||||
# попадал сырой текст рассуждений модели, а не JSON, и
|
||||
# extract_json пытался распарсить мусор. Теперь при пустом
|
||||
# content просто считаем, что пак не дал результата.
|
||||
raise KeyError("пусто (content отсутствует)")
|
||||
except (KeyError, IndexError, TypeError) as e:
|
||||
print(f" ❌ Формат ответа: {e}", file=sys.stderr)
|
||||
return ""
|
||||
@@ -345,6 +357,12 @@ def call_together(code: str, pack: dict) -> str:
|
||||
f" ✅ Пак '{pack['name']}': вход={usage.get('prompt_tokens', 0)}, "
|
||||
f"выход={usage.get('completion_tokens', 0)}, finish={finish}"
|
||||
)
|
||||
if finish == "length":
|
||||
print(
|
||||
f" ⚠️ Пак '{pack['name']}' всё равно обрезан по max_tokens — "
|
||||
f"пробуем спасти то, что успело сгенериться",
|
||||
file=sys.stderr,
|
||||
)
|
||||
|
||||
return result
|
||||
|
||||
@@ -352,7 +370,14 @@ def call_together(code: str, pack: dict) -> str:
|
||||
# ============ Парсинг и фильтрация JSON ============
|
||||
|
||||
def extract_json(text: str) -> list[dict]:
|
||||
"""Извлекает JSON-массив из ответа модели."""
|
||||
"""Извлекает находки из ответа модели.
|
||||
|
||||
🔧 ФИКС (25.09.2026, вечер): раньше при обрезанном (невалидном) JSON
|
||||
весь пак терял ВСЕ находки — json.loads() падал на всём массиве
|
||||
целиком. Теперь парсим объекты по одному (json.JSONDecoder.raw_decode)
|
||||
и останавливаемся на первом, который не удалось распарсить — то есть
|
||||
спасаем всё, что модель успела сгенерить до обрезки.
|
||||
"""
|
||||
if not text:
|
||||
return []
|
||||
text = text.strip()
|
||||
@@ -361,22 +386,33 @@ def extract_json(text: str) -> list[dict]:
|
||||
text = re.sub(r"\s*```$", "", text)
|
||||
|
||||
start = text.find("[")
|
||||
end = text.rfind("]")
|
||||
if start == -1 or end == -1 or end < start:
|
||||
if start == -1:
|
||||
print(f" ⚠️ Не найден JSON-массив. Первые 300 символов:\n{text[:300]}", file=sys.stderr)
|
||||
return []
|
||||
|
||||
json_str = text[start:end + 1]
|
||||
decoder = json.JSONDecoder()
|
||||
idx, n = start + 1, len(text)
|
||||
results: list[dict] = []
|
||||
|
||||
try:
|
||||
parsed = json.loads(json_str)
|
||||
if not isinstance(parsed, list):
|
||||
print(f" ⚠️ JSON не массив, а {type(parsed).__name__}", file=sys.stderr)
|
||||
return []
|
||||
return parsed
|
||||
except json.JSONDecodeError as e:
|
||||
print(f" ⚠️ Ошибка парсинга JSON: {e}", file=sys.stderr)
|
||||
return []
|
||||
while idx < n:
|
||||
while idx < n and text[idx] in " \t\n\r,":
|
||||
idx += 1
|
||||
if idx >= n or text[idx] == "]":
|
||||
break
|
||||
try:
|
||||
obj, end = decoder.raw_decode(text, idx)
|
||||
except json.JSONDecodeError:
|
||||
# Дальше — обрезанный объект (ответ упёрся в max_tokens).
|
||||
# Останавливаемся, но не теряем то, что уже успели распарсить.
|
||||
break
|
||||
if isinstance(obj, dict):
|
||||
results.append(obj)
|
||||
idx = end
|
||||
|
||||
if not results:
|
||||
print(" ⚠️ Не удалось извлечь ни одной находки из ответа", file=sys.stderr)
|
||||
|
||||
return results
|
||||
|
||||
|
||||
def validate_and_filter(findings: list[dict], files_map: dict[str, str]) -> tuple[list[dict], dict[str, int]]:
|
||||
|
||||
Reference in New Issue
Block a user