Делать было нечего, дело было вечером. Всё возвращаюсь к истории про Opus 4.6, который написал C-компилятор на Rust. Снова перечитал исходную статью "Building a C compiler with a team of parallel Claudes" — обратил внимание именно на динамику версий Opus.
Opus 4 с задачей компилятора справлялся с трудом. Мог собрать что-то работоспособное, но это был эксперимент, который по сути потерпел неудачу.
Opus 4.5 стал первой версией, которая набрала "критическую массу": компилятор начал проходить большие тест-сьюты. При этом реальные крупные проекты всё ещё не собирались.
Opus 4.6 — финальная точка этой истории. Компилятор уже способен собирать значимую часть проектов, используется GCC как эталон для дифференциальной проверки, вокруг модели построен цикл автономной доработки. Но автор прямо пишет: это ещё не замена настоящему компилятору, а добавление новых фич регулярно ломает старое. Похоже на достижение предела конкретной архитектуры.
На этом фоне особенно любопытны бенчмарки. В агентном программировании скачка фактически нет: Agentic Coding у Opus 4.6 снизился на 0,1% по сравнению с Opus 4.5! Зато Agentic Search вырос на 17%!
Получается, в случае с Opus 4.6 прорыв случился не в "чистом кодинге", а в умении долго искать, сравнивать, уточнять, проверять гипотезы.
И это, возможно, важнее, чем очередные несколько "очков" в coding-бенчмарке.
@ai_for_devs
