Fable 5 – Median thinking declined in August
После того как Anthropic сделал модель Fable 5 постоянно доступной в подписных планах, пользователь Lon Lundgren заметил резкое ухудшение её производительности: модель стала «глупее», и он не мог объяснить причину. Измерения показали, что в августе модель генерировала значительно меньше «мыслительных токенов» по сравнению с июлем — это было подтверждено пятью разными способами оценки.
Дальнейший анализ выявил, что проблема носила системный характер: снижение рассуждений наблюдалось на протяжении всего периода, с колебаниями, совпадающими с анонсами и выпусками продуктов. Даже при использовании максимального уровня усилий (xhigh или max effort) большинство запросов получали мало или вообще не получали мыслительных токенов, а когда они появлялись, то редко достигали уровней, заявленных в бенчмарках. Это привело к выводу, что доступ к frontier-модели больше не гарантирует доступа к соответствующему режиму вывода (inference regime), необходимому для воспроизведения её заявленных возможностей — явление, названное «The Inference Gap».