90% of US working hours are spent on tasks not covered well by AI benchmarks
Исследователи сопоставили существующие ИИ-бенчмарки с таксономией профессий O*NET, чтобы оценить, насколько тесты покрывают реальный труд американцев. Результат оказался скромным: из 923 профессий лишь 208 имеют хотя бы одну задачу, представленную пятью и более запросами из бенчмарков, а из 18 797 задач покрыты всего 924. В шести из 22 профессиональных семейств — например, в здравоохранении, образовании и управлении — таких профессий нет вовсе. По оценке авторов, около 90% рабочих часов в США приходится на задачи, которые почти или совсем не отражены в существующих тестах, поэтому судить о реальных способностях моделей на этой работе крайне сложно.
Покрытие распределено неравномерно и следует за размером рынка труда. Бенчмарки хорошо охватывают задачи юристов, подверженных влиянию ИИ, но почти не затрагивают задачи столь же «ИИ-подверженных» юридических секретарей и судебных клерков. Длинный хвост небольших среднеоплачиваемых офисных профессий остаётся в тени. В основе карты — данные Минтруда США: 923 профессии и 18 797 задач, а также оценки заработных плат и занятости по BLS. Авторы называют карту первым шагом к постоянно обновляемому ресурсу о возможностях ИИ по всей экономике.