A Jev that can ask Opus for help gives Opus accuracy at 4x lower cost
Задача сопоставления записей с реальными людьми (identity resolution) сложна тем, что после объединения данных нет эталонного ответа для проверки, а главная ошибка — чрезмерное слияние, когда одна запись приписывается нескольким людям. Компания Hightouch проверила, справятся ли с оценкой качества такого слияния языковые модели и «решающие» модели Jev и Luna. Сразу «из коробки» обе показали точность 88,8–97,3%, но гибридная схема Jev + Opus дала точность передовых моделей при затратах более чем вчетверо ниже.
Ключевой вывод — важна калибровка уверенности. Luna точнее Jev «из коробки», но на сложных случаях разрыв исчезает: её ошибки приходят с высокой уверенностью, тогда как ошибки Jev — с низкой, поэтому в гибридной схеме Jev выигрывает. Решающие модели до 90 раз дешевле и более чем в 10 раз быстрее: 0,05–0,10 доллара за 1000 записей и около 0,15 секунды, но отстают от Opus примерно на 6 процентных пунктов на сложных тестах. На лёгком тесте гибрид Jev дал 98,8% при 0,88 доллара за 1000, гибрид Luna — 98,5% при 0,33 доллара; на сложном — 95,3% и 91,6% соответственно. Гибрид Jev ценен тем, что динамически тратит больше ресурсов на трудных случаях.