Новая модель Apple и Огайо: генерация текстов в 128 раз быстрее

Команда разработчиков из Apple в сотрудничестве с Университетом штата Огайо создала революционную диффузионную модель Few-Step Discrete Flow-Matching (FS-DFM), которая генерирует текст в 128 раз быстрее, чем существующие аналоги. Как сообщается на сайте 9to5mac.com, FS-DFM может создавать полные текстовые фрагменты всего за восемь шагов уточнения, в то время как другие модели требуют более тысячи шагов.

В своей работе исследователи применили три этапа. Сначала модель обучалась различным итерациям уточнения, затем использовалась направляющая модель «учителя» для более точных обновлений, и, наконец, проводилась корректировка, что позволяло достигать стабильных результатов за меньшее количество итераций.

FS-DFM показала превосходные результаты по метрикам перплексии и энтропии, обеспечивая меньшую перплексию и более стабильную энтропию, чем модели Dream и LLaDA с большими параметрами. Разработчики планируют сделать код и контрольные точки модели доступными для дальнейших исследований.