PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator Я уже не успеваю писать об
PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator
Я уже не успеваю писать обзоры на все новые методы ускорения text2image диффузии (вот тут делал целую подборку). Вот появился еще один метод от китайцев из ТикТока. Заключается он в том, чтобы дистиллировать сильно нелинейные траектории процесса гаусовской диффузии в более прямые траектории, где ошибка не так быстро копится во время инференса с малым числом шагов.
В InstaFlow ранее уже пытались выпрямлять траектории, но там они стремились к полностью линейной траектории, что довольно проблематично. В PeRFlow же предлагают учить кусочно-линейные траектории, что немного релаксирует проблему.
В итоге, показывают результаты лучше чем Latent Consistency Models за 4 и 8 шагов. LCM, конечно, уже не СОТА, но все же.
Статьи еще нет, но код и веса уже есть. Это выглядит довольно странно – думаю, что торопились выложить хоть что-то после выхода статьи SD3 и до релиза их весов.
Обучили PeRFlow пока только для SD1.5 и SD2.1. К тому же показали, что можно применять разницу весов (W_orig - W_PerFlow) на всевозможные LoRA и файнтюны с и получать ускорение из коробки – это прям круто!
Код и веса
Сайт проекта с картинками
Подробнее:
Games:
Крипто:
Pressa24:
Celebs:
1 view
391
104
9 months ago 00:00:35 3
PeRFlow: Piecewise Rectified Flow as Universal Plug-and-Play Accelerator Я уже не успеваю писать об