Вышла новая китайская модель для генерации видео по тексту 可灵 (или просто Kling)! Выпустила её Kuaishou Technology — китайская
Вышла новая китайская модель для генерации видео по тексту 可灵 (или просто Kling)!
Выпустила её Kuaishou Technology — китайская компания, которая разрабатывает одноимённую платформу для коротких видео (и довольно популярна в Китае).
Как заявляют авторы:
модель представляет собой Diffusion Transformer (DiT), работающий в латентном пространстве закодированных видео (при этом при обучении DiT берутся видео разного разрешения и соотношения сторон);
в качестве автоэнкодера видео используется специально обученный 3D VAE;
модель может генерировать Full HD видео (разрешение 1920 х 1080) длинной до 2 минут с частотой 30 кадров в секунду (время, за которое модель генерирует такое видео, авторы не уточняют); при этом Sora за один проход умеет генерировать только минутное видео.
Как водится в последнее время, авторы Kling утверждают, что модель способна отлично имитировать физические характеристики реального мира и создавать видеоролики, соответствующие законам физики (что сейчас так или иначе является целью каждой команды, которая создает собственные text-to-video модели). Хотя всё ещё видны артефакты генерации (даже на представленных черри-пиках).
Концептуально в этом подходе к генерации видео нет ничего нового по сравнению с последними сравнимыми по качеству моделями такими как Sora (OpenAI), Vidu (Tsinghua University and ShengShu Technology), Veo (DeepMind). Очень большую роль играют и значимо влияют на финальное качество:
данные, на которых обучалась модель, их количество и, самое главное, качество (в случае Kling эта информация неизвестна - как и в случае большинства других моделей генерации видео);
количество compute, затраченного на обучение (то есть фактически спецификация и размер кластера и время обучения); в частности, авторы Kling специально подчёркивают большую отдачу (с точки зрения финального качества модели) от масшабирования архитектуры и процесса оптимизации её обучения.
Модель Kling закрытая, есть только статья с примерами в блоге и ссылка на бета-тестирование (правда чтобы в нём поучаствовать, нужен китайский номер )
7 views
81
18
4 weeks ago 00:15:15 1
Как пройти Black Myth: Wukong за 50 минут | Разбор спидрана
4 weeks ago 00:14:34 1
Эта ИГРА МОЖЕТ ПРЕВЗОЙТИ Ведьмак 3 | Gothic 1 Remake / Готика 1 Ремейк
4 weeks ago 00:16:42 1
BLACK MYTH WUKONG ПОБЕДИЛ ВСЕХ
4 weeks ago 00:22:13 1
САО «Мальва» 2С43: уже конкурент Caesar и Archer или нет?
4 weeks ago 00:11:40 1
Создал игру про 3 сентября с Шуфутинским на Unity
4 weeks ago 00:43:24 1
История Амурского судостроительного завода. Александр Тимофеевич Деев. Часть 1
4 weeks ago 00:47:49 1
ВОЙНА.ДЕНЬ 940. ВСУ ВЫШЛИ ЗА ВЕСЕЛОЕ/ ГИГАНТСКИЕ МАСШТАБЫ РАЗРУШЕНИЙ В ТОРОПЦЕ/ В АТАКУ НА КОСТЫЛЯХ
4 weeks ago 00:33:48 1
МАТЬ БРОСИЛА ИХ РАДИ ДРУГОЙ. Дети обрадовались простой краске для стен.
4 weeks ago 00:00:00 1
Всенощное бдение. Рождество Пресвятой Богородицы
4 weeks ago 00:13:54 1
Red Dead Redemption, Final Fantasy 16, Dead Rising, Half-Life 2: Episode 3, GTA 5 | НОВОСТИ
4 weeks ago 00:14:02 1
Экстренные новости утром прервали эфиры! 400 метров до Кремля! Доигрались! / Тверь вышла из чата
4 weeks ago 00:04:39 1
Ты забыл, брат… - Виталий Аксёнов | Новая песня 2022 | Акустическая
4 weeks ago 00:04:55 1
Бессмертный хит. Мирей Матье “Bravo Tu as Gagné“ (1981)
4 weeks ago 00:01:24 1
Новинки июля 2024 купаты и краковская колбаса.
4 weeks ago 00:44:07 1
ЭТОГО МЫ ЖДАЛИ 13 ЛЕТ?! НОВЫЙ TEST DRIVE SOLAR CROWN ВЫШЕЛ! ПЕРВЫЙ ЗАПУСК И ПЕРВЫЕ ВПЕЧАТЛЕНИЯ!
4 weeks ago 01:02:25 1
“СОВЕРШЕННО СЕКРЕТНО, Евгений Пересветов“ документальный фильм Евгения Пересветова
4 weeks ago 00:03:09 1
ЛОМОВОЙ - Ох уж эти самокаты
4 weeks ago 01:07:47 1
ОНА ВЫШЛА НА ПК || God of War: Ragnarök
4 weeks ago 00:14:09 1
iOS 18 обновление! Что нового в iOS 18 для всех?
4 weeks ago 00:24:19 1
РОК-ЗВЕЗДА притворился БОТАНОМ на прослушивании в МУЗ. ГРУППУ #2 ЛУЧШАЯ ЧАСТЬ НА КАНАЛЕ!
4 weeks ago 01:10:52 73
Евдокименко: Лечение цистита, простатита, атеросклероза, кopoнавиpyca, аритмии и о будущем России
4 weeks ago 01:54:07 1
О жизни и пути к Богу Дмитрий Обердерфер- Ментор, международный финансовый эксперт, экономист.
4 weeks ago 01:42:29 1
Фильм ** ОБЛАКО ** Фантастика 2019 Новинка HD
4 weeks ago 00:16:09 1
Жизнь в Дубае // Летняя жара // Подарок Давиду на день рождения // День России в Дубае