Вот держите довольно незамысловатый ролик. На входе - отрывок из Гордость и Предубеждение. На выходе типавидео
Вот держите довольно незамысловатый ролик.
На входе - отрывок из “Гордость и Предубеждение“. На выходе типавидео.
Пайплайн:
- Anthropic Claude взял первую главу, сгенерировал сцены и отдельные промпты для генератора изображений
- ideogram взял промпты и сгенерировал изображения
- Luma Labs взял изображения и анимировал их
- elevenlabs для повествования
- veed studio для монтажа
Я бы не обратил внимания на ролик, но это запостил у себя Андрей Карпатый, который сам лично ручками собрал это дело. И вот что он пишет.
Честно говоря, это было довольно муторно, и мне пришлось много копировать-вставлять между всеми инструментами, и даже это небольшое видео с 3 сценами заняло у меня около часа. У того, кто сможет сделать это удобным, есть огромные возможности для создания сюжетов. Кто создаст первый 100% AI-native movie maker?
И это отличный вопрос!
Мы с Пашей Рогожиным делали что-то подобное в 2022, когда не было не то, что видео, но и контрол нета, айпи адаптеров, а консистентность персонажей вообще не решалась никак. Было точно рано и инструментарий не вытаскивал. Прошло полтора года. И вот уже копипастом можно собирать такие ролики в одно лицо за час. Осталось собрать такое лего.
Вопрос продукта и интерфейса. Ибо на каждой вышеперечисленной стадии своя культура, терминология, жаргон и интерфейсные решения. И сделать “как кино и постпродакшене“ не получится. Будет каша.
Похоже надо идти с конца, брать монтажки с колбасками и навешивать на них новые инструменты. Но, вероятно, я мыслю слишком ригидно , и опыт блокирует новый взгляд на такой продукт.