На прошлой неделе вышла новая модель генерации видео - Luma.
Почему это важно:
- Открытый доступ. Этот инструмент находится в открытом доступе, в отличие от Sora и ряда китайских моделей (одна из них, Kling, также релизнулась на прошлой неделе, но она также в ограниченном доступе в Китае)
- Высокая динамика в кадре. Есть и другие доступные в открытном доступе модели для генерации видео: Pika и Runway, но у них очень низкая динамика в кадре, часто больше похоже на медленное движение камеры в относительно статичном кадре (см. первое видео со сравнением трех моделей, позаимствовала из Сиолошной)
- В целом появление моделей генерации видео важны, это шаг в сторону познания мира вокруг нас.
Впечатления:
- ◾Прикольно. Наверное, люди, которые видят этим вещам прикладное применение: AI-режиссеры, маркетологи, креаторы - радуются этому релизу больше чем я. Мне просто прикольно 🙂
- ◾Динамика в кадре реально высокая, иногда даже слишком. Персонажи двигают губами, как будто говорят что-то, даже когда их об этом не просишь. На промпте “a pixar-style puppy making sad eyes” (второе видео), во-первых, появилась вторая собака, а во-вторых, они обе разговаривают. Даже просьба в промпте, чтобы персонажи не говорили, не ведет к успеху (третье видео с женщиной полицейским - промптила, чтобы она не говорила). В общем динамика добавляется сама по себе, когда ее не ждешь.
- ◾Конечности сливаются, лица меняются в одном кадре, два хвоста у кота - в общем типичные неточности модели дают о себе знать.
- ◾Генерация с вводным изображением и детальным промптом сильно лучше в качестве. Хотя иногда модель совсем игнорирует часть промпта.
- ◾Не так кинематографично как на демо к Sora. Но мы и не демо сравниваем а реальные кейсы 😌
Сравним инвестиции:
- ◽️ Pika - $135M,
- ◽️ Runway - $236M,
- ◽️ Luma - $67M
Вывод: впечатляет
