SORA — нейросеть, доказывающая что мы в матрице

Sora — новый генератор видео от Open Ai, покорившая весь интернет буквально каждый о ней говорит и выставляет шокирующий результат.

Но знали ли вы, для чего она действительно была предназначена и как Open ai решил полностью обыграть все конкурентов.

В то время как другие рассказывают о поверхностных функциях Сора, думая что перед ними всего лишь очередной генератор видео, я решил рассказать вам о её скрытых возможностях, о которых говорит сама команда, но не обратили внимания другие.

Важно вовремя понять, что ссора не просто инструмент создания видео — это ключ к пониманию будущего

В статье я расскажу:

• В чём секрет создания видео из простого текста с помощью Sora
• Почему ссора — это больше, чем просто генерация видеоконтента
• Насколько технологии ai приблизились к работе человеческого мозга
• Сможет ли ai переписать правила реальности

Встречайте Sora от Open ai — новый генератор видео, новая модель, которая не просто меняет правила игры, она меняет саму игру.

Технологии стоящие за Sora

Кто бы мог подумать что создание видео по текстовому запросу может проложить путь к разработке общего искусственного интеллекта, за которым сейчас идёт большая гонка корпораций. На самом деле модель Open ai была разработана не для замены актёров, специалистов по графике и даже не для мошенников. Оживление мемов, создание дипфейков и тому подобное тоже не входит в список приоритетных задач.

Основная задача Sora — это «обучить пониманию физического мира, умению моделировать его, а также симулировать объекты и действия людей» — так пишут в официальной статье.

Почему-то многие этого не заметили. Цель такого симулятора — помочь решить проблемы, требующие взаимодействия с реальным миром.

Например смоделировать такую ситуацию, которую в реальном мире реализовать было бы небезопасно.

Не верите, звучит слишком фантастично?

Но даже официально Open Ai называют модели видео, как симуляторы мира Sora. Это не просто крутой генератор качественных видео, как может показаться! Почему? Да просто, если углубиться и почитать саму технологию, о том, как работает Sora, то станет всё понятно.

Как тренировали и как работает Sora

Сначала разработчики берут кучу видео и картинок разного качества, размера и длительности.

Потом они превращают все эти видео и картинки в маленькие кусочки, называемые патчами. Это как токены в gpt только в Sora они называются патчи. Каждый кусочек — это отдельный патч и задача модели научить из этих кусочков создавать новое видео.

Далее используя диффузор модели и трансформаторы. Они обучают свою модель учится восстанавливать исходные кусочки по их зашумленным копиям.

Представь что ты рисуешь картинку, начиная с холста, полностью покрытого кляксами. Сначала это выглядит как полный беспорядок, но постепенно, шаг за шагом ты начинаешь убирать кляксы и добавлять детали пока в итоге не получается чёткое и красивое изображение.

 

Вот так примерно работают диффузор модели. Они начинают с шума и постепенно преобразовывает его в чёткое изображение или видео, следуя текстовому описанию.

Трансформатор можно сравнить с режиссёром, который решает как должны располагаться сцены в фильме, чтобы рассказать историю. Помогает понять, какие детали должны присутствовать в этом видео и как они должны быть связаны между собой, обеспечивая связанный и понятный сюжет.

Вместе диффузор модели и трансформаторы позволяют создавать видео высокой реалистичности из текстовых описаний, пошагово превращая хаос в организованное визуальное повествование. Также Sora умеет не только создавать новое видео, но и изменять существующие, делать из картинок видео, создавать видео вместе и даже имитировать некоторые аспекты реального и виртуального миров, типа игр.

Таким образом, Sora обучается генерировать видео, начиная от шумных данных и постепенно улучшая качество до высокой чёткости, опираясь на сложные взаимосвязи и контекст, предоставленный обучающим набором данных. То есть, то что происходит на самом деле под уже популярными в нашем мире словом генерация, нечто более осознанное. ИИ, где модель предсказывает будущее и думает, как отобразить следующий кадр, используя разные варианты симуляций.

Sora меняет этот процесс, превращаясь в инструмент, который делает больше, чем просто создаёт видео по заданным параметрам — она воспроизводит бесконечное множество потенциальных симуляций, анализируя и выбирая наилучший путь развития событий на основе обширного набора данных и предыдущих обучающих примеров.

Это делает Sora не просто инструментом для генерации видео, но и платформой для экспериментов с искусственным интеллектом, который может предвидеть развитие визуальных историй, основываясь на глубоком понимании контекста динамики и взаимодействия элементов в каждом кадре.

В общем эта технология делает возможным то, что ранее казалось фантастикой. Машины теперь могут не просто создавать видео, но и придавать им глубокий смысл и сложность, благодаря чему они выглядят по-настоящему живыми и убедительными.

А теперь чтобы, понять насколько технологии приблизились к работе человеческого мозга — я расскажу ещё кое-что.

Модель мира

Есть понятие модели мира.

То есть, как наш мозг воспринимает информацию и принимает решение.

Представьте мозг, как суперкомпьютер, который нон-стоп обрабатывает кучу информации.

Он постоянно видит закономерности во всём, что мы видим, слышим или чувствуем, чтобы помочь нам, как устроен мир вокруг нас. Этот процесс помогает нам создавать своего рода внутреннюю карту реальности, на основе которой мы принимаем решения и действуем.

Ещё важнее то, что наш мозг не только анализирует текущую ситуацию, но и постоянно делает прогнозы о том, что произойдёт дальше.

Это как в бейсболе — когда мяч летит к бите у игрока есть всего доля секунды, чтобы среагировать.

Но он справляется, потому что его мозг заранее предсказывает куда и когда мяч полетит. Это происходит автоматически,  без осознанного размышления, благодаря внутренней модели мира, которую мы всё время носим в голове.

На самом деле существует научные исследования, подтверждающие факт того, что наше восприятие действительно во многом зависит от предсказаний, которые делает наш мозг о будущем, основываясь на внутренней модели мира. Это означает что наш мозг постоянно работает, как раз потому, что ваш мозг предсказывает движение, которого не происходит.

Представьте, что у вас есть способность читать мысли человека и преобразовывать его мозговые импульсы в картинку. Это делается с помощью специального оборудования, которое собирает сигналы мозга и переводит их в цифровую форму.

Потом эти цифры используются для создания изображений.

Таким образом, мы можем видеть, как думает человек.

Этот процесс похож на то, как работают некоторые искусственные интеллекты. Они сжимают информацию о мире в компактный набор данных, которые затем можно использовать для создания или предсказания чего-то нового. Это как если бы мозг создавал внутренний чертёж или карту того, что он видит или о чём думает, и использовал его для принятия решений.

Не замечаете схожесть с технологией Sora?

Но всё это касается только видео, а что если взять эту технологию и использовать её в других задачах. Что если дать нейросети волю благодаря такой технологии и научить её управлять, например, игрой,  где нет никакого игрового движка,  где нет придуманных правил?

Итак представь, что у тебя есть видеоигра с машинками и ты хочешь научить компьютер играть в неё самостоятельно.

Для этого компьютер смотрит на картинку из игры и преобразовывает её в простой код из чисел. Эти числа помогают ИИ понять, что на картинке происходит. Потом ИИ использует эти числа, чтобы решить, как лучше вести машинку —  повернуть направо, повернуть налево, притормозить или нажать на газ.

Чтобы всё это заработало нужно три компонента:

1. Автокодер, который переводит картинку игры в код чисел и обратно
2. Модель предсказания, которая предсказывает, что будет на следующей картинке игры исходя из из того, что ИИ делает прямо сейчас
3. Сам ИИ, который и принимает все решения

Теперь ИИ учится водить машинку, смотря на то, как его действия влияют на игру. Это похоже на то, как мы люди учимся на своих ошибках и успехах.

Но тут вы наверное скажете: «Ну научили мы и управлять машинкой в игре. И что дальше? Как это применить в нашем реальном мире?

Так вот один стартап применил этот же метод обучения, что в игре на настоящем автомобиле. Они научили искусственный интеллект реально управлять машиной, отвечая на изменения на дороге, как в их эксперименте. В отличие от обычных автопилотов, которые просто следуют жёстко заданным правилам, этот ИИ анализирует ситуацию и сам принимает решение — поворачивать, ускоряться или тормозить, основываясь на предсказаниях того, что может произойти в следующий момент.

Таким образом, благодаря умению создавать симуляции и делать предсказания, искусственный интеллект развивает навыки, которые можно применять как в мировых условиях, так и в реальном мире, перенося опыт из виртуального пространства в реальную жизнь.

 

По такой же аналогии работает и чат gpt. Когда вы задаёте какой-то вопрос он не знает на него ответ. Он берёт ваш текст, сжимает его в числовые значения-токены и просчитывает вариации того, как нужно на него ответить.

Или вот картинка. Он понимает, что изображено на картинке понимает физику и простраивает вариации будущих действий, создаёт симуляции данной ситуации.

Но gpt — это текстовая модель, поэтому она может вам ответить только текстом, чего не скажешь про Sora. Ведь ИИ можно обучить не только управлять машинкой, но и роботом например, у которого будет свой внутренний мир, свои смыслы, свои действия.

Его достаточно просто обучить каким-то базовым делам, а далее с помощью этой технологии, он может сам понимать и прогнозировать, что нужно делать, а что нет по его мнению.

Примеры применения технологий Sora — симуляции

Тестирование бизнес-идей

Ставим симуляцию, где предприниматель может виртуально запустить свой стартап, не тратя реальные ресурсы.

В этой симуляции учитываются различные факторы: цена образования, маркетинговые стратегии и так далее.

Пользователь может экспериментировать с разными подходами к управлению и маркетингу,  чтобы увидеть какие стратегии приведут к успеху, а какие к провалу.

Симуляция кардинальных жизненных решений

Это может быть симулятор, где человек может изучить последствия больших жизненных изменений. Например переезда в другую страну, смены карьеры или начала нового образа жизни.

Это поможет оценивать риски, потенциальные преимущества решений прежде, чем делать их в реальной жизни.

Исследование жизненных ситуаций

А что если симуляция позволяющая людям проживать различные жизненные сценарии и видеть возможность, исходя из их решений. Например что будет, если я начну свой бизнес, вместо того, чтобы остаться на текущей работе или как изменится моя жизнь, если я решусь на долгосрочное путешествие?

Это поможет людям понять возможные последствия их выбора, учитывая реальные аспекты их жизни и влияние решений на будущее

Моделирование глобальных конфликтов

Представим симуляцию, где группа политических аналитиков, дипломатов может создать виртуальную модель мировой политической ситуации.

Они могут варьировать различные факторы, такие как внешняя политика государства, международные соглашения, экономические отношения, чтобы прогнозировать возможный сценарий конфликтов и разрабатывать стратегии предотвращения.

Прогнозирование глобальных угроз

В этой симуляции эксперты по безопасности могут анализировать различные виды угроз, включая кибератаки, биологические угрозы, террористические акты.

Они могут изменять параметры, такие как уровень защиты систем, реакции правительства, чтобы прогнозировать возможный сценарий и разрабатывать стратегии, реагировать на угрозы безопасности.

Прогнозирование глобальных кризисов

В этой симуляции экономисты и социологи могут моделировать различные виды кризисов, такие как экономические кризисы, миграционные потоки, природные катастрофы.

Они могут анализировать влияние различных факторов, такие как политическое решение и изменение климата на развитие кризисных ситуаций и разрабатывать стратегии, преодолевания кризисов.

Сбалансированное развитие и управление ресурсами

В этой симуляции экологи, экономисты могут анализировать действия различных стратегий развития и управления ресурсами на глобальную безопасность.

Они могут моделировать различные сценарии использования природных ресурсов, таких как энергия, вода, оценивать их влияние на мировую стабильность и безопасность.

Выводы о Sora

То есть что я вообще хочу донести? Многие просто не задумываются о потенциальных возможностях технологий, о которых им говорят. Многие видят Sora, как продвинутый инструмент для создания видео. Но на самом деле — это лишь вершина айсберга.

То, что делает Сора и подобно ей технологии по-настоящему важно — это их способность переосмысливать наше понимание мира и расширять границы возможного

Кстати недавно предоставленная модель от Мета, которая учится по видеороликам, тоже использует такую технологию предсказывания следующего действия в кадре.

То есть, это не просто о создании более реалистичных видеоигр или улучшении качества видеоконтента — это о создании симуляций, которые могут предсказывать климатические изменения, разрабатывать новые лекарства, обучать более эффективным методам образования и даже помогать в освоении космоса.

Но важно не просто восхищаться этими достижениями, но и осознавать ответственность, которая идёт вместе с такой помощью. В конечном итоге будущее, к которому нас ведут такие технологии как Sora зависит от нас самих, от нашей способности задумываться о далёко идущих последствиях, от нашего стремления использовать их для создания более справедливого безопасного и процветающего мира.

Мы не просто пассивные наблюдатели на этом пути — мы его создатели! И каждое новое открытие, каждая новая возможность предоставляет нам шанс не только удивляться тому, что возможно, но и воплощать эти возможности в жизнь с учётом всех возможных последствий.

А что если мы и есть виртуальная реальность!