Nvidia считает себя аппаратным властелином «метавселенной» и намекнула на функционирование параллельной трехмерной вселенной, в которой наши мультипликационные персонажи могут работать, играть и взаимодействовать.
Чип-бизнес добавил в Omniverse новую сантехнику – базовый аппаратный и программный движок, который действует как ядро планеты, объединяющее виртуальные сообщества в альтернативную трехмерную вселенную. Omniverse также используется для создания аватаров, чтобы улучшить реальный опыт в автомобилях, больницах и роботах.
«Мы не говорим людям заменять то, что они делают, мы улучшаем то, что они делают», – сказал Ричард Керрис, вице-президент платформы Omniverse, во время брифинга для прессы.
Анонсы Omniverse были сделаны на этой неделе во время конференции по технологиям GPU. Генеральный директор Nvidia Дженсен Хуанг расскажет о многих из этих объявлений во вторник.
Дженсен, каким вы его раньше не видели. Источник: Nvidia. нажмите, чтобы увеличить
Одним из таких объявлений является Omniverse Avatar, который может создавать интерактивные интеллектуальные аватары AI для таких вещей, как помощь посетителям в заказе еды, помощь водителю в самостоятельной парковке или лучшем перемещении по дорогам.
Nvidia привела пример диалогового аватара для замены серверов в ресторанах. При заказе еды система искусственного интеллекта, представленная аватаром на экране, может общаться в режиме реального времени, используя методы распознавания речи и естественного интеллекта, а также использовать компьютерное зрение, чтобы уловить настроение человека и рекомендовать блюда на основе базы знаний.
Для этого аватару необходимо будет одновременно запускать несколько моделей искусственного интеллекта – например, распознавание речи, изображения и контекст, что может быть проблемой. Компания создала Unified Compute Framework, который моделирует ИИ как микросервисы, поэтому приложения могут работать в одиночных или гибридных системах.
У Nvidia уже есть базовые системы искусственного интеллекта, такие как модель Megatron-Turing Natural Language Generation – монолитный язык-преобразователь, разработанный совместно с Microsoft. Теперь система будет предлагаться на оборудовании DGX AI.
Omniverse Avatar также является базовой технологией Drive Concierge – автомобильного помощника с искусственным интеллектом, который является «личным консьержем в автомобиле, который будет ждать вас по вызову», – сказал Дипу Талла, вице-президент и генеральный менеджер по встраиваемым и периферийным вычислениям.
Системы искусственного интеллекта в автомобилях, представленные интерактивными персонажами, могут понимать водителя и пассажиров автомобиля с помощью привычек, голоса и взаимодействия. Соответственно, система искусственного интеллекта может совершать телефонные звонки или давать рекомендации о близлежащих местах, где можно поесть.
Используя камеры и другие датчики, система также может видеть, спит ли водитель, или предупреждать водителя, если он что-то забыл в машине. Сообщения системы ИИ представляются через интерактивные символы или интерфейсы на экранах.
Старая собака, новые трюки
Концепция метавселенной не нова – она существовала через Second Life Linden Lab или такие игры, как The Sims. Nvidia надеется разрушить частные стены и создать единую метавселенную, чтобы пользователи теоретически могли переключаться между вселенными, созданными разными компаниями.
Во время брифинга Nvidia не упомянула о том, чтобы помочь Facebook реализовать свое видение будущего вокруг метавселенной, которая находится в центре ее ребрендинга на Meta.
Но Nvidia заставляет другие компании переносить свои 3D-работы на платформу Omniverse через свои программные соединители. В этот список входят ArcGIS cityEngine от Esri, который помогает создавать городские среды в 3D, и голосовой движок Replica Studio AI, который может имитировать реальный голос для анимированных персонажей.
«Все это стало возможным благодаря доллару США, или универсальному описанию сцены. Доллар США – это HTML-код 3D – важный элемент, поскольку он позволяет всем этим программным продуктам использовать преимущества виртуальных миров, о которых мы говорим», – сказал Керрис. . Доллар США был создан Pixar для совместного использования 3D-ресурсов.
Nvidia также анонсировала Omniverse Enterprise – предложение подписки со стеком программного обеспечения, которое поможет компаниям создавать рабочие процессы 3D, которые могут быть подключены к платформе Omniverse. Предложение по цене 9000 долларов в год нацелено на такие отрасли промышленности, как проектирование и развлечения, и будет доступно через торговых посредников, включая Dell, Lenovo, PNY и Supermicro.
Компания также использует платформу Omniverse для генерации синтетических данных, на которых можно обучать «цифровых близнецов» или виртуальное моделирование реальных объектов. SIM-карта ISAAC может обучать роботов с помощью синтетических данных, основанных на реальной и виртуальной информации. SIM-карта позволяет вводить новые объекты, обзоры камер и освещение для создания пользовательских наборов данных для обучения роботов.
Автомобильным эквивалентом является Drive SIM, которая может создавать реалистичные сцены с помощью смоделированных камер для автономного вождения. SIM-карта учитывает реальные данные для обучения моделей искусственного интеллекта с автономным вождением. Модели линз камеры смоделированы и учитывают такие реальные явления, как размытость изображения, скользящий затвор и мерцание светодиода.
Nvidia тесно сотрудничает с производителями датчиков, чтобы точно воспроизводить данные Drive SIM. По словам Дэнни Шапиро, вице-президента Nvidia по автомобильной промышленности, для моделей камеры, радара, лидара и ультразвукового датчика отслеживается путь с использованием графической технологии RTX.
Компания объединила несколько анонсов аппаратного обеспечения в общий рассказ Omniverse.
Присоединяйтесь к новому поколению
Плата разработчика Jetson AGX Orin следующего поколения будет доступна производителям в первом квартале следующего года. Он имеет 12 ядер ЦП на базе архитектуры Arm Cortex-A78, 32 ГБ оперативной памяти LPDDR5 и обеспечивает производительность 200 TOPS (тераопераций в секунду).
Drive Hyperion 8 – это вычислительная платформа для автомобилей с двумя SoC Drive Orin, обеспечивающая производительность до 500 TOPS. Платформа имеет 12 камер, девять радаров, один лидар и 12 ультразвуковых датчиков. Он будет использоваться в автомобилях, произведенных в 2024 году, и имеет модульную конструкцию, поэтому автопроизводители могут использовать только те функции, которые им необходимы. Автомобили со старыми компьютерами Nvidia можно обновить до Drive Hyperion 8.
Nvidia также анонсировала коммутатор Quantum-2 InfiniBand, который имеет 57 миллиардов транзисторов и производится по 7-нм техпроцессу Taiwan Semiconductor Manufacturing Co. Нам сказали, что он может обрабатывать 66,5 миллиардов пакетов в секунду и имеет 64 порта для передачи данных со скоростью 400 Гбит / с или 128 портов для передачи данных со скоростью 200 Гбит / с.
Компания также рассказала о Morpheus – платформе искусственного интеллекта, которую она представила ранее в этом году, которая позволяет поставщикам кибербезопасности выявлять и предупреждать компании о нерегулярном поведении в сети или центре обработки данных. Платформа выявляет незначительные изменения в приложениях, пользователях или сетевом трафике для выявления аномалий и подозрительного поведения.
Morpheus извлекает необходимые данные из сетевых адаптеров / модулей обработки данных BlueField от Nvidia, которые получили новые возможности благодаря обновлению DOCA SDK, то есть для Bluefield DPU, как CUDA для графических процессоров Nvidia.
Обновление DOCA – версия 1.2 – также может «создавать контролируемые облачные сервисы, которые контролируют доступ к ресурсам, проверяют каждое приложение и пользователя. [and] изолировать потенциально скомпрометированные машины ». DOCA 1.2 также позволяет устройствам Bluefield аутентифицировать программную и аппаратную аутентификацию, применять шифрование данных на скорости передачи данных и поддерживать распределенные межсетевые экраны, которые работают на SmartNIC. Nvidia сообщила В Пало-Альто производительность брандмауэра увеличилась в 5 раз при запуске инструментов в распределенном режиме на SmartNIC.
Говоря об искусственном интеллекте, гигант GPU также расширил свою программу Launchpad, где он будет предлагать краткосрочный доступ к аппаратному и программному обеспечению искусственного интеллекта через центры обработки данных Equinix в США, Европе, Японии и Сингапуре. Последние три местоположения являются первыми присутствиями Launchpad за пределами США, что дает Nvidia надежду на то, что его функция в качестве искусственного интеллекта на рампе может получить более широкое распространение.
Еще одно новое предложение – это новая версия диалогового инструмента искусственного интеллекта RIVA, который, как говорят, способен создавать пользовательский голос, похожий на человеческий, за день на основе всего 30 минут образца речи. Nvidia считает, что это просто билет для организаций, которые хотят предлагать настраиваемые речевые интерфейсы. ®
