Поскольку смартфоны становятся центральным элементом нашей жизни, их способность делать все больше и больше с невероятной мощностью и потрясающей эффективностью становится все более важной. С помощью компьютерной фотографии камеры смартфонов могут добиться впечатляющих результатов, но есть недостатки. Этот метод создания изображений требует серьезной производительности, и для рендеринга конечных изображений может потребоваться время. Это может означать, что предварительный просмотр изображений не совпадает с конечным результатом, и это может создать большой разрыв в качестве изображения между неподвижной фотографией и видео, что не может получить преимущества объединения нескольких кадров вместе для более широкого динамического диапазона и более чистого изображения. образы
Требования к обработке изображений AI высоки, и даже телефонные SoC с ISP и нейронными процессорами (NPU) на борту просто не имеют мощности для выполнения этой обработки AI. Этот недостаток мощности в конечном итоге означает недостатки в качестве изображения, которые не были бы необходимы с достаточно мощным NPU. Чтобы лучше обрабатывать огромное количество данных, поступающих с камер, OPPO построила специальный мощный NPU, который может выходить далеко за рамки возможностей современных смартфонов.
Чтобы продемонстрировать огромный скачок, который может предложить мощный NPU, OPPO представляет свой первый NPU для обработки изображений – MariSilicon X – который будет запущен в серии Find X в начале 2022 года. Компания потратила 10 лет на разработку своей технологии обработки изображений, начиная с линз и датчиков. на собственные алгоритмы и теперь собственный NPU. Благодаря вертикальной интеграции этих функций, OPPO MariSilicon X предлагает новый уровень фотографических характеристик для смартфонов.
MariSilicon X с новейшим модулем обработки изображений, созданным с нуля, может предложить серьезную производительность. Встроенный NPU может достигать 18 TOPS @ INT8 обработки и достигает эффективности 11,6 TOPS / ватт. Для его скорости обработки требуется память, которая может не отставать, поэтому OPPO включила подсистему памяти Terabit и дополнительную пропускную способность памяти DDR на 8,5 ГБ / с на MariSilicon X. Память играет роль в этой эффективности, как и многие операции AI, жестко встроенные в Дизайн НПУ. Благодаря этой высокой производительности MariSilicon X может выполнять снижение шума на видео 4K со скоростью 40 кадров в секунду, что достаточно быстро, чтобы обеспечить это в режиме реального времени.
В настоящее время конвейер обработки изображений смартфона включает в себя захват изображения и его сжатие из RAW в RGB и YUV – процесс, при котором большая часть исходных данных изображения теряется. Затем телефоны проводят вычислительную фотосъемку этих сжатых изображений, что серьезно ограничивает потенциальное качество конечного продукта. NPU MariSilicon X переходит прямо в середину этого процесса, поскольку он имеет скорость, необходимую для обработки конвейера обработки изображений в области RAW. Другими словами, он может выполнять свою вычислительную фотосъемку на исходном изображении, пока все его данные остаются нетронутыми.
MariSilicon X обеспечивает захват видео в разрешении 4K с Ultra HDR в 20-битном и динамическом диапазоне 120 дБ, комбинируя несколько кадров HDR в области RAW во время записи. Эффект – отдельные видеокадры, которые находятся на одном уровне с неподвижной фотографией. Мощность этой обработки и скорость, которой она может достичь, позволяют даже 4K AI Night Video – впервые для Android – возможность использовать данные RAW с конечным результатом, столь же ярким, как предварительный просмотр в реальном времени.
MariSilicon X поддерживает 20-битное видео Ultra-HDR
В сочетании со специализированным оборудованием MariSilicon X NPU может пойти еще дальше. MariSilicon X может поддерживать режим OPPO RGBW Pro с помощью датчика RGBW, который затем позволяет обрабатывать сигналы красного, зеленого, синего (RGB) и W отдельно и объединять их в одно изображение с улучшением динамического диапазона на 8,6 дБ и на 70% больше. текстура.
Учитывая ограничения текущего конвейера обработки изображений и прорывной потенциал выделенного NPU с достаточной мощностью для обработки изображений в области RAW, преимущество добавления NPU обработки изображений на смартфоны очевидно. Они позволят пользователям снимать фотографии в более высоком качестве и превращать ночное видео в реальность.
MariSilicon X впервые представляет 4K AI Night Video на смартфонах Android, где яркость света ниже 5 люкс
Вы можете узнать больше о MariSilicon X и всех грядущих инновациях и технологических предложениях OPPO на OPPO Inno Day 2021.
