Разработчики могут создавать большие наборы данных синтетических видео для обучения моделей компьютерного зрения с помощью программного обеспечения, написанного группой исследователей под руководством Google.
Данные — один из важнейших компонентов глубокого обучения. Вам нужны образцы хорошего качества в больших количествах, чтобы повысить производительность модели, хотя наборы данных такого рода по своей природе немногочисленны и редки. Если вам нужны изображения или видео, вы можете извлечь их со страниц интернет-профилей и галерей, хотя это утомительно для очистки и обработки в больших масштабах и может создать всем проблемы с конфиденциальностью и юридическими проблемами. Если вам нужны более сложные данные, такие как видеоматериалы с глубиной и аннотациями объектов, ваши доступные источники сокращаются еще больше.
Поддельный компьютерный материал позволяет избежать этих проблем, предоставляя вам именно то, что вам нужно, и существуют различные способы его вывода, в том числе с использованием машинного обучения. И да, есть предостережение, что вам нужно знать, что вы делаете при обучении системы на синтетических данных: если набор данных не соответствует действительности, ваша модель получит искаженное представление о мире.
В любом случае, есть способ создать терабайты фальшивых обучающих данных — в частности, видеозаписей взаимодействующих друг с другом объектов — которые могут быть полезны для обучения моделей пониманию того, что они могут видеть вокруг себя в реальном мире.
Более 30 исследователей из ведущих исследовательских лабораторий ИИ в Google, DeepMind, Университет Торонто, Массачусетский технологический институт и другие совместно разработали Kubric, библиотеку программного обеспечения на основе Python с открытым исходным кодом, которая может моделировать сцены с объектами и предназначена для инженеров, занимающихся глубоким обучением. Библиотека может экспортировать сгенерированные синтетические наборы данных непосредственно в модели машинного обучения в процессе обучения. Код построен на основе физического движка PyBullet с использованием Blender для рендеринга.
«Kubric — это высокоуровневая библиотека Python, которая служит связующим звеном между движком рендеринга, симулятором физики и инфраструктурой экспорта данных», — заявили ее разработчики в статье о проекте, размещенной на arXiv в этом месяце. «Его основной вклад заключается в оптимизации процесса и уменьшении препятствий и трений для исследователей, которые хотят генерировать синтетические данные и делиться ими».
Его основной вклад заключается в оптимизации процесса и уменьшении препятствий и трений для исследователей, которые хотят генерировать синтетические данные и делиться ими.
Они продемонстрировали, как наборы данных, созданные Кубриком, могут обучать системы ИИ выполнять несколько задач компьютерного зрения, от сегментации объектов на изображениях до реконструкции кадров в видео и оценки позы.
Разработчики, использующие Kubric, могут писать сценарии для создания сцен, заполненных объектами, и многократно запускать код для создания кадров с разными углами обзора и условиями освещения. В документации Кубрика говорится, что это «конвейер генерации данных для создания полуреалистичных синтетических многообъектных видео с богатыми аннотациями, такими как маски сегментации экземпляров, карты глубины и оптический поток».
Однако эти наборы данных не будут дешевыми. Исследователи заявили, что в настоящее время для работы требуются «существенные вычислительные ресурсы», и им нужно «[three] ЦП-годы вычислений» для создания одного конкретного набора данных.
«Мы надеемся, что это поможет сообществу, снизив барьеры для создания высококачественных синтетических данных, уменьшив фрагментацию и облегчив совместное использование пайплайнов и наборов данных», — заключили они.
Скачать Кубрика можно здесь. ®
