Искусственный интеллект (ИИ) — это новая тенденция, которая привлекает внимание в последние несколько лет. Будь то смартфоны, умные автомобили или любые умные устройства, драйвер ИИ является ядром устройства. Однако для эффективной работы драйвера ИИ требуется медленное, стабильное, последовательное и соответствующее обучение. Мы можем правильно понять, как обучить ИИ-водителя, приручив кошку.
Когда кошка ведет себя непослушно, вы проявляете гнев и даже имитируете наказание кошки. Однако, когда кошка чувствует себя хорошо, вы вознаграждаете ее полоской или чем-то еще, что она так любит. Через пару месяцев повторения этого процесса ваша кошка будет жаждать только положительного вознаграждения. Таким образом, он даже не вспомнит, как вести себя неуправляемо. То, что происходит в этом процессе, называется «обучение с подкреплением».
В процессе взаимодействия с окружающей средой (ваш дом с вами) агент (ваша кошка), стимулируемый механизмом вознаграждения (раздевание кошки) и наказания (свидетельство гнева), постепенно осваивает набор методов, которые могут максимизировать его собственные модели поведения (тихо, лежа). Так что по сути выращивание кошек — это то же самое, что заниматься искусственным интеллектом.
АльфаГо
Самым известным представителем обучения с подкреплением, конечно же, является AlphaGo: десятки тысяч шахматных партий, борьба друг с другом слева направо и, наконец, становление непревзойденным богом Го без учителя. Если AlphaGo рассматривать как кошку в приведенном выше примере, то на тренировке, если есть победа, можно будет есть хорошие вещи, а если она проиграет, она получит побои. Кроме того, DeepMind разработала агента, который может превзойти игроков-людей в 57 играх Atari, который также опирается на алгоритмы обучения с подкреплением. Однако механизм вознаграждения и наказания здесь будет специально разработан в соответствии с различными играми. Например, когда вы играете в самый простой Pac-Man, вы получаете награду каждый раз, когда едите фасоль, и наказание, когда попадаете в призрачный gg.
Помимо обширности игрового поля, обучение с подкреплением (обучение ИИ-водителей) действительно можно использовать для автономного вождения.
Как обучить ИИ-водителя
Чтобы объяснить, как это достигается более удобно, здесь мы позаимствовали опору: Amazon DeepRacer от Amazon Cloud Technology.
Маленький автомобиль, который выглядит очень концептуально, с соотношением 1 к 18 к реальному автомобилю. Автомобиль оснащен процессорами, камерами и даже лидарами для достижения автономного вождения. Конечно, предпосылка заключается в том, что сначала мы применяем обученный алгоритм обучения с подкреплением (ИИ-водитель) на автомобиле. Обучение алгоритма необходимо проводить в виртуальной среде. По этой причине Amazon DeepRacer оснащен консолью управления, которая содержит гоночный 3D-симулятор. Это позволяет людям более интуитивно видеть эффект обучения модели.
С этим набором вещей мы можем попробовать самостоятельно обучить ИИ-водителя с нуля.
Как это сделать? Вот в чем дело:
Допустим, это полностью прямая трасса в симуляторе и машина Amazon DeepRacer в виртуальной среде.
Наша цель — довести машину до финиша за максимально короткое время, поэтому для этой трассы лучший вариант — проехать как можно дальше по центральной линии, избегая лишнего времени, вызванного объездами или выходом за пределы трассы. Для этого мы можем разбить дорожку на сетки и присвоить этим сеткам разные оценки:
Те, кто ближе к середине, получают более высокие баллы, а те, кто находится по бокам, получают более низкие баллы. Кроме того, части за пределами диапазона дорожки являются недопустимыми областями. Если вы столкнетесь с ними, вам придется начать все сначала. После старта гонки вначале машина не знала, какой маршрут лучший. Он просто таранил, как безголовая муха, и часто сбивался с трассы.
Но позже, со все большим количеством проб и ошибок, под «командой» функции вознаграждения автомобиль будет постепенно исследовать маршрут, который может получить наивысший совокупный балл. В идеале, после периода обучения и итерации алгоритм узнает правду о том, что «прямые линии» являются самыми быстрыми.
Развернуть алгоритм на машине
А затем, применив алгоритм к машине, мы можем собрать гоночный автомобиль, который может двигаться по прямой. Конечно, бег по прямой — это только самый простой случай. Фактический трек, как правило, более сложный. Во многих случаях бег по центральной линии — не самый быстрый маршрут. По этой причине нам необходимо скорректировать стратегию обучения и дизайн функции вознаграждения.
На практике написание конкретных функций также осуществляется через консоль управления Amazon DeepRacer. Перед написанием функции мы можем настроить на ней гиперпараметры модели, затем определить ее пространство действия, указать скорость автомобиля и угол поворота руля, и даже… выбрать скин автомобиля и так далее.
Amazon DeepRacer — это полный набор сервисов, очень похожий на набор визуальных средств обучения для вводного обучения с подкреплением. Новички могут следовать подсказкам шаг за шагом. Если вам интересно, вы можете попробовать сами.
Бросить вызов Гиннессу?
Конечно, поскольку это гоночный автомобиль, естественно стремиться к скорости, чем быстрее, тем лучше. И если вы хотите проверить, достаточно ли быстр «обученный» вами ИИ-драйвер…
Официальная компания Amazon Cloud Technology также провела соревнование, чтобы собрать всех обученных всеми водителей ИИ и сравнить их, чтобы увидеть, кто из них самый быстрый.
Эта лига представляет собой серьезное соревнование мирового масштаба. Первая сессия прошла в 2018 году. На сегодняшний день в ней приняли участие более 100 000 человек. От онлайн-симуляций до офлайн-физических соревнований. Конкурс уже хорошо известен в мире разработчиков машинного обучения.
Китайский регион также учредил специальную лигу Amazon DeepRacer для китайских разработчиков. В этом году Китайская лига разделена на два сезона. Ежемесячные соревнования каждого сезона делятся на общественную группу и профессиональную группу в зависимости от сложности трассы и сложности модельных тренировок. Игроки, занявшие первое место в ежемесячной соревновательной группе, получат возможность перейти в следующую группу или принять участие в офлайн-соревнованиях.
Призы
Конечно, в конкурсе есть призы. Наушники, клавиатуры, динамики…
А если вы случайно выиграете чемпионат сезона, поздравляю, вы можете купить билет в Лас-Вегас (отель и билеты на конгресс) бесплатно.
Участие в Amazon DeepRacer League бесплатное и не требует карьерных требований. Просто если вы сдаете экзамен в возрасте до 16 лет, вам нужно разрешение вашего опекуна… В этом году конкурс еще продолжается, и если вы зарегистрируете учетную запись на официальном сайте, вы автоматически получите 10 часов учебного времени. на облачном сервисе Amazon, и вы можете подать заявку на «балльную карту» на 30 долларов.
В то же время официальная компания Amazon Cloud Technology также участвует в акции «Бросьте вызов Книге рекордов Гиннеса» с целью превзойти число участников в 4387 и подать заявку на участие в «крупнейшем соревновании по машинному обучению» в мире.
Каждый участник в этом году станет частью рекорда — даже у каждого есть возможность получить сертификат о вызове Книги рекордов Гиннеса. Окончательный результат этого испытания будет объявлен в октябре. Китайский онлайн-саммит Amazon Cloud Technology в этом году откроется в октябре. В дополнение к объявлению результатов Amazon DeepRacer Guinness Challenge будет много громких имен в области облачных вычислений, которые будут делиться и демонстрировать соответствующие технические достижения.
