Специальный отчет Научная статья Google, опубликованная в журнале Nature, в которой утверждалось, что программное обеспечение машинного обучения может создавать лучшие чипы быстрее, чем человек, была поставлена под сомнение после того, как новое исследование поставило под сомнение ее выводы.
В июне 2021 года компания Google попала в заголовки газет за разработку системы на основе обучения с подкреплением, способной автоматически генерировать оптимизированные планы микрочипов. Эти планы определяют расположение блоков электронных схем внутри чипа: где такие элементы, как ядра CPU и GPU, а также память и периферийные контроллеры, фактически размещаются на физическом кристалле кремния.
Google заявила, что использует это программное обеспечение искусственного интеллекта для разработки собственных чипов TPU, которые ускоряют рабочие нагрузки искусственного интеллекта: они применяют машинное обучение, чтобы заставить другие системы машинного обучения работать быстрее.
Расположение чипа важно, поскольку оно определяет, насколько хорошо работает процессор. Вам потребуется тщательно расположить блоки схемы чипа, чтобы, например, сигналы и данные распространялись между этими областями с нужной скоростью. Инженеры обычно тратят недели или месяцы на доработку своих проектов, пытаясь найти оптимальную конфигурацию. Все различные подсистемы должны быть расположены определенным образом, чтобы получить максимально мощный, энергоэффективный и компактный чип.
Сегодня создание плана обычно включает в себя сочетание ручной работы и автоматизации с помощью приложений для проектирования микросхем. Команда Google стремилась продемонстрировать, что ее подход, основанный на усиленном обучении, позволяет создавать более качественные проекты, чем те, которые создаются инженерами-людьми с помощью промышленных инструментов. Мало того, Google утверждает, что ее модель выполнила свою работу гораздо быстрее, чем инженеры, просматривающие макеты.
“Несмотря на пять десятилетий исследований, поэтажные планы на кристалле не поддаются автоматизации, требуя месяцев напряженных усилий инженеров-физиков для создания технологической схемы… Менее чем за шесть часов наш метод автоматически генерирует поэтажные планы на кристалле, которые превосходят или сравнимы с теми, что созданы людьми, по всем ключевым параметрам”, – пишут сотрудники Google в своей статье в журнале Nature.
Исследование привлекло внимание сообщества специалистов по автоматизации проектирования электроники, которые уже начали внедрять алгоритмы машинного обучения в свои программные пакеты. Теперь утверждение Google о том, что ее модель лучше человеческой, оспорила команда из Калифорнийского университета в Сан-Диего (UCSD).
Несправедливое преимущество?
Под руководством Эндрю Канга, профессора компьютерных наук и инженерии, эта группа провела несколько месяцев, перестраивая конвейер планирования пола. Google описал свою работу в журнале Nature. Веб-гигант утаил некоторые подробности о внутренней работе своей модели, сославшись на коммерческую тайну, поэтому UCSD пришлось придумать, как сделать свою собственную полную версию, чтобы проверить выводы сотрудников Google. Отметим, что профессор Канг выступал в качестве рецензента журнала Nature в процессе рассмотрения статьи Google.
В итоге ученые университета нашли свою собственную воссозданную версию оригинала. Код Google, названный в их исследовании циркулярным обучением (CT), на самом деле показал худшие результаты, чем люди, использующие традиционные отраслевые методы и инструменты.
Что могло стать причиной такого расхождения? Можно сказать, что воссоздание было неполным, хотя может быть и другое объяснение. Со временем, как выяснила команда UCSD, Google использовал коммерческое программное обеспечение, разработанное компанией Synopsys, крупным производителем комплектов для автоматизации проектирования электроники (EDA), для создания начального устройства логических ворот микросхемы, которое затем было оптимизировано системой усиленного обучения веб-гиганта.
Эксперименты показывают, что наличие исходной информации о размещении может значительно улучшить результаты КТ.
Google упомянула в документе, что использовались стандартные программные инструменты и ручная настройка после того, как модель создала макет, в основном для того, чтобы убедиться, что процессор будет работать правильно, и доработать его для изготовления. Сотрудники Google утверждали, что это необходимый шаг, независимо от того, был ли план этажа создан алгоритмом машинного обучения или людьми с помощью стандартных инструментов, и поэтому их модель заслуживает похвалы за оптимизированный конечный продукт.
Однако команда UCSD заявила, что в статье Nature не упоминаются инструменты EDA, используемые заранее для подготовки макета к тиражированию модели. Утверждается, что эти инструменты Synopsys могли дать модели достаточно приличный старт, чтобы истинные возможности системы искусственного интеллекта были поставлены под сомнение.
“Это не было очевидно на момент рассмотрения статьи, – пишет университетская команда об использовании пакета Synopsys для подготовки макета модели, – и не упоминается в Nature. Эксперименты показывают, что наличие исходной информации о размещении может значительно улучшить результаты КТ. .”
Nature исследует исследования Google
С тех пор некоторые ученые призвали журнал Nature пересмотреть статью Google в свете исследования UCSD. В электронных письмах, отправленных в журнал, исследователи из Реестра подчеркнули озабоченность, высказанную профессором Кангом и его коллегами, и выразили сомнение в том, что статья Google вводит в заблуждение.
Билл Шварц, старший преподаватель электротехники в Техасском университете в Далласе, сказал, что статья в Nature “оставила много информации … [исследователей] в неведении”, поскольку результаты касались собственных TPU интернет-гиганта, поэтому их нельзя было проверить.
Использование программного обеспечения Synopsys для GoogleОн сказал, что программное обеспечение необходимо изучить. “Мы все хотим знать фактический алгоритм, чтобы мы могли его воспроизвести. Если заявления [Google] верны, то мы хотим их реализовать. Должна быть наука, все должно быть объективно; если это работает, то это работает”, – сказал он.
Издание Nature сообщило о Регистре, который расследует “Газету Google”, хотя и не уточнило, что именно он расследует и почему.
“Мы не можем комментировать детали отдельных случаев по соображениям конфиденциальности”, – сказали нам в Nature. “В целом, однако, когда возникают сомнения по поводу любой статьи, опубликованной в журнале, мы тщательно проверяем ее в соответствии с установленным процессом.
“Этот процесс включает в себя консультации с авторами и, если необходимо, обращение за советом к рецензентам и другим внешним экспертам. Как только мы получаем достаточно информации для принятия решения, мы даем ответ, который является наиболее подходящим и при необходимости вносит ясность для наших читателей в результат”.
Это не первый случай, когда журнал проводит расследование после публикации исследования, которое подверглось новой тщательной проверке. Статья сотрудников Google осталась в сети с исправлением, которое автор добавил в марте 2022 года и которое включало ссылку на некоторые инструменты GoogleCT с открытым исходным кодом для тех, кто пытается следовать методам исследования.
Нет предварительной подготовки и недостаточно вычислений?
Ведущие авторы GoogleВ статье Азалии Мирхоссейни и Анны Голди говорится, что работа команды Калифорнийского университета в Сан-Франциско не является точной реализацией их метода. Они отметили, что группа профессора Канга получила худшие результаты, потому что они вообще не обучали свою модель на каких-либо данных.
“Метод, основанный на обучении, конечно, будет работать хуже, если ему не дать возможность учиться на предыдущем опыте. В нашей статье в журнале Nature мы проводим предварительное обучение на 20 блоках перед оценкой отложенных тестовых случаев”, – говорится в заявлении. .
Команда профессора Канга также не тренировала свою систему, используя ту же вычислительную мощность, которую использует Google, и предположила, что этот шаг мог быть выполнен неправильно, что повредило производительности модели. Мирхосейни и Голди также заявили, что этап предварительной обработки с использованием приложений EDA, который не был подробно описан в их статье в Nature, был недостаточно важен для упоминания.
“[UCSD] статья фокусируется на использовании начального размещения из физического слияния для кластеризации стандартных ячеек, но это не имеет практического значения. Физическое слияние должно быть выполнено до запуска любого метода размещения, – сказали они. – Это стандартная практика при проектировании микросхем”.
Однако группа UCSD заявила, что они не тренировали свою модель заранее, поскольку у них не было доступа к собственным данным Google. Однако они утверждают, что их программное обеспечение было протестировано двумя другими инженерами интернет-гиганта, которые также были указаны в качестве соавторов статьи в Nature. Сегодня профессор Канг представляет исследование своей группы на Международном симпозиуме по физическому проектированию.
Тем временем Google продолжает использовать методы обучения с усилением для улучшения своих TPU, которые активно используются в центрах обработки данных.
Уволенный сотрудник Google утверждает, что исследование было раскручено ради выгодной облачной сделки
Отдельно GoogleУтверждения статьи Nature о сверхчеловеческих способностях были оспорены интернет-гигантом. В прошлом году Сатраджит Чаттерджи, исследователь ИИ, был уволен из Google с формулировкой причины; он утверждал, что это произошло потому, что он критиковал и оспаривал выводы статьи. Кроме того, Google запретил Чаттерджи публиковать свою статью с критикой первого исследования.
Другие сотрудники Google обвинили его не только в критике, но и в преследовании коллег, участвовавших в проекте, и его предполагаемое поведение было расследовано в отделе кадров. Чаттерджи подал иск против Google в Верховный суд Калифорнии в Санта-Кларе за незаконное увольнение. Чаттерджи отказался комментировать эту историю.
В своей дополненной жалобе [PDF] в прошлом месяце адвокаты Чаттерджи заявили, что Google думал о коммерциализации своего программного обеспечения для планирования этажей на основе искусственного интеллекта с “компанией S”, в то время как он вел переговоры с Google Сделка по облачным вычислениям с S, по сообщениям, стоила в то время 120 миллионов долларов. Чаттерджи утверждал, что Google отстаивал план этажа, чтобы помочь убедить “Компанию S” присоединиться к этому важному коммерческому соглашению.
“Исследование было проведено отчасти в качестве первого шага к потенциальной коммерциализации с [компанией S] (и проводилось с использованием ресурсов [компании S]). Поскольку оно было проведено в контексте крупной потенциальной сделки с облаком, было бы неэтично предполагать, что у нас есть разрушительная технология, когда наши тесты показали обратное”, – написал Чаттерджи в электронном письме. Генеральный директор Google Сундар Пичаи, вице-президент и научный сотрудник Джей Джагник и вице-президент Google Research Рахул Суктханкар, о чем стало известно из судебного иска.
В исках Google обвиняется в “завышении” результатов своих исследований и “намеренном сокрытии существенной информации от компании S, чтобы побудить ее подписать сделку по облачным вычислениям”, фактически обхаживая другой бизнес, использующий, по мнению компании, сомнительную технологию.
Судебные документы описывают S как “компанию по автоматизации электронного проектирования”. Об этом рассказали люди, знакомые с ситуацией, компания S – это Synopsys.
Synopsys и Google отказались от комментариев.
