Алгоритмы искусственного интеллекта, предназначенные для создания терапевтических лекарств, могут быть легко перепрофилированы для изобретения смертоносного биохимического оружия, предупреждает американский стартап.
Эксперты бьют тревогу по поводу того, что системы машинного обучения могут быть использованы как во благо, так и во вред. Инструменты компьютерного зрения могут создавать цифровое искусство или дипфейки. Языковые модели могут создавать поэзию или токсичную дезинформацию. Теперь Collaboration Pharmaceuticals, компания из Северной Каролины, продемонстрировала, как алгоритмы искусственного интеллекта, используемые при разработке лекарств, могут быть переделаны для разработки биохимического оружия.
Фабио Урбина, старший научный сотрудник стартапа, сказал, что он работал с программным обеспечением машинного обучения Collaboration Pharmaceuticals MegaSyn для создания класса лекарств, которые, как известно, лечат болезнь Альцгеймера.
MegaSyn создан для создания лекарств-кандидатов с наименьшей токсичностью для пациентов. Это заставило его задуматься. Урбина переобучил модель, используя данные, чтобы направить программное обеспечение на создание смертельных соединений, таких как нервно-паралитический газ, и перевернул код, чтобы он ранжировал свои результаты от высокой до низкой токсичности. По сути, программному обеспечению было приказано придумать как можно более смертоносный материал. Неужели это может быть так просто?
Он запустил модель и оставил ее на ночь, чтобы создать новые молекулы.
Это было довольно впечатляюще и в то же время страшно, потому что в нашем списке 100 лучших мы смогли найти некоторые молекулы, которые являются аналогами VX.
«Я вернулся утром, и он сгенерировал 40 000 соединений», — сказал он. Регистр. «Мы просто начали смотреть на то, как они выглядели, а затем начали исследовать некоторые свойства. Это было довольно впечатляюще и в то же время пугающе, потому что в нашем списке 100 лучших мы смогли найти некоторые молекулы, которые были которые на самом деле являются аналогами VX, которые уже известны как боевые отравляющие вещества».
VX является одним из самых токсичных известных нервно-паралитических агентов; проглатывания около 10 миллиграммов, нескольких крупинок размером с соль, достаточно, чтобы убить человека. По словам Урбины, VX является ингибитором ацетилхолинэстеразы и подобен препаратам-ингибиторам ацетилхолинэстеразы для лечения деменции, которые изучает Collaboration Pharmaceuticals.
Ацетилхолин — это нейротрансмиттер, вызывающий сокращение мышц, а ацетилхолинэстераза — это фермент, удаляющий ацетилхолин после того, как он выполнил свою работу. Без этого фермента ваши мышцы оставались бы сокращенными. Ингибитор ацетилхолинэстеразы блокирует правильную работу фермента. VX, как мощный ингибитор ацетилхолинэстеразы, заставляет мышцы легких оставаться сокращенными, что делает невозможным дыхание.
MegaSyn не сообщали точную химическую структуру VX во время обучения. Мало того, что он произвел несколько молекул, которые функционируют как VX, ему также удалось создать некоторые из них, которые были структурно похожи, но, по прогнозам, были еще более токсичными. «Определенно будет много ложных срабатываний, но наши модели довольно хороши. Даже если некоторые из них более токсичны, это все равно вызывает немалую тревогу», — сказал Урбина.
Следующие этапы разработки лекарств ИИ обычно включают в себя синтез в лабораторных экспериментах лучших кандидатов, созданных программным обеспечением, перед проведением клинических испытаний на людях. В данном случае Collaboration Pharmaceuticals не пошла дальше стадии генерации. Эксперимент двойного назначения был проведен в исследовательских целях, и статья по этому вопросу была опубликована в журнале Nature в этом месяце. Работа также была представлена на швейцарской конференции по химическому и биологическому оружию.
“Мысль [of misuse] никогда раньше не поражали нас», — начинается статья Урбины и Шона Экинса из Collaboration, Филиппы Ленцос из Королевского колледжа Лондона и Седрика Инверницци из Spiez Laboratories.
«Мы смутно знали о проблемах безопасности, связанных с работой с патогенами или токсичными химическими веществами, но это не касалось нас; мы в основном работаем в виртуальной среде. Наша работа основана на создании моделей машинного обучения для терапевтических и токсичных целей, чтобы лучше помочь в разработка новых молекул для разработки лекарств. Мы потратили десятилетия, используя компьютеры и ИИ для улучшения здоровья человека, а не для его ухудшения. Мы были наивны, думая о потенциальном злоупотреблении нашей торговлей, поскольку нашей целью всегда было избегать молекулярных особенностей это может помешать многим различным классам белков, необходимых для жизни человека».
Хороший ИИ, плохой ИИ
Опасности двойного назначения при разработке лекарств ИИ очевидны задним числом, особенно когда есть сходство между желаемыми и нежелательными молекулами: программному обеспечению не так уж и сложно перейти от создания полезного ингибитора к летальной версии, если указать в этом направлении. Это все равно, что просить модель, которая может генерировать молекулы, подобные VX, заняться созданием этих соединений.
Однако важно то, что барьеры для неправильного использования этих моделей для разработки биохимического оружия низки. Хотя MegaSyn является проприетарным, он не слишком отличается от некоторых программ с открытым исходным кодом, и все наборы данных, на которых он обучался, общедоступны. Аппаратное обеспечение также не является проблемой; Очевидно, Урбина проводил эксперимент на ноутбуке Apple Mac 2015 года выпуска.
Создание смертоносных химикатов с помощью вычислений — самая простая часть. Однако на самом деле синтезировать их для реального вреда намного сложнее. «Есть определенные молекулы, необходимые для создания VX, они известны и регулируются», — сказал он.
Если попросить лаборатории произвести или скомбинировать эти ингредиенты, это вызовет подозрения. Теперь рассмотрим алгоритм ИИ, который может генерировать смертельные биохимические вещества, которые ведут себя как VX, но состоят из полностью нерегулируемых соединений.
«Мы этого не делали, но вполне возможно, что кто-то возьмет одну из этих моделей и использует ее в качестве входных данных для генеративной модели, а теперь скажет: «Я хочу что-то токсичное», «Я хочу что-то, что не вредит». использовать текущие прекурсоры в списке наблюдения». И это генерирует что-то, что находится в этом диапазоне. Мы не хотели делать этот дополнительный шаг. Но нет никакой логической причины, по которой вы не могли бы этого сделать», — добавил Урбина.
Если это невозможно достичь, вы вернулись к исходной точке. Как выразился опытный химик-наркоман Дерек Лоу: «Меня не так уж беспокоят новые нервно-паралитические отравляющие вещества… Я не уверен, что кому-то нужно применять новое соединение, чтобы сеять хаос — они могут спасти себя от многих проблемы, просто производя зарин или VX, помоги нам Бог».
Строгих правил синтеза новых химических молекул с помощью машинного обучения не существует. Контролировать использование моделей ИИ в дикой природе сложно, особенно в исследованиях. Урбина сказал, что разработчики должны помнить о том, что они выпускают, и о том, насколько легко получить доступ к конфиденциальным наборам данных.
«Я думаю об этом с помощью API-интерфейсов моделей, где вы можете отключить доступ, если будет похоже, что некоторые злоумышленники пытаются использовать ваши модели токсичности для различных целей. [towards harm reduction]. Я вижу во всех этих лингвистических работах много разделов, посвященных неправильному использованию их моделей, и мне это нравится, потому что это привлекает внимание к этой проблеме», — заключил он.
