Коротко об искусственном интеллекте OpenAI выпускает обновления для GPT-4, которые, среди прочего, позволят модели ИИ отвечать на запросы пользователя о отправленном изображении – и суперлаборатория, по крайней мере, задокументировала некоторые риски безопасности, связанные с этой способностью.
Цель этой новой функции проста: пользователь может загрузить файл изображения и через ChatGPT задать обновленному GPT-4 вопросы об этом изображении, на которые он попытается ответить. В статье OpenAI, описывающей это обновление GPT-4V (где V означает видение), говорится, что компания работает над добавлением мер безопасности, чтобы ограничить потенциал нейронной сети раскрывать конфиденциальные данные или генерировать недопустимые выходные данные при обработке отправленных изображений.
OpenAI, например, пыталась заблокировать способность модели распознавать лица или точное местоположение на загруженных изображениях, а также воздерживаться от комментариев по поводу внешности людей на отправленных снимках, как нам сообщили. Дополнительные меры защиты включают в себя запрет LLM автоматически решать CAPTCHA или описывать незаконное поведение, а также пытаться уменьшить его склонность генерировать ложную информацию.
«В некоторых случаях он также может не идентифицировать информацию на изображениях. Он может пропускать текст или символы, игнорировать математические символы и быть неспособным распознавать пространственные местоположения и цветовые сопоставления», — предупреждает компания в своем документе. [PDF] описание ГПТ-4В.
Ограничения модели означают, что LLM не очень подходит для выполнения некоторых задач, особенно рискованных, таких как выявление запрещенных наркотиков или безопасных для употребления в пищу грибов. OpenAI также предупредила, что GPT-4V, как обычно для модели GPT-4, обладает способностью генерировать текст и изображения, которые можно использовать для распространения эффективной дезинформации в больших масштабах.
«Предыдущие исследования показали, что люди с большей вероятностью поверят правдивым и ложным утверждениям, когда они представлены рядом с изображением, и имеют ложные воспоминания о вымышленных заголовках, когда они сопровождаются фотографией. Также известно, что взаимодействие с контентом увеличивается. когда оно связано с изображением», — говорится в сообщении.
На практике пользователи Plus могут использовать GPT-4V и его возможности обработки изображений через OpenAI ChatGPT. Тем временем OpenAI внедряет поддержку голосового ввода в iOS и Android для пользователей ChatGPT Plus. «Теперь вы можете использовать голос, чтобы вести двусторонний разговор со своим помощником», — сказали в компании.
Ранее мы писали о загадочном французском AI-стартапе Mistral, а теперь компания опубликовала информацию: по магнитной ссылке – большая языковая модель с 7,3 миллиардами параметров, которая, по ее утверждению, превосходит некоторых конкурентов. Также говорят, что он не модерируется и не подвергается цензуре, поэтому его можно использовать для получения сомнительных результатов, а также для обычных вещей, которые эти LLM могут делать из подсказок. Используйте… как хотите, мы полагаем.
«Модель Mistral 7B Instruct — это быстрая демонстрация того, что базовую модель можно легко настроить для достижения привлекательных характеристик», — заявили в компании. «У него нет какого-либо механизма модерации. Мы с нетерпением ждем возможности взаимодействия с сообществом над тем, как заставить модель точно соблюдать ограничения, позволяя развертывать ее в средах, требующих модерируемых результатов».
Мета масштабирует контекстное окно для моделей Llama 2.
Meta увеличила длину текста, который пользователи могут вводить в свои модели Llama 2, до 32 768 токенов или фрагментов слов, назвав получившиеся системы Llama 2 Long.
Увеличение длины ввода означает, что модели могут обрабатывать больше данных для выполнения более сложных задач, таких как обобщение больших отчетов или поиск информации в более длинных контекстах.
Имейте в виду: модель Claude от Anthropic может обрабатывать до 100 000 токенов, объем текста, эквивалентный 75 000 слов, или сотни страниц прозы. В газете [PDF] Выпущенная на прошлой неделе компания Meta заявила, что ее лучшая языковая модель Llama 2 Long с 70 миллиардами параметров превосходит турбо-модель OpenAI GPT-3.5 с контекстным окном в 16 000 токенов.
Некоторые аплодировали Meta за выпуск моделей Llama 2, с которыми могли повозиться разработчики и ученые. Но не все счастливы. В пятницу протестующие стояли возле офиса мегакорпорации в Сан-Франциско, чтобы привлечь внимание к опасностям и рискам сброса гирь моделей, что позволяет злоумышленникам использовать модели без каких-либо дополнительных мер безопасности.
«Политика Meta по выпуску передовых моделей ИИ принципиально небезопасна… Прежде чем она выпустит еще более продвинутые модели, которые могут иметь более опасные возможности в руках злоумышленников, мы призываем Meta серьезно отнестись к ответственному выпуску и остановить необратимое распространение». Об этом говорится в заявлении протестной группы. Сам протест был организован на Facebook Меты и очень легко присутствовал.
Руководитель Amazon подтверждает, что Alexa может использовать ваш голос для обучения искусственному интеллекту
Уходящий исполнительный директор Amazon Дэйв Лимп на днях заявил Bloomberg TV, что, по его мнению, цифровой помощник веб-гиганта Alexa будет все больше превращаться в платную услугу. Важно отметить, что он также сказал, что Alexa может использовать разговоры некоторых людей с системой искусственного интеллекта для обучения большой языковой модели Amazon Alexa LLM.
«Клиенты по-прежнему могут получить доступ к тому же надежному набору инструментов и средств контроля конфиденциальности, которые позволяют им контролировать работу с Alexa сегодня», — заявил NBC News представитель Amazon. «Например, клиенты всегда будут знать, когда Alexa слушает их запрос, потому что загорится синий световой индикатор и прозвучит дополнительный звуковой сигнал».
Возможно, пришло время проверить и изменить настройки.
Лаборатория запускает исследовательскую инициативу по изучению безопасности в искусственном интеллекте
Национальная лаборатория Окриджа Министерства энергетики США объявила о запуске Центра исследований безопасности искусственного интеллекта (CAISER) для расследования состязательных атак на системы машинного обучения.
Исследователи будут сотрудничать с сотрудниками других агентств, таких как Информационное управление Исследовательской лаборатории ВВС и Управление науки и технологий Министерства внутренней безопасности, для оценки и изучения уязвимостей безопасности в ИИ.
CAISER в основном занимается состязательными атаками и способами использования моделей. Злоумышленники могут отравить системы, предоставляя ненужные данные, которые могут заставить алгоритмы делать неправильные прогнозы. Например, атаки с быстрым внедрением могут привести к тому, что большая языковая модель будет генерировать неуместный и оскорбительный текст.
Понимая последствия и анализируя риски, CAISER надеется, что сможет лучше информировать федеральные агентства о существующем программном обеспечении и возможностях, когда они рассматривают возможность внедрения ИИ.
«Мы находимся на перепутье. Инструменты искусственного интеллекта и технологии на основе искусственного интеллекта по своей сути уязвимы и могут быть использованы, что может привести к непредвиденным последствиям», — заявил в своем заявлении Эдмон Беголи, руководитель отдела передовых интеллектуальных систем ORNL и директор-основатель CAISER.
«Мы определяем новую область исследований в области безопасности ИИ и обязуемся проводить интенсивные исследования и разработку стратегий и решений по снижению возникающих рисков ИИ».
AWS запускает платформу AI Bedrock
Облачное подразделение Amazon AWS ранее объявило, что его платформа Bedrock, на которой через API размещаются базовые модели, позволяющие предприятиям обучаться и работать на аппаратных ресурсах облачного гиганта, теперь общедоступна.
Теперь разработчики могут получить доступ к ряду моделей, начиная от Llama 2 от Meta и заканчивая Titan Embeddings от Amazon, которая преобразует текст в векторные отображения для обработки алгоритмами искусственного интеллекта; Amazon Titan Express и Amazon Titan Lite с функцией генерации текста; и Amazon CodeWhisperer. На AWS также размещаются модели, созданные другими компаниями, такими как AI21 Labs, Anthropic, Cohere и Stability AI.
«Благодаря мощным новым инновациям AWS обеспечивает клиентам большую безопасность, выбор и производительность, а также помогает им четко согласовывать свою стратегию обработки данных в рамках всей организации, чтобы они могли максимально эффективно использовать преобразовательный потенциал генеративного ИИ», — заявили в компании. Свами Сивасубраманиан, вице-президент по данным и искусственному интеллекту в AWS.
В AWS заявили, что генеративные услуги искусственного интеллекта Bedrock используют предприятия из различных отраслей, в том числе бренд спортивной одежды Adidas, производитель автомобилей BMW Group, LexisNexis Legal & Professional и американская некоммерческая организация турниров по гольфу PGA Tour. ®
