Ключевые выводы
- TOPS имеют решающее значение для ПК с искусственным интеллектом, но SBC с 4 TOPS по-прежнему впечатляют.
- Конфиденциальность — главное преимущество запуска процессов ИИ на локальном оборудовании.
- Сообщество SBC с открытым исходным кодом предлагает увлекательные проекты искусственного интеллекта, сделанные своими руками, с полными руководствами.
По мере того, как мы вступаем в эпоху искусственного интеллекта, мы увидим компьютеры с измерением производительности под названием «TOPS». Это означает «триллион операций в секунду» и является показателем того, насколько хорошо компьютер может справляться с задачами, основанными на искусственном интеллекте. Вероятно, в будущем вы будете чаще видеть это явление, поскольку мы отходим от отправки запросов к модели ИИ, работающей на внешнем сервере, и все больше переходим к запуску этих моделей на нашем собственном оборудовании.
Вы увидите всплывающий термин «TOPS» при обсуждении ПК с искусственным интеллектом, то есть компьютеров, в которых установлен NPU, который может обрабатывать процессы на основе искусственного интеллекта. Но пока мы были заняты изучением войны TOPS между основными производителями чипов NPU, BeagleBoard выпустила одноплатный компьютер (SBC), который мог выдавать 4 TOPS. Хотя 4 TOPS — не такая уж большая цифра (например, Intel Meteor Lake может выдавать 34 TOPS), это по-прежнему захватывающее предприятие, поскольку SPC с процессором искусственного интеллекта очень важны для сообщества любителей.
Перенос процессов ИИ на локальное оборудование помогает обеспечить конфиденциальность
Больше не нужно передавать данные на внешний сервер
Источник: Unsplash
Так почему же мы пытаемся перенести процессы ИИ на локальное оборудование? Есть несколько преимуществ, но одно из самых больших заключается в том, что запуск ИИ на вашем собственном оборудовании намного лучше с точки зрения вашей конфиденциальности, чем отправка его на сервер. Пользователи, заботящиеся о конфиденциальности, могут содрогнуться при мысли об отправке всех своих данных на внешний сервер для обработки, и это удваивается, если их ответы будут использоваться для обучения и улучшения модели ИИ, чтобы лучше реагировать на других. Разговор с ИИ всегда кажется непрозрачным; куда отправляются данные, которые вы отправляете, и для чего они используются?
Самый простой способ решить эту проблему — приобрести аппаратное обеспечение, выполняющее всю обработку. Теперь вы точно знаете, для чего он используется; в конце концов, вы настраиваете оборудование. И вам не нужно делиться услугой с кем-либо еще, а это значит, что не будет никаких замедлений или перебоев в работе.
Является ли ChatGPT плагиатом?
Если вам интересно, является ли ChatGPT плагиатом, ответ немного более тонкий, чем простое «да» или «нет».
Вы можете создать оболочку ИИ, которая работает независимо от вашего ПК.
Нет необходимости постоянно держать компьютер включенным
Итак, запуск LLM на SBC помогает обеспечить конфиденциальность. Однако то же самое можно сказать и о запуске LLM на любом локальном оборудовании. Независимо от того, находится ли он на Raspberry Pi или на вашем основном компьютере, он по-прежнему уважает вашу конфиденциальность и дает вам контроль над тем, как используются данные.
Однако ключ к LLM в SBC заключается в том, что вы можете сделать SBC «домом» своего LLM в своей сети. Если вы запустите чат-бота на своем компьютере, он будет обрабатывать ваши запросы только до тех пор, пока ваш компьютер включен. Для кого-то это может быть и хорошо, но для тех, кто выключает компьютер на ночь, это не идеальный вариант.
При использовании SBC вам не нужно его отключать. Для работы SBC не требуется много энергии, поэтому вы можете без проблем работать на своем столе круглосуточно и без выходных. Подключите его к своей сети, и вы сможете отправлять ему запросы независимо от того, на каком устройстве вы находитесь. Вы даже можете заставить его отвечать на запросы извне сети, чтобы вы могли задавать ему вопросы, находясь в пути.
Как сделать Minecraft сервер на Raspberry Pi
Огромный Minecraft миры внутри крошечного Raspberry Pi
Следуйте инструкциям, чтобы создать свой собственный ИИ.
Самое приятное в ИИ на SBC — это то, насколько сообщество открыто. Скорее всего, если вы увидите классный проект Raspberry Pi, дизайнер не только написал полное руководство о том, как его сделать, но и предоставит вам весь код, если вы вежливо попросите (и если они еще не загрузили его куда-нибудь). для использования всеми). Таким образом, это позволяет людям разработать ИИ, создать проект, а затем предложить как строительные материалы, так и модель ИИ другим людям, чтобы они могли их загрузить и опробовать.
Таким образом, если искусственный интеллект на SBC станет популярным, вы, по сути, сможете пойти в магазин за LLM, который сделает ту работу, которую вы от него хотите. Как только вы его найдете, вы можете добавить его на свой SBC и настроить его так, как вам нравится. В каком-то смысле это было бы похоже на «доморощенный ИИ», созданный для достижения конкретных целей, которые люди могут использовать для себя.
Как транслировать игры на телевизор с помощью Raspberry Pi и Steam Связь
Использование Raspberry Pi — отличная альтернатива, если ваш телевизор не поддерживает Steam Ссылка родная.
ИИ на SBC: это не будет мощно, но будет весело
Вероятность того, что SBC станут предпочтительным оборудованием для искусственного интеллекта, невелика. Сейчас главное — это чистая вычислительная мощность, и компьютеры справляются с этой задачей лучше всего. Но для любителя, который хочет повозиться со своим собственным ИИ и создать небольшой забавный проект, его включение в SBC будет огромным событием.
