Наши смартфоны по сути являются просто карманными компьютерами, и с этим приходят возможности, которые соответствуют компьютерам во многих отношениях. От использования наших смартфонов для производительности до использования их для игр, есть много того, что вы можете сделать, чтобы раскрыть весь потенциал вашего телефона. Одна из таких вещей, которую вы можете сделать, — запустить LLM полностью на вашем смартфоне, без подключения к интернету. Единственный недостаток в том, что вам понадобится один из лучших телефонов, чтобы запустить одну из этих моделей.
Если вы хотите запустить любую модель ИИ на смартфоне, первое, что вам нужно знать, это то, что для запуска практически любой модели вам понадобится много ОЗУ. Эта философия объясняет, почему вам нужно много VRAM при работе с такими приложениями, как Stable Diffusion, и она применима также к текстовым моделям. В основном, эти модели обычно загружаются в ОЗУ на время рабочей нагрузки, и это много быстрее, чем выполнение из хранилища.
RAM быстрее по нескольким причинам, но две самые важные из них — это более низкая задержка, поскольку она ближе к ЦП, и более высокая пропускная способность. Необходимо загружать большие языковые модели (LLM) в RAM из-за этих свойств, но следующий вопрос, который обычно возникает, — это именно сколько? Эти модели используют оперативную память. Vicuna-7B — одна из самых популярных моделей, которую может запустить любой, и это LLM, обученный на наборе данных из 7 миллиардов параметров, который можно развернуть на смартфоне Android через MLC LLM, универсальное приложение, помогающее в развертывании LLM. Для взаимодействия с ним на смартфоне Android требуется около 6 ГБ оперативной памяти, что в наши дни не является высокой планкой.
Если вы заинтересованы в запуске LLM на своем смартфоне, читайте дальше, потому что вы можете быть удивлены, насколько это просто.
Связанный
Легко запускайте локальные LLM на Mac и Windows благодаря LM Studio
Если вы хотите запустить LLM на вашем ПК или ноутбуке, это никогда не было так просто сделать благодаря бесплатной и мощной LM Studio. Вот как ее использовать
Как использовать MLC для запуска LLM на вашем смартфоне
Это очень простое приложение.
Чтобы загрузить и запустить LLM на вашем смартфоне, вы можете загрузить MLC LLM, программу, которая развернет и загрузит модели для вас. Затем эти модели могут быть запущены внутри приложения, и приложение будет управлять загрузкой этих моделей в оперативную память и выполнять их для вас. В некотором смысле, это немного похоже на LM Studio, хотя только для вашего смартфона.
Из коробки MLC LLM поддерживает установку Vicuna 7B и RedPajama 3B, но вы можете указать URL-адрес для загрузки модели вручную, если хотите, чтобы он попробовал еще одну. Существует множество различных моделей, которые вы можете найти на Hugging Face, которые могут быть достойными вашего внимания и будут различаться по размеру, но лучше всего убедиться, что вы не выходите за рамки модели с параметрами 7B. В противном случае они могут оказаться слишком большими для вашего телефона, так как им может потребоваться много оперативной памяти.
Чтобы настроить LLM на своем смартфоне, выполните следующие действия:
- Загрузите и установите MLC LLM
- Загрузите одну из моделей, которые он вам покажет, или добавьте ее вручную из Hugging Face
- Откройте его и дождитесь загрузки.
Вот и все! Это делает процесс невероятно простым для установки и запуска LLM на вашем смартфоне. Если вы хотите попробовать, то это, безусловно, лучший способ. У MLC также есть приложение на iOS, и приложение доступно в App Store. На Hugging Face есть сотни моделей, так что проверьте их и посмотрите, что вы можете найти!
Связанный
Лучшие приложения ИИ: инструменты, которые можно запустить на Windows, macOS или Linux
Если вы хотите поиграться с инструментами ИИ на своем компьютере, то вы можете использовать некоторые из этих инструментов ИИ именно для этого.
