sonar-reasoning LMArena Search Arena 24K
Способ запустить llm на мобильных устройствах (смартфоны и старые ноутбуки) и их…
- User
Способ запустить llm на мобильных устройствах (смартфоны и старые ноутбуки) и их возможности
- Assistant
Способы запуска LLM на мобильных устройствах и старых ноутбуках
Мобильные устройства (смартфоны)
-
Приложения для Android
- MNN LLM:
- Скачайте APK из Telegram-канала @EasyAPK[4].
- Поддерживает модели вроде DeepSeek 7B, Qwen-Chat и Llama 3.
- Требует процессора Snapdragon 600+ и Wi-Fi для загрузки моделей (1–5 ГБ)[4].
- LLM Farm/PocketPal AI:
- Доступны в App Store.
- Поддерживают модели LLaMa-3.2, TinyLLaMa и Gemma-2B с оптимизацией для iOS[15].
- Активируйте Metal и MLock для аппаратного ускорения[15].
- MNN LLM:
-
iOS
- TestFlight:
- Требуется регистрация для тестирования.
- Для самостоятельной установки используйте код из GitHub[1].
- Оптимизации:
- Модели адаптированы для снижения энергопотребления и размера[3][15].
- TestFlight:
Старые ноутбуки и ПК
-
Windows 98 и аналоги
- Llama на Windows 98:
- Используйте интерфейс Llama98.c (на базе Llama2.c от Андрея Карпатого)[2].
- Скорость: ~35,9 токенов/сек для модели 260K параметров[2].
- Требования:
- Процессор Intel Pentium II (350 МГц), 128 МБ ОЗУ[2].
- Llama на Windows 98:
-
Общие методы для старых устройств
- llama.cpp:
- Поддержка CPU и GPU (CUDA/ROCm).
- Модели: SmolLM2-360M (1 ГБ ОЗУ), Mixtral-8x7B (MoE, 32 ГБ ОЗУ)[5][11].
- LM Studio:
- Графический интерфейс для загрузки моделей (Windows, macOS, Linux)[8][13].
- llama.cpp:
Возможности и ограничения
Возможности
Устройство Примеры задач Примеры моделей Смартфоны Генерация текста, кода, перевод DeepSeek 7B, Qwen-Chat[4] Старые ПК Базовый текстовый чат, простые вычисления Llama 260K, SmolLM2-360M[2][5] - Автономность: Работа без интернета[3][10].
- Конфиденциальность: Данные не покидают устройство[3][14].
- Производительность:
- iPhone 15 Pro: до 40 токенов/сек (A17 Pro, Neural Engine)[15].
- Windows 98: ~35,9 токенов/сек (Llama 260K)[2].
Ограничения
- Скорость:
- На CPU: медленнее, чем на GPU[5][11].
- На слабых смартфонах: задержки при запуске моделей[4].
- Размер контекста:
- Для 2048 токенов: 2–3 ГБ ОЗУ[15].
- Для 4096 токенов: 4–5 ГБ ОЗУ[15].
- Сложность задач:
- Математические/логические задачи: ограничены на мобильных устройствах[1].
- Обработка изображений: требует моделей вроде Qwen-VL[4].
Рекомендации
- Для старых устройств: Используйте квантизированные модели (2-битные) и CPU-инференс[14].
- Для смартфонов: Выбирайте модели с оптимизацией под мобильные процессоры (LLaMa-3.2, TinyLLaMa)[15].
- Инструменты: LM Studio, Ollama, MNN LLM для упрощения запуска[4][8][13].
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.