Skip to content
The Chat Archive
sonar-reasoning LMArena Search Arena 24K

Способ запустить llm на мобильных устройствах (смартфоны и старые ноутбуки) и их…

  1. User

    Способ запустить llm на мобильных устройствах (смартфоны и старые ноутбуки) и их возможности

  2. Assistant

    Способы запуска LLM на мобильных устройствах и старых ноутбуках

    Мобильные устройства (смартфоны)

    1. Приложения для Android

      • MNN LLM:
        • Скачайте APK из Telegram-канала @EasyAPK[4].
        • Поддерживает модели вроде DeepSeek 7B, Qwen-Chat и Llama 3.
        • Требует процессора Snapdragon 600+ и Wi-Fi для загрузки моделей (1–5 ГБ)[4].
      • LLM Farm/PocketPal AI:
        • Доступны в App Store.
        • Поддерживают модели LLaMa-3.2, TinyLLaMa и Gemma-2B с оптимизацией для iOS[15].
        • Активируйте Metal и MLock для аппаратного ускорения[15].
    2. iOS

      • TestFlight:
        • Требуется регистрация для тестирования.
        • Для самостоятельной установки используйте код из GitHub[1].
      • Оптимизации:
        • Модели адаптированы для снижения энергопотребления и размера[3][15].

    Старые ноутбуки и ПК

    1. Windows 98 и аналоги

      • Llama на Windows 98:
        • Используйте интерфейс Llama98.c (на базе Llama2.c от Андрея Карпатого)[2].
        • Скорость: ~35,9 токенов/сек для модели 260K параметров[2].
      • Требования:
        • Процессор Intel Pentium II (350 МГц), 128 МБ ОЗУ[2].
    2. Общие методы для старых устройств

      • llama.cpp:
        • Поддержка CPU и GPU (CUDA/ROCm).
        • Модели: SmolLM2-360M (1 ГБ ОЗУ), Mixtral-8x7B (MoE, 32 ГБ ОЗУ)[5][11].
      • LM Studio:
        • Графический интерфейс для загрузки моделей (Windows, macOS, Linux)[8][13].

    Возможности и ограничения

    Возможности

    УстройствоПримеры задачПримеры моделей
    СмартфоныГенерация текста, кода, переводDeepSeek 7B, Qwen-Chat[4]
    Старые ПКБазовый текстовый чат, простые вычисленияLlama 260K, SmolLM2-360M[2][5]
    • Автономность: Работа без интернета[3][10].
    • Конфиденциальность: Данные не покидают устройство[3][14].
    • Производительность:
      • iPhone 15 Pro: до 40 токенов/сек (A17 Pro, Neural Engine)[15].
      • Windows 98: ~35,9 токенов/сек (Llama 260K)[2].

    Ограничения

    1. Скорость:
      • На CPU: медленнее, чем на GPU[5][11].
      • На слабых смартфонах: задержки при запуске моделей[4].
    2. Размер контекста:
      • Для 2048 токенов: 2–3 ГБ ОЗУ[15].
      • Для 4096 токенов: 4–5 ГБ ОЗУ[15].
    3. Сложность задач:
      • Математические/логические задачи: ограничены на мобильных устройствах[1].
      • Обработка изображений: требует моделей вроде Qwen-VL[4].

    Рекомендации

    • Для старых устройств: Используйте квантизированные модели (2-битные) и CPU-инференс[14].
    • Для смартфонов: Выбирайте модели с оптимизацией под мобильные процессоры (LLaMa-3.2, TinyLLaMa)[15].
    • Инструменты: LM Studio, Ollama, MNN LLM для упрощения запуска[4][8][13].

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.