Skip to content
The Chat Archive
sonar-pro-high LMArena Search Arena 24K

amdのgpuでollamaを動かす方法はある?

  1. User

    amdのgpuでollamaを動かす方法はある?

  2. Assistant

    AMDのGPUでOllamaを動かす方法

    AMDのGPUを使ってOllamaで大規模言語モデル(LLM)を高速に動作させることは、2024年以降、公式にサポートされています。以下に、主要なOSごとの手順と注意点をまとめます。


    対応GPU一覧

    • Radeon RXシリーズ:7900 XTX/XT/GRE、7800 XT、7700 XT、7600 XT/7600、6950 XT、6900 XTX/XT、6800 XT/6800、Vega 64/56 など
    • Radeon PROシリーズ:W7900/W7800/W7700/W7600/W7500 など
    • AMD Instinctシリーズ:MI300X/MI300A/MI250X など

    APU内蔵GPU(iGPU)は原則非対応ですが、一部非公式パッチで動作する場合もあります[4][5][6]。


    Linuxでの手順

    1. ROCmドライバのインストール

      • AMD公式のROCm(Radeon Open Compute)をインストールします。
      • 例:Ubuntu 22.04/24.04の場合
        sudo apt update
        sudo apt install rocm
        
      • インストール後、rocminfoやclinfoでGPUが認識されているか確認します[2][8]。
    2. Ollamaのインストール

      • 公式サイトからLinux版Ollamaをダウンロードし、インストールします。
        curl -fsSL https://ollama.com/install.sh | sh
        
    3. 環境変数の設定(必要に応じて)

      • 一部のGPU(例:RX 6400/6500XTなど)は公式サポート外ですが、環境変数で強制的に認識させることが可能です。
        export HSA_OVERRIDE_GFX_VERSION=10.3.0
        
      • .bashrcや.zshrcに追記しておくと便利です[5][8]。
    4. Ollamaの起動

      • 通常起動
        ollama serve
        
      • 強制認識が必要な場合
        HSA_OVERRIDE_GFX_VERSION=10.3.0 ollama serve
        
    5. Dockerでの利用

      • ROCm対応イメージを使う場合
        docker run -d --restart always --device /dev/kfd --device /dev/dri \
          -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
        
      • 必要に応じてHSA_OVERRIDE_GFX_VERSIONなどの環境変数を追加[2][3]。

    Windowsでの手順

    1. 最新のAMDドライバをインストール

      • Adrenalin 24.12.1以降の最新版を推奨。不具合のあるバージョン(24.9.1/24.10.1)は避けてください[4]。
    2. Ollamaのインストール

      • 公式サイトからWindows版Ollamaをダウンロードし、インストールします。
    3. HIP SDKの確認

      • AMD公式のHIP SDKでサポートされているGPUのみ動作します。APU内蔵GPUは原則非対応です[4]。
    4. Ollamaの起動

      • 通常通り起動すれば、対応GPUであれば自動的にGPUが利用されます。

    注意点・補足

    • 対応GPUの確認:Ollama公式サイトや[6]のリストで自分のGPUがサポートされているか確認してください。
    • APU/iGPUの扱い:APU内蔵GPUは公式サポート外ですが、一部非公式パッチで動作する例もあります(自己責任)[4][5]。
    • パフォーマンス:GPUの性能やVRAM容量によっては、CPUより遅くなる場合もあります。特にVRAMが少ない場合はモデルサイズに注意[2][3][4]。
    • 複数GPUの利用:Linuxでは複数枚のRadeonカードも利用可能です[5]。

    まとめ

    • AMDの対応GPUなら、Linux/WindowsともにOllamaでGPU推論が可能。
    • LinuxはROCmドライバ、Windowsは最新Adrenalinドライバを利用。
    • 一部非対応GPUも環境変数で動作する場合あり。
    • Docker環境でもROCmイメージを使えばAMD GPUが利用可能。

    参考コマンド例(Linux, RX 6000シリーズ)

    # ROCmインストール後
    export HSA_OVERRIDE_GFX_VERSION=10.3.0
    ollama serve
    

    または

    docker run -d --restart always --device /dev/kfd --device /dev/dri \
      -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm
    

    [2][3][5][6][8]

  3. User

    AMD Alveo U250 FPGA これだと動きますか?

  4. Assistant

    AMD Alveo U250 FPGAでOllamaは動くか?

    結論:現時点(2025年4月)で、AMD Alveo U250 FPGAカード上でOllamaを直接動かすことはできません。


    理由と詳細

    • Ollamaの対応ハードウェア

      • Ollamaが公式にサポートしているGPUは、AMD RadeonシリーズやInstinctシリーズなどの「GPU(グラフィックスプロセッサ)」です。これらはROCmやHIPなどのGPU向け計算フレームワークを利用しています。
      • Alveo U250は「FPGA(Field Programmable Gate Array)」であり、GPUとはアーキテクチャもソフトウェアスタックも大きく異なります[3][5][6][9][16]。
    • Alveo U250の用途と開発環境

      • Alveo U250は、機械学習推論やデータ分析、ビデオ処理など幅広いデータセンター用途に使える高性能FPGAカードです[3][4][5][6][16]。
      • 開発にはAMD(旧Xilinx)の「Vitis」や「Vivado」などFPGA専用の開発環境が必要で、OpenCLやC/C++、RTL(Verilog/VHDL)でアクセラレータを自作する形になります[5][15]。
      • 一部のクラウド(Azureなど)ではAlveo U250をFPGA-as-a-Serviceとして利用できますが、これも専用のFPGA開発フローが前提です[11][15]。
    • Ollamaの仕組みとの非互換性

      • OllamaはGPU向けの汎用的なディープラーニング推論エンジン(CUDA、ROCm、HIPなど)を利用しており、FPGA向けのVitisやVivadoには対応していません。
      • Alveo U250でOllamaを動かすには、Ollamaのコア部分をFPGA向けに大幅に書き換え、独自のアクセラレータカーネルを開発する必要がありますが、現実的ではありません[5][15]。

    まとめ

    • Alveo U250はOllamaの公式サポート対象外です。
    • GPU(Radeon/Instinctなど)でのみOllamaのGPU推論が可能です。
    • Alveo U250でLLM推論を行いたい場合は、Vitis AIなどFPGA専用のAI推論フレームワークを利用し、独自にモデルを変換・実装する必要があります[5][15]。

    補足

    • Alveo U250は2024年に製造終了予定ですが、後継のAlveo V80なども同様にFPGAであり、Ollamaの直接サポート対象にはなりません[1][3][13]。

    要約:Alveo U250 FPGAカードではOllamaは動作しません。Ollamaを使いたい場合は、AMD Radeon/InstinctなどのGPUを利用してください。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.