AMDとUnslothは2026年11月19日、Unsloth DesktopでAMD XDNA 2 NPUによる推論に対応したと発表した。Unsloth Desktopに対応するNPUは、XDNA 2が初めて。対応するRyzen AI搭載PCで、エージェント型AIアプリの推論をNPUに任せられるようになる。

仕組みと対応アプリ

対応アプリはUnsloth DesktopのAPI(OpenAI互換のエンドポイント)経由でモデルにアクセスし、LemonadeとFastFlowLMがNPU上でのモデルの提供と推論を担う。対応するのはHermes Agent、OpenClaw、Open WebUI、Cline、LangChain、GitHub Copilotなど100超のエージェントアプリとワークフロー。アプリ側の処理は引き続きCPUとGPUが担う。

35Bモデルの実演とメモリ条件

AMDは、350億パラメータの混合エキスパート(MoE)モデル「Qwen3.6-35B-A3B」をNPUでローカル推論する様子を実演した。フルコンテキストで動かすには、NPUが利用できるメモリが約28GB必要になる。Windowsの既定ではシステムメモリの50%がNPUへの共有割り当てになるため、64GBのシステムRAMが必要だとしている。

狙いは低電力の常駐エージェント

NPUへのオフロードにより、推論の消費電力を抑えてバッテリー駆動時間を延ばし、CPUとGPUを他の処理に空けられる。常時動くエージェントを低電力で維持する用途を想定している。利用するには、XDNA 2 NPU搭載PCにWindows版Unsloth Desktopをインストールし、モデルハブでNPUを選択して有効化したうえで、NPU用のモデルをダウンロードする。

出典・関連資料

コメント

記事の内容について意見・情報をお寄せください。

URLは投稿できません。内容によっては、表示までにお時間をいただく場合があります。