タグ: EVO-X2

3月21日投稿の最新ミニPC記載Ryzen AI 9 HX 370のCPU/GPUを強化したRyzen AI Max+ 395搭載のミニPC発売予告をGMKtec社よりメール受信しました。今ならメールアドレス登録とアンケート回答で、$30割引クーポンゲットのチャンスがあります。

Ryzen AI CPU性能

AMD社のAI PC向けCPU製品名がAPU（Accelerated Processing Unit）です。NPUとGPUをSoCで一体化したCPUのことです。弊社はこのAPUを解り易く「AI CPU」と表記します。現在Ryzen AI CPUは、AI 300とAI Maxの2シリーズが発売中です。

3月21日投稿のAI CPUは、AI 300シリーズのRyzen AI 9 HX 370。発売予告は、より高性能なAI MaxシリーズのRyzen AI Max+ 395です。Ryzen AI CPU性能は、シリーズ名が異なっても最後の数字370や395が性能を表すので判り易いです。

Ryzen AI Max+ 395の内蔵NPUは下表のようにRyzen AI 9 HX 370と同じ50TOPSですが、CPUと内蔵GPUを強化しています。このAI CPU搭載ミニPCが、最初の図のGMKtec社EVO-X2です。NPU+GPU+CPUのトータルAI性能は、126TOPS、70B LLMサポートのミニPCとしては世界初です。

Ryzen AI Max+ 395搭載EVO-X2

Ryzen AI MaxとAI 300の2シリーズでNPU性能が同じ理由は、AMD/Intel/Qualcomm 3社のAIアプリ共通実行環境が無いこと、ビジネスAIキラーアプリが無いことだと思います（NPU懸念投稿に詳細記載）。さらに、50TOPSのNPUでエッジAI PCに十分かは、前回投稿AI PC NPU役割で示したように不明です。

これらから、トータル126TOPSを持つEVO-X2は、PCゲームよりエッジAIアプリ開発やAI画像処理向きを狙ったのかもしれません。前述アンケートにも用途欄がありました。

そこで、「70B LLMのAI PCとは、具体的にどのようなPCですか」とGeminiに問い合わせたところ、Afterword添付の回答を得ました。要するに、ノートPCでは困難なローカルエッジAI単独処理も可能なハイエンドPCで、RAMは最低でも64GB必要という回答をGeminiから得ました。

また、70B LLM大規模モデル全体をNPUのみで処理するのは困難でCPUとGPUの役割も必要なことが判る（少し古いと思いますが）良い回答です。AI PC購入検討の方は、参考になると思います。

70B LLM能力は、クラウドAIを使わずAI PC単独のエッジAI処理開発などに必要です。同様に単独でエッジAI処理を行う最新MCUを次に示します。

AI MCU：STM32N6のAI処理

エッジAI処理は、MCUへも普及し始めています。2025年発売STマイクロ社の最新MCU、STM32N6（Cortex-M55コア、0.6TOPS NPU内蔵、4.2MB RAM）は、従来MCUでは困難であったAI処理を、高性能MPUよりも低コスト、低消費電力で実現します。

STM32N6のAI処理例は、カメラ付きSTM32N6570-DK Discovery kitを使ったAIデモ動画（4:50）で判ります。リアルタイムの複数人体認識（0:30頃）や高速画像処理（0:50頃）など、STM32N6内蔵NPU/GPUとCortex-M55 MCU双方の活用により全く新しいMCUアプリが期待できます。

デモ動画をよく見ると、NPU/GPU使用時と未使用時の処理差、MCU負荷差も判りとても興味深いです。

STM32N6は、MCU版のAPU、つまり「AI MCU」と言えます。汎用MCUベースのエッジAI MCUは、今後急増すると筆者は予想します。AI PCによりユーザがAIに慣れてくると、組込み機器もAI処理が当たり前になるからです。

※今後AI処理はユーザにAI有無を意識させないように進化すると筆者は考えています。

Summary：AI CPUとAI MCU

AI CPU：Ryzen AI Max+ 395搭載のトータルAI性能126TOPS、70B LLMサポートのミニPC：GMKtec EVO-X2は、4月15日午前0時 (太平洋夏時間)先行発売開始です。ローカルエッジAI単独処理可能なハイエンドPCで、AIアプリ開発やAI画像処理開発に好適です。

AI MCU：STM32N6のAIデモ動画から、エッジAIアプリ開発やAI画像処理には、AI処理特化のNPUだけでなくGPUやCPU/MCUも必要です。

Afterword：70B LLMサポートAI PCのGemini回答

70B LLM（700億パラメータの大規模言語モデル）をサポートするAI PCは、ローカル環境で高度なAI処理、特に大規模言語モデルの推論や微調整を効率的に実行できるように設計された高性能なパーソナルコンピュータです。具体的には、以下の要素を備えていることが求められます。

主要なハードウェア要件:

• 高性能GPU: 70B LLMの実行には、膨大な計算リソースとメモリ帯域幅が必要です。そのため、以下のようなハイエンドGPUが推奨されます。
  • NVIDIA GeForce RTX 3090、RTX 4090: 24GB以上のVRAM（ビデオメモリ）を搭載し、高い並列処理能力を持つことが望ましいです。より大規模なモデルや高負荷な処理には、NVIDIA A100などのプロフェッショナル向けGPUがさらに適している場合があります。
  • AMD Radeon RX 7900 XTX: 高いVRAM容量と処理能力を持ち、NVIDIA GPUの代替となる可能性がありますが、LLMのエコシステムはNVIDIA CUDAへの最適化が進んでいることが多い点に注意が必要です。
• 高性能CPU: LLMの実行にはGPUが主に使われますが、CPUもデータの前処理、後処理、およびシステム全体の制御において重要な役割を果たします。
  • Intel Core i7/i9 (最新世代): 高いクロック数と多くのコア数を備えたCPUが推奨されます。
  • AMD Ryzen 7/9 (最新世代): 同様に、高性能なRyzenプロセッサも適しています。
• 大容量メモリ（RAM）: LLMのモデル全体または一部をメモリにロードして高速に処理するために、十分なRAMが必要です。
  • 64GB以上: 70B LLMを効率的に扱うためには、最低でも64GB、理想的には128GB以上のRAMが推奨されます。
• 高速ストレージ（SSD）： LLMのモデルファイル（数十GBから数百GBになることがあります）や関連データを高速に読み書きするために、NVMe SSDが必須です。
  • 1TB以上: モデルファイル、データセット、作業用ファイルなどを保存するために、十分な容量のSSDが必要です。2TB以上あるとより安心です。

AI PCとしての特徴:

上記のような高性能なハードウェアに加えて、70B LLMをサポートするAI PCは、以下の特徴を持つことが期待されます。

• AI処理に特化したハードウェア: 近年のAI PCは、CPUやGPUに加えて、NPU（Neural Processing Unit）と呼ばれるAI処理に特化したプロセッサを搭載している場合があります。NPUは、特定のAIタスク（例えば、自然言語処理の一部）をCPUやGPUよりも低消費電力かつ効率的に実行できますが、70B LLMのような大規模モデル全体をNPUだけで処理することは現状では難しいです。ただし、将来的にNPUの性能が向上すれば、より大きな役割を果たす可能性があります。
• 最適化されたソフトウェア: AI PCのハードウェアとソフトウェアが連携し、LLMの実行効率を高めるための最適化が行われている場合があります。これには、ドライバの最適化、特定のAIフレームワークとの互換性向上などが含まれます。
• 高度な冷却システム: 高性能なCPUやGPUは発熱量が大きいため、安定した動作を維持するために、強力な冷却システム（高性能な空冷ファンや液体冷却システム）が搭載されていることが重要です。
• 将来性と拡張性: 今後さらに大規模なモデルが登場する可能性や、追加のハードウェア（GPUなど）を増設する可能性を考慮して、ある程度の拡張性があると望ましいです。

補足:

• 70B LLMをローカルで快適に動作させるためには、上記のハイスペックな構成が必要となり、一般的なノートPCでは難しい場合があります。多くの場合、ハイエンドなデスクトップPCが推奨されます。
• LLMの実行には、モデルの量子化（パラメータの精度を低くしてメモリ使用量や計算量を削減する技術）や、複数のGPUを連携させる技術（Multi-GPU）が用いられることもあります。
• AI PCの定義は進化しており、Microsoftなどが提唱するCopilot+ PCのような新しい基準も登場しています。これらの基準には、一定のAI処理性能を持つNPUの搭載などが含まれていますが、現時点では70B LLMの実行に特化した要件とは限りません。

まとめると、70B LLMをサポートするAI PCは、非常に高性能なGPU（24GB以上のVRAM）、高性能CPU、大容量メモリ（64GB以上）、高速SSD（1TB以上）、そして高度な冷却システムを備えた、主にハイエンドなデスクトップPCを指します。将来的には、より強力なNPUを搭載したPCが登場することで、より効率的なLLMのローカル実行が可能になるかもしれません。