サイトアイコン IoT MCUのHappyTech

ミニAI PC 4種比較

WithHappy

AI PCにLLMをインストールし、パーソナルAIアシスタント構築が弊社次期AI PC構想です。最新ミニPC 4種をこの構想の観点から簡単に比較しました。

AMDの2つのAI CPU

AI PC向けCPUは、AMD社からRyzen AI MaxとRyzen AI 300の2シリーズが発売中です。本稿は２シリーズから下表のRyzen AI Max+ 395採用のGMKtec社EVO-X2とBeelink社GTR9 Pro、Ryzen AI 9 HX 370採用のEVO-X1とSER9 Proの４種を比較します。

AMD AI CPU  Cores /
Threads 		 Boost2 / Base
Frequency 		 Cache  Graphics Model  TDP  NPU
TOPS 
Ryzen AI Max+ 395  16C/32T Up to 5.1 / 3.0 GHz 80MB Radeon 8060S 45-120W 50 
Ryzen AI 9 HX 370  12C/24T Up to 5.1 / 2.0 GHz 24MB Radeon 890M 15-54W 50 

比較ミニPC 4種

比較ミニPC 4種 GMKtec社 5/15参考価格  Beelink社 5/15参考価格
Ryzen AI Max+ 395 
（70B LLM対応）		 EVO-X2 $1499/64GB
$1999/128GB		 GTR9 Pro   不明
Ryzen AI 9 HX 370 EVO-X1  $900/32GB
$1030/64GB		 SER9 Pro $949/32GB
$1119/64GB

ミニPCは、価格変動が激しいので投稿時価格を参考掲載しました。

2月の弊社AI PC投稿では、NPU増設インタフェース：OCuLinkを持つGMKtec社EVO-X1が、弊社AI PCに適すとしました。その後発売された、EVO-X2は、搭載メモリ最低量を64GBに増量、世界初の70B LLM対応機種ですが、OCuLinkはありません（EVO-X2や70B LLMは、投稿AI CPUとAI MCU参照）。

Beelink社のGTR9 Proは、X（旧Twitter）発表機種で70B LLM対応、未発売、詳細不明です。SER9 Proは、OCuLink無しで静音動作が特徴です。

LLMと生成AI

新しいものを生み出す能力を持つAI全体の名称が、生成AIです。人間同様、現在の生成AIには得意分野があります（関連投稿：生成AI活用スキル）。

LLM（大規模言語モデル）は、言葉、文章や会話を生成するのが得意なAIです。また、DALL-E3は、画像や絵の生成を得意とする画像生成AIです。近い将来、これら得意分野の各AIが統合し、汎用AI（AGI：Artificial General Intelligence）へステップアップすると筆者は思います（関連投稿：生成AI未来予測）。

人間とAI間のインタフェース役が、LLMです。クラウドAIから出力を引き出すChatGPTなどの対話AIアシスタントは、LLMがクラウドAIのフロントエンドで動作しています。

Visual Studio Code利用ローカルLLM構築

ローカルLLMは、クラウドのLLMをエッジ（端末）のローカルPCで動作させます。オフライン動作のため、AIアシスタントやビジネスデータのAI分析・解析などを端末PC上で行っても、クラウドへの情報漏洩が無いメリットがあります。

ローカルLLMのAI PC（CPU：Qualcomm社Snapdragon X、メモリ：16GB）構築方法は、LM Studio利用とVisual Studio Code (VSC)利用の2方法があります。VSC利用方法を簡単にまとめたのが下記です。

  1. VSCインストール
  2. 拡張機能AI Toolkit for VSCインストール
  3. NPU動作LLM選択
  4. チャットウインド経由でローカルLLMと日本語会話

現在、NPU動作LLMも複数あり、様々な特徴があるのが記事から判ります。

LM Studio利用ローカルLLM構築

LM Studio利用でローカルLLMを構築し、英語動作検証の結果がコチラの記事に記載されています。また、AI PCでのローカルLLM構築に注意すべき下記記載もあります。

  1. ローカルLLM活用には、PC搭載の高速メモリ量が重要
  2. LLMパラメタ数と使用メモリ量は比例
  3. LLMパラメタ数が少ないと文法ミスなどLLM出力品質低下
  4. CPU/GPU/NPUがメモリ共有結合するUMA（Unified Memory Architecture）SoCが適す

Summary：ミニAI PC 4種比較

最新ミニAI PC4種比較結果

エッジAI PCのローカルLLM活用には、CPU/GPU/NPUの大容量・高速メモリUMAがポイントです。また、OCuLinkは、UMAの点からローカルLLMに不向きな可能性が出てきました。

最新ミニAI PC 4種を比較し、価格・65W移動性重視ならSER9 Pro、性能重視ならEVO-V2、または、静音性も優れる未発売GTR9 Proが良いと結論します。

Afterword：オープンソースLLM

投稿時点のVSC上NPU動作LLMパラメタ数は、7B/14B程度で、16GBメモリ量に応じた選択が必要です。また、それぞれのLLMに特徴があるので、ユーザのAI使い方により出力品質も異なります。つまり、使うオープンソースLLM（AI）に個性があるようなものです。

AI PCハードウェアだけでなく、ユーザの（使い方）相性に合うオープンソースLLM（AI）を探す必要もありそうです。


モバイルバージョンを終了