Windows 12 AIとNPU

Windows 12は、40TOPS以上のNPUが推薦要件になりそうです。TPM 2.0が、Win11アップグレード要件だったのと同様です。

クラウド電力不足解消のエッジAI半導体が、今年のPC CPUと組込みMCUのトレンドになりそうです。

40 TOPS以上NPUとは?

40TOPS以上のNPUは、かなり高性能PCやゲーミングPCを指す
40TOPS以上のNPUは、かなり高性能PCやゲーミングPCを指す

TOPS(Tera Operations Per Second)とは、1秒間に処理できるAI半導体の演算数です。

NPU(Neural Processing Unit)は、GPU(Graphic Processing Unit)処理の内、AI処理に特化した処理装置のことで、1TOPSなら1秒間に1兆回のAI演算が可能です。※GPU/NPUの違いは関連投稿参照。

例えば、GeForce RTX 3060クラスのGPUは約100TOPS、NPU内蔵最新Intel CPUは34TOPS、Apple M3は18TOPSの性能を持つと言われます。

つまり、40TOPS以上のNPU要件は、現状比、かなりの高性能PCやゲーミングPCを指します。

Windows 12のAI

現状のNPU処理は、Web会議の背景ぼかし、複数言語の同時翻訳、通話ノイズの除去など、主にローカルPCのリモート会議AI演算に使われます。COVID-19流行中のユーザ要望はこれらでした。

しかし、Microsoftが急速普及中のAIアシスタントCopilotは、PCユーザのAI活用を容易にし、AI関連処理はローカルNPUからクラウドデータセンターの利用へと変わりました。

AI活用がこのまま普及すると、世界のクラウド側電力不足は、避けられなくなります。このクラウド側対策が、電力効率100倍光電融合デバイスのNTT)光電融合技術です(関連投稿:IOWN)。

現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)
現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)

クラウドAI処理ではレスポンスも悪くなります。MicrosoftとIntelは、クラウド電力不足やタイムラグ対策に、ローカル(エッジ)AI PC、つまりNPU処理能力向上が、クラウドとエッジのAI処理分散になり重要と考えている、と筆者は思います。

組込みMCUのAI

AI活用や電力効率向上は、組込みMCUへも浸透しつつあります。

エッジAI MCUアプリケーションは、ポンプ異常検出、故障検出、顔認識、人物検出など広範囲に渡ります。

STマイクロは、次世代STM32MCU向けに18nm FD-SOIと相変化メモリを組み合わせた新プロセス技術を発表しました。これにより、従来比、電力効率50%以上、メモリ実装密度2.5倍、AI機能集積度3倍に向上します。量産は、2025年後半見込みです。

18nm FD-SOIと相変化メモリ技術を組み合わせた次世代STM32MCUプロセス(出典:STマイクロ)
18nm FD-SOIと相変化メモリ技術を組み合わせた次世代STM32MCUプロセス(出典:STマイクロ)

ルネサスは、組込み向け次世代AIアクセラレータを開発し、従来比、最大10倍の電力効率で高速AI処理を可能にしました。これにより、様々なエッジAI MCUアプリケーションに柔軟対応が可能です。

DRP-AIによる枝刈りAIモデルの高速化(出典:ルネサス)
DRP-AIによる枝刈りAIモデルの高速化(出典:ルネサス)

スマートフォンのAI

PCやMCUの一歩先を行くエッジAI活用が、現状のスマートフォン向けプロセサです。

顔認証や音声認識、スマホ写真の加工や暗い場所の撮影補正など、全てスマホ単独で、しかも高速AI処理を行っています。これらスマホの低電力高速AI処理に、NPU内蔵スマホプロセサが貢献しています。

PCは、スマホにない大画面を活かしたAI活用、MCUは、スマホ同様の低電力高速AI活用を目指しAI半導体を準備中なのが今年2024年と言えます。

Summary:AI半導体がPC/MCUトレンド

半導体は、供給に年単位の準備期間が必要です。最先端AI半導体であればなおさらです。

急速なAI活用や普及は、クラウド電力不足やユーザ要望変化をもたらし、解消にはハードウェアのエッジAI半導体が不可欠です。

PC/MCU業界は、どちらもAI半導体の安定供給に向け足並みを揃え準備中です。Microsoftが、ソフトウェアWindows 12提供を遅らせ、代わりにWin11 24H2としたのも足並み合わせのためと思います

足並みが揃った後のWindows 12推薦要件は、40 TOPS以上の高性能NPUになるかもしれません。
組込みMCUは、エッジAI活用と電力効率向上の新AI半導体製造プロセスに期待が高まっています。

PC、MCUどちらもAI半導体が2024年トレンドです。

Afterword:AI PC秘書/家庭教師

AI PC秘書と家庭教師イメージ
AI PC秘書と家庭教師イメージ

エッジAI PCのNPU性能が上がれば、秘書や家庭教師としてPCを活用できます。助けが必要な処理や不明な事柄は、AI PC秘書/家庭教師から得られるからです。2010年宇宙の旅のHAL 9000のイメージです。

AI PCがHAL 9000に近づけば、NPUがユーザ個人情報を学習し、ユーザ志向、能力レベル、癖などに基づいたAI回答を提供するでしょう。ブラウザが、ユーザ志向に沿った広告を表示するのと同じです。

個人情報は、セキュリティの点からクラウドよりも本来エッジPCが持つべきです。AI PCを秘書/家庭教師として活用する時は、個人情報を学習/保持する高性能NPUは必然だと思います。

TPMと似た性質をNPUも持つと言えます。40 TOPS以上のNPU必要性は、どの程度高度/高速なAI PC秘書/家庭教師を希望するかに依存します。個人的にはHAL 900は欲しいかな?

2024-04-06 追記:40 TOPS M.2生成AIアクセラレーションモジュール

HAILOからM.2フォームファクタへ追加できるWindows向け40 TOPS AIアクセラレータモジュールが発表されました。


AIのCPUとMCUへの影響

AIのPC CPUへの影響
AIのPC CPUへの影響

2024年は、AIがPCへ急激な変化を与えそうです。そこで、 AIによる PCハードウェアの変化トレンドを調べました。これら変化は、組込みハードウェアのMCUへも影響すると思うからです。

CPU、GPU、NPUとは? MCUとの違いは?

超簡単にCPU、GPU、NPUを整理します。ついでに、DSPとMCUも加えます。

CPU(Central Processing Unit):パソコンの「汎用演算」装置。PCの頭脳。
GPU(Graphic Processing Unit):「グラフィック演算」専用装置。
NPU(Neural Processing Unit):GPU内の「AI関連演算」専用装置。
DSP(Digital Signal Processor):積和演算等「リアルタイム信号演算」専用装置。
MCU(Micro Controller Unit):組込みシステム「汎用演算」装置。ADC等周辺回路内蔵。

CPU~DSPまでが、PC向け演算装置、組込み向けの演算装置がMCUです。

MCUとPC向け装置の最も異なる点は、MCUは、ADC(Analog Digital Convertor)やメモリなどの周辺回路と汎用演算回路を一体化し小型装置にした点です。

GPU/NPU/DSPは、汎用CPU処理の一部を専用ハードウェアで高速処理します。CPUの代わりにこれら専用ハードウェアが処理するため、PC全体の処理速度が速くなります。

このようにPCハードウェアは、汎用CPUの高速化と汎用処理を補う専用ハードウェアにより進化を続けてきました。

NPUが行うAI関連演算は、Web会議の背景ぼかし、複数言語への同時翻訳、通話のノイズ除去などの処理です。これらは、GPUでも可能ですが、更なる高速処理が可能です。

AI PCのIntel Core Ultra

Intel Core Ultra Processors
Intel Core Ultra Processors

Intelは、AI処理のハイブリッド化が進むと考えているようです。

つまり、ネットワーク側データセンターやGPUのみを使ったAI処理ではなく、PCやスマホなどのエッジ側CPU/GPU/NPUも協力、ネットワークとエッジがハイブリッドにAI処理を行います。

これを実現するエッジ側PCが、Intel Core Ultra搭載AI PCだと発表しました。同記事でIntelは、2025年末までに1億台のNPU内蔵新CPU:Core Ultra搭載AI PCになる、とも宣言しています。

AI有効性が認識されれば、停滞気味のPC買換え需要は一気に加速するでしょう。また、AIハイブリッド化は、急増するAIリアルタイム処理の観点からも好都合です。

GPU+NPU内蔵AMD Ryzen 8000G

AMD Ryzen 8000G Series Processors
AMD Ryzen 8000G Series Processors

2月発表のAMD Ryzen 8000Gは、従来比内蔵GPU強化とNPU(Ryzen AI)内蔵の新CPUです。CPU単体でも、フルハイビジョン(1920×1080、1080p)ゲームが十分楽しめる性能を持つそうです。

コストパフォーマンスに優れるAMD CPUユーザの筆者も、Ryzen 8000Gは気になります。ビジネス用途としても、従来CPUと同じ消費電力(TDP=65W)でGPU+NPU高性能化、AIと高画質対応の新CPUは注目しています。

AI革命によるPCハードウェア変化

AI普及は、PCハードウェアに対し以下の変化トレンドを与えると思います。

・NPU内蔵CPU化
・エッジAIリアルタイム処理化
・低消費電力化

現状のままAIが普及すれば、世界の電力不足は避けられない、エッジ側はもとより、ネットワーク側でも更なる低電力化が必要との認識は、NTTのIOWNが広めました(関連投稿:IOWN、NTT)光電融合技術)。

現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)
現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)

AIがもたらす便利さ、効率性、生産性向上は、「⽣成AI⾰命」と呼ばれます。生成AIとの直接ユーザインタフェースでもあるPCは、ハード/ソフト含め大きく変わるのは明らかです。

Summary:AIのCPUとMCUへの影響

前章にAIによるPC CPU変化をまとめました。

本ブログ対象のMCU/IoT MCUへのAI影響は、簡単に言うと「PC変化の後追い」です。しかし、生成AI革命が、PC後追い時間差を、従来比より少なくすると思います。

AIによるMCU/IoT MCU急変トレンドをまとめると以下です。

・Tiny AIエッジ処理(アプリ例:ポンプ異常検出、顔認識、人物検出、故障検出など)
・超低消費電力動作

MCUは、小型低価格化のためNPU内蔵、または、ソフトウェアでエッジAI処理を行います。小型なAIのためTiny AIとも呼ばれます。アプリ例から、AIハイブリッドのPCより、エッジMCU AI処理比率が高い気がします。

また、数十億ものMCU数が必要なIoT MCUは、1個1個のハード/ソフトの超低消費電力動作が必要になります。

これら動向に対し、MCU開発者は、自ら生成AIを活用し、短納期開発に備えておくべきでしょう。

関連投稿:ハードウェアまたはソフトウェアMCU AI機能とアプリ例、MCU AI現状、生成AI活用スキル

Afterword:慌てず、騒がず、遅れず準備

生成AI革命は、顧客のAIアレルギーを無くし、MCU開発者には、これまでと全く異なる異次元の短期開発や手法を求めるかもしれません。CPUやMCUへの新技術導入もより早くなりそうです。

人間開発者は、慌てず騒がず、しかし、変化にも遅れずに追随が必要です。そのためにも、動向を常に把握し、的確な対応準備を心がけましょう。