IoT MCUとAI

2021年2月19日2021年12月12日 WithHappy

ARM Cortex-Mコア利用のIoT MCU現状と、次のムーア則を牽引すると言われるAI（人工知能）の関係についてまとめました。

Cortex-Mコア、IoT/組込みデバイス主要ポジション堅持

ARMベースチップ累計出荷個数は1,800億個以上（出展：ニュースルーム、February 16, 2021）

2021年2月16日、英）ARM社は、ARMチップの2020年第4半期出荷が過去最高の67憶個、累計出荷個数1800憶個以上、Cortex-Mチップも4半期最高44憶個出荷で「IoT/組込みデバイス主要ポジション堅持」と発表しました（ニュースルーム）。

Cortex-Mチップの出荷内訳は不明ですが、Cortex-M4やCortex-M0+などコア別の特徴が解るARM社の解説は、コチラにあります（フィルタのProcessorファミリ＞Cortex-Mを選択すると、提供中の全10種Cortex-Mコア解説が読めます）。

筆者は、セキュリティ強化コアCortex-M23/33/35P/55を除く汎用IoT/組込みデバイスでは、Cortex-M4/M0+コア使用数が急増していると思います。

関連投稿：Cortex-M33とCortex-M0+/M4の差分

半導体ムーア則、牽引はチップレット

ムーアの法則次なるけん引役は「チップレット」、2021年2月16日、EE Times Japan

次のムーア則を牽引するAI処理能力（出典：AI Hardware Harder Than It Looks）

半導体製造プロセスを牽引してきたのは、PCやスマホでした。しかしこれからは、人工知能：AIで急増するAIデータ処理能力を実現するため、レゴブロックのようにコアの各モジュールを歩留まり良く製造・配線するチップレット手法が必要で、このチップレット、つまりAIが次の半導体ムーア則を牽引するというのが記事要旨です。

このチップレット手法で製造したIoT MCUやMPUへ、主にソフトウェアによるAI化は、シンギュラリティ後のAI処理量変化にも柔軟に対応できると思います。

関連投稿：今後30年の半導体市場予測

ルネサス：ハードウェアアクセラレータコアCNN（Convolutional Neural Network）

2021年2月17日、ルネサスは、世界最高レベルの高性能/電力効率を実現するディープラーニング性能を持つCNNアクセラレータコアを発表しました（ニュースルーム）。これは、主にハードウェアによるAI化の例です。

ADAS実現に向け、性能と消費電力を最適化した車載用コアです。このコアに前章のチップレット手法を使っているかは不明です。3個のCNNと2MB専用メモリの実装により、60.4TOPS（Tera Operations Per Second）処理能力と13.8TOPS/W電力効率を達成しています。

車載で実績を積めば、IoT MCUへも同様のハードウェアアクセラレータが搭載される可能性があります。

まとめ

凸版印刷社は、画像認識AIを活用し、古文書の“くずし字”を解読支援するツールを開発しました（2021年2月16日、IT media）。このように、AIは、半導体技術のムーア則だけでなく、IoT MCUアプリケーションや人間生活に浸透し、牽引しつつあります。

エッジAIをクラウド接続IoT MCUへ実装する理由は、クラウドAI処理とクラウド送信データ量の両方を軽減することが狙いです。AI処理をエッジ側とクラウド側で分担しないと、チップレット手法を用いて制御チップを製造できたとしても、コスト高騰無しに急増するAIビックデータ処理を実現することが不可能だからです。

IoT MCUのエッジAIが、ソフトウェアまたはハードウェアのどちらで処理されるかは判りませんが、必須であることは確実だと思います。実例を挙げると、STマイクロエレクトロニクスは、既にSTM32Cube.AIにより汎用STM32MCUへAI/機械学習ソフトウェアの実装が可能になっています。

今後30年の半導体市場予測とルネサス動向

2021年2月12日2021年12月12日 WithHappy

半導体不足が騒がれています。これがCOVID-19の一時的なものか否かが判る下記記事と、最新のルネサスエレクトロニクス動向を関係付け、今後のMCU開発について考えました。

2050年までの半導体市場予測～人類の文明が進歩する限り成長は続く、2021年1月14日、EE Times Japan

今後30年の半導体市場予測

本ブログ読者は、殆どが現役の「日本人」MCU開発者です。定年退職が何歳になるかは分かりませんが、上記記事の2050年まで、つまり、今後30年の半導体市場予測は、在職中のMCU開発を考える上で丁度良い時間の長さです。

予測ですので、大中小のシナリオがあります。我々開発者にも解り易い結論だけをピックアップすると、概ね下記です。

今後、先進国と新興国中間層人口は、COVID-19で人類滅亡しない限りそれぞれ5億人/10年で増加し、2050年に先進国が30億人、新興国中間層が40億人、貧困層が20～30億人の人口ピラミッド構成へ変遷
1人年間の半導体消費量は、先進国が150ドル、新興国中間層が75ドル
2050年の半導体市場は、2010年比2.5倍の7500憶ドルへ成長

ルネサス動向

英）Dialog買収、車載半導体改良「AI性能を4倍に」など、SoCアナログ機能増強、ADAS実現やIoTに向けた動きが、2021年になってからのルネサス最新動向です。

これら動向の結果が出るまでには、年単位の時間が必要です。しかし、前章の2050年半導体市場2010年比2.5倍へ向けての行動の1つとすると、なぜ今か（！？）という疑問に対して、理解できます。

2倍化MCU開発

MCUも半導体の1つです。半導体市場が増えれば、それらを制御するMCU量も増えます。2010年比2.5倍なら、現在の2倍程度MCU開発も増えると思います。

従来と同じ人員と開発方法では、量が2倍になれば、2乗の4倍の労力が必要になります。新しい手法やその効率化なども導入する必要がありそうです。ルネサス同様、今スグに着手しなければ乗り（登り）遅れます。

使用した半導体の貴金属部分はリサイクルされますが、搭載ソフトウェアやハードウェアパターンは回収されずに消費されます。開発物の資産化、最新プロセスで大容量Flash搭載の新開発MCU、新開発手法にスグに対応できるMCU開発者が生き残るかもしれません。

関連投稿：開発者向けMCU生産技術の現状

MCU利用者

先進国だけでなく、新な対象として新興国中間層へもMCU利用者が広がります。新興国中間層は、先進国よりも10億人も多い予想で、1人当たりはより低コスト半導体（＝MCU開発）が求められます。

この新興国中間層向けのMCUアプリケーションを検討するのも良いかもしれません。

2045年のシンギュラリティ

Singularity：和訳（技術的特異点）は、人類に代わって人工知能：AIが文明進歩の主役になることです。

最初の記事にも、2045年と言われるシンギュラリティは、一層半導体市場を広げる可能性があるとしています。IoT MCUにもエッジAIが組込まれるなど、今後のMCU開発もAI化は必然です。

NXPの日本市場位置づけと事業戦略

2020年6月19日2022年1月5日 WithHappy

6月5日投稿NXPのFreeMASTERの最後の章で紹介したNXP新CEO）カート・シーヴァーズ（Kurt Sievers）氏へのEE Times Japanインタビュー記事が16日掲載され、NXPの日本市場位置づけと事業戦略が語られました。

日本の自動車関連企業との強固な関係は、一層強める
日本の産業・IoT関連企業との関係は、自動車関連企業と同様、強い関係を構築していく
日本のロボティクス企業とNXPのエッジコンピューティング技術の親和性は良く、ともに成長できる

本ブログの投稿は、MCUソフトウェア開発者向けが多いです。が、今回はNXPビジネスをピックアップします。というのは、多くの開発者が使っているWindows 10の今後を考えるには、Microsoftビジネスを知る必要があるのと同じ理由です。NXPビジネスを知って、MCUの将来を考えます。

以下、2020年5月のNXP semiconductors corporate overview抄訳バージョンを使います。※EE Japan記事もこのNXP資料を使っています。

NXPターゲット4市場

NXPのターゲットは、P8記載のオートモーティブ、インダストリアル＆IoT、モバイル、通信インフラストラクチャの4市場です。そして、これらを包括的にサポートする半導体デジタル/アナログ技術である、Sense、Think、Connect、Act全てをNXPは提供中です。

NXPのターゲット4市場（出典：NXP semiconductors corporate overview）

NXPの提供する半導体デジタル/アナログ技術（出典：NXP semiconductors corporate overview）

NXPの提供するフルシステムソリューション（出典：NXP semiconductors corporate overview）

NXPの強み

NXPの強みは、ユーザである我々開発者へ、半導体技術をもれなく提供できることだと筆者は思います。この分野は近い将来、セキュア/セキュリティ無しでは存在しえません。ネットワークで繋がり、セキュリティが弱い箇所が一か所でもあれば、全てが使えなくなる危険性があるからです。

例えインタフェースが確立されていても、技術同士を接続すると、上手く動作しないことはよくあります。※俗に相性問題などとWindowsでは言われます。

全技術を他社より先に提供するNXP同志の技術接続は、競合他社間の技術接続より容易、低リスクであることは明らかです。後追いの競合他社は、差別化の特徴を持たないと生き残れず、この特徴が逆に他社との接続障害になることもあります。

P12に記載されたように技術単独では存在意味が弱く、各技術がセキュアに繋がって初めてソリューションとしての市場価値が生まれます。

EE Japan Times記事によると、AI関連技術は、NXPで独自開発を行うとともにM＆Aも検討中のようです。このように、選択と集中、差別化戦略ではなく全ての半導体技術を開発し、ユーザである開発者へ提供できることがNXPの強みだと思います。

エッジコンピューティングMCUの将来

PC → スマホ → MCUへとセキュリティや半導体技術をけん引してきたデバイスは変わりつつあります。

COVID-19パンデミックで経済活動が停止したのは、コロナワクチンが無いからです。半導体製品にサイバー攻撃があった時、対応ワクチンや追加のセキュリティがThink主役のMCUへ必要となります。

これらからMCUは、今後さらなるセキュリティ実装やWiFi-6などの新しい無線LAN規格への対応など、より高性能化、低消費電力化へ進むと思います。NXPは台湾TSMCの5nm製造プロセスを次世代自動車用MCUに使う（2020/6/12）ことを明らかにし、実現へ向けてスタートしています。

NXP日本市場位置づけ、事業戦略、開発者の対策

以上のNXP概要を見たうえで、最初に示した日本市場位置づけ、事業戦略を振り返ると、NXPの提供する広範囲な半導体技術を自動車、産業機器、ロボティクスへ適用していくことがより解ると思います。

我々開発者は、NXP製品の第1次利用者です。MCU開発者は、次々に導入される新しい技術を焦ることなく効率的に習得・活用し、開発製品へ応用しましょう。そして、我々の製品利用者（NXP製品の第2次利用者）へ新しい価値を提供できるよう努めましょう。

EE Japan Times記事に記載はありませんが、残念ながら日本市場の相対的地位は、低下しつつあります。また、パンデミック再来に備え、開発者個人のスキルアップや自己トレーニング重要性も再認識されたと思います。より広く・早い開発技術の習得が、MCU開発者には必要となるでしょう。

Windows 10の将来

市場に溢れるWindows 10情報は、トラブル対策のものが殆どで、MicrosoftのOSビジネス情報は見当たりません。ただ、ここ数年のWindows 10状況は、最終PC利用者の価値を高めるというよりも、Windowsブロガへの記事ネタを増やすことに役立っています。

このWindows現状を、Microsoftがどのように回復するのか知りたいです。ビジネスなので、利益なしの解はありません。しかし、安心してWindows 10が使えないなら、PCのOSは、安定感のあるiOSやLinuxへ変わるかもしれません。

アプリケーションのマルチプラットフォーム化や、WindowsアプリケーションでもiOSやLinux上でそのまま動作する環境も整いつつあります。折しも、32ビットPC OSは、2020年で終焉を迎えようとしています。ハードウェア起因ならまだしも、ソフトウェア、特にOS起因の生産性低下は、許されないと思います。

MCUのAI機能搭載

2019年1月15日2019年1月20日 WithHappy

スマホの顔/指紋認証や、写真の高度処理などにAI機能（機械学習）が搭載され始めています。本稿は、AI機能搭載プロセッサ最新記事からルネサスマイコン：MCU関連を抜き出し、さらに、STマイクロエレクトロニクスのコード生成ツールSTM32CubeMXに追加されたAI機能拡張パックSTM32Cube.AIを紹介します。

ルネサスMCU AI機能の現状

2019年1月10日のEE Times Japanに、“2019年も大注目！　出そろい始めた「エッジAIプロセッサ」の現在地とこれから”が掲載されました。

MCUだけでなく、スマホ、車載などAI機能を処理するプロセッサ全般の現状分析と今後について、分かりやすく解説されています。AI機能の搭載は、一過性ブームではなくADAS（先進運転支援システム）やセキュリティなど更に多くの処理へ適用されると予想しています。

この記事で、昨年本ブログ投稿のRZファミリ搭載「DRP（Dynamically Reconfigurable Processor）」の現状（図1）と、7nm製造プロセス換算での性能比較（図5）が示されています。

関連投稿：NXPとルネサスのMCU開発動向、ルネサスのMCU開発動向の章

図5：7nmプロセスで製造した場合の性能（出典：カタリナレポート） — 図5：7nmプロセスで製造した場合の性能。小さい程高性能。（出典：カタリナレポート）

日本オリジナルのルネサスAI IPが、公表通り推論処理能力1000倍の開発ロードマップで進めば、低コスト/低電力なMCU AI機能が実現できそうです。RZだけでなく、RL78やRX MCUへの搭載も期待します。

STM32CubeMXにAI機能拡張パックを提供

STMのコード生成ツールSTM32CubeMX version 5.0.1以降から、AI機能実装の拡張パックSTM32Cube.AIが2019年1月3日に発表されました。

Cortex-M4クラスの低電力MCUが前提ですが、ニューラルネットワークを使ったHuman Activity Recognition：人間活動認識（HAR）や、Acoustic Scene Classification：音響シーン分類（ASC）のアプリケーションに適しているそうです。

Human Activity Recognition (HAR)（出典：Neural Networks on the STM32）

Audio Scean Classification (ASC)（出典：Neural Networks on the STM32）

MCU AI機能の搭載

現状は、ルネサスはRZ、STMはCortex-M4と高性能MCUがAI機能の対象デバイスです。

例えば、スマホで指紋認証時、本人なのに認証されないとイラッ😡ときます。安全側評価で仕方がないとは思いますが、リアルタイムで結構な処理を行っているのでしょう。例外処理で、カメラ起動などは認証なしで動作させるなどの工夫が見られます。

AI機能は、このように相手が人間なだけにリアルタイムで高負荷な処理になります。MCUへのAI機能搭載は、このかなり高いハードルをこなせる処理能力が必要です。記事にもあるように、プロセス微細化による低コスト/低電力化や、開発環境を含めたベンダー側の対応が普及の鍵になるでしょう。

個人的には、AI機能の「アプリケーションレベルでのライブラリ化」を望みます。ベンダー側でMCU処理能力に応じてライブラリ内部を工夫し、開発者である我々は、MCU選択でAI機能レベル（誤認識率、深層解析能力など）も選択できれば嬉しいですね😁。