エッジAI導入アプローチ

市中ビデオカメラへのエッジAI応用例とどの程度TOPS能力が必要かが判る記事、STM32F3マイコンの電動自転車へのAI応用記事から、MCUとMPU/SBCのエッジAI導入アプローチの違いを説明します。

ビデオカメラのエッジAI応用例

AIビジョンプロセサHailo-15によるカメラノイズ除去、鮮明化例(出典:記事)
AIビジョンプロセサHailo-15によるカメラノイズ除去、鮮明化例(出典:記事)

上図は、左側オリジナルビデオ画像を、AI Visionプロセサ:Hailo-15を使って、ノイズ除去と鮮明化、人物認識を行った例です。

この例では、低照度下で撮影した4Kビデオ画像のノイズ除去に約100ギガオペレーション/秒(GOPS)、30フレーム/秒のリアルタイムビデオストリーミングなので3 TOPS処理能力が必要です。

Hailo-15は、AI処理能力に応じて現在3製品をラインナップしており、それぞれのTOPS値が下図です。

Hailo-15ラインナップ’(出典:HAILOサイト)
Hailo-15ラインナップ’(出典:HAILOサイト)

7 TOPSのHailo-15Lでも十分なビデオカメラエッジAI処理が可能です。カメラ外付けのHailo-15は、例えば、SBC(シングルボードコンピュータ)Raspberry Pi 5と組み合わせると面白い装置が開発できると思います。

同様のビデオエッジAI処理をMCUで実現する場合は、コチラの投稿で示したCortex-M85コア搭載RA8D1があります。

電動自転車のエッジAI応用例

2024年4月3日、STマイクロは、電動自転車搭載の汎用MCU STM32F3(Cortex-M4/72MHz、Flash/128KB)へ、無償エッジAI開発ツールSTM32Cube.AIを使って、自転車タイヤの空気圧を推定、空気を入れるタイミングを示すAI機能を実装しました。

STM32F3は、上記AI機能の他にも自転車本体の電動アシスト量制御やモータ制御も行っています。つまり、空気センサなどの追加ハードウェア無しでエッジAI機能が低コストで実装できた訳です。

STM32F3へのエッジAI応用例(出典:STマイクロ)
STM32F3へのエッジAI応用例(出典:STマイクロ)

STマイクロのMCUソフトウェアは、HAL(Hardware Abstraction Layer)APIを使って開発すると、同社の異なるMCUコアでも移植性の高いソフトウェアが作れます。

最新40nmプロセス製造のSTM32F3上位機種が、汎用STM32G4(Cortex-M4/170MHz)です。STM32G4ソフトウェア開発をご検討中の方は、弊社STM32G0x(Cortex-M0+/64MHz)テンプレートをご活用ください。
また、より低価格低消費電力なSTM32C0(Cortex-M0+/48MHz)へもG0xテンプレートが適用可能です。
詳細は、info@happytech.jpへお問い合わせください。

Summary:エッジAI導入の2アプローチ

エッジAI導入の2アプローチ
エッジAI導入の2アプローチ

実際のエッジAI応用例から、MCUとMPU/SBCではエッジAI導入アプローチが異なる事を示しました。

MCUは、STM32F3例が示すように、「追加ハードウェア無し低コストAI実装アプローチ」です。STM32Cube.AIを使い、実装MCUへソフトウェアのみでAI機能追加を行います。

MPU/SBCは、外付けHailo-15H/M/Lを使ってエッジAI処理を行います。「拡張性重視のAI実装アプローチ」です。

ユーザが求めるAI機能は、今後益々増えます。エッジAI処理増加により、より高い電力効率で高性能な処理コアが求められるのは、MCUもMPU/SBCも同じです。

製品開発には、ある程度の期間が必要です。この期間中に増加するエッジAI処理増に耐えられる製品の処理コア選定は、重要検討ポイントになるでしょう。

関連投稿:MCUとMPUの違い

Afterword:ビデオエッジAI処理プロセス

ビデオエッジAI処理プロセス(出典:HAILO記事)
ビデオエッジAI処理プロセス(出典:HAILO記事)

最初の記事に、ビデオエッジAI処理プロセスが良く判る図があります。これを見ると、エッジAI処理がハードウェアの並列処理に向いていることも判ります。

ハードウェアは、製品化後、簡単に追加ができないため、どの程度の余力を製品ハードウェアに持たせるかは、コストとの兼ね合いで「永遠の課題」です。これは、ソフトウェアのみでAI機能を実装するSTM32Cube.AIでも同じです。製品実装済みMCUの余力を上回るAI機能追加はできないからです。

つまり、当面の安心をMCU開発者へ与えるには、最新MCUの製品利用がBetterということです。


LibreOffice最新版、安定版更新

ものもらいのため、今週投稿は、LibreOffice更新情報と関連トピックを簡単にお知らせします。

最新版LibreOffice 24.2.2、安定版LibreOffice 7.6.6へ更新
最新版LibreOffice 24.2.2、安定版LibreOffice 7.6.6へ更新

Summary:LibreOffice最新版、安定版更新

3月28日、LibreOffice最新版の1ヵ月定期更新があり、LibreOffice 24.2.2となりました。
同時に、3ヵ月定期更新の安定版もLibreOffice 7.6.6になりました。

LibreOffice更新方法

Windows/MacOS/Linuxクロスプラットフォーム動作で、Microsoft Officeに対抗できる無償文書作成ツールがLibreOfficeです。

LibreOfficeには、最新機能実装の約1ヵ月定期更新LibreOffice最新版と、最新版へ数回分の更新プログラムを適用した約3ヶ月定期更新LibreOffice安定版、これら2種類があります。

LibreOfficeの更新方法は、簡単です。毎回、新規インストールと同様に新版インストーラを実行すれば、旧版の各種設定が、そのまま引き継がれるからです。

筆者お勧めの設定は、コチラに投稿したセキュリティ対策程度です。後は、お好きな利用フォントなどを設定すれば、デフォルトのままで良いと思います。

ドイツ政府、Microsoft OfficeからLibreOfficeへ移行

ドイツ政府 PC30000台をLibreOfficeへ移行
ドイツ政府 PC30000台をLibreOfficeへ移行

2024年4月4日、ドイツ地方政府が30000台のPCをLinuxへ乗り換え、文書作成ツールをMicrosoft OfficeからLibreOfficeへ移行した、とLibreOffice Blogが報じています。

ドイツ地方政府は、無償オープンソースソフトウェアでソフトウェア環境構築を目指すようです。目的は、経費削減、または、ソフトウェア自主開発化でしょうか? 後者だと、技術者は嬉しいです!

Afterword:LibreOfficeで判る多様性

Microsoft OfficeからLibreOfficeへ変わっても、基本操作は変わりません。ポイントは、慣れの問題のみです。

今春から新しい仕事環境に変わった方も多いでしょう。新たにLibreOfficeを使い始める良いタイミングです。LibreOfficeを使うと、慣れ問題解消と同時に、PC文書作成ツールの良さ/悪さも判ります。

多様性が実感できます。

2024-04-13 追記:Microsoft検証済みアプリではありませんダイアログ対処

Microsoft検証済みアプリではありませんダイアログ対処
Microsoft検証済みアプリではありませんダイアログ対処

アプリインストール時、Microsoft検証済みアプリではありませんダイアログ表示時は、アプリ>アプリの詳細設定のアプリを入手する場所の選択を、「場所を選ばない」へ変更します。
デフォルト「Microsoft Storeのみ(推薦)」では、ストアアプリのみインストール可能です。



Windows 12 AIとNPU

Windows 12は、40TOPS以上のNPUが推薦要件になりそうです。TPM 2.0が、Win11アップグレード要件だったのと同様です。

クラウド電力不足解消のエッジAI半導体が、今年のPC CPUと組込みMCUのトレンドになりそうです。

40 TOPS以上NPUとは?

40TOPS以上のNPUは、かなり高性能PCやゲーミングPCを指す
40TOPS以上のNPUは、かなり高性能PCやゲーミングPCを指す

TOPS(Tera Operations Per Second)とは、1秒間に処理できるAI半導体の演算数です。

NPU(Neural Processing Unit)は、GPU(Graphic Processing Unit)処理の内、AI処理に特化した処理装置のことで、1TOPSなら1秒間に1兆回のAI演算が可能です。※GPU/NPUの違いは関連投稿参照。

例えば、GeForce RTX 3060クラスのGPUは約100TOPS、NPU内蔵最新Intel CPUは34TOPS、Apple M3は18TOPSの性能を持つと言われます。

つまり、40TOPS以上のNPU要件は、現状比、かなりの高性能PCやゲーミングPCを指します。

Windows 12のAI

現状のNPU処理は、Web会議の背景ぼかし、複数言語の同時翻訳、通話ノイズの除去など、主にローカルPCのリモート会議AI演算に使われます。COVID-19流行中のユーザ要望はこれらでした。

しかし、Microsoftが急速普及中のAIアシスタントCopilotは、PCユーザのAI活用を容易にし、AI関連処理はローカルNPUからクラウドデータセンターの利用へと変わりました。

AI活用がこのまま普及すると、世界のクラウド側電力不足は、避けられなくなります。このクラウド側対策が、電力効率100倍光電融合デバイスのNTT)光電融合技術です(関連投稿:IOWN)。

現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)
現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)

クラウドAI処理ではレスポンスも悪くなります。MicrosoftとIntelは、クラウド電力不足やタイムラグ対策に、ローカル(エッジ)AI PC、つまりNPU処理能力向上が、クラウドとエッジのAI処理分散になり重要と考えている、と筆者は思います。

組込みMCUのAI

AI活用や電力効率向上は、組込みMCUへも浸透しつつあります。

エッジAI MCUアプリケーションは、ポンプ異常検出、故障検出、顔認識、人物検出など広範囲に渡ります。

STマイクロは、次世代STM32MCU向けに18nm FD-SOIと相変化メモリを組み合わせた新プロセス技術を発表しました。これにより、従来比、電力効率50%以上、メモリ実装密度2.5倍、AI機能集積度3倍に向上します。量産は、2025年後半見込みです。

18nm FD-SOIと相変化メモリ技術を組み合わせた次世代STM32MCUプロセス(出典:STマイクロ)
18nm FD-SOIと相変化メモリ技術を組み合わせた次世代STM32MCUプロセス(出典:STマイクロ)

ルネサスは、組込み向け次世代AIアクセラレータを開発し、従来比、最大10倍の電力効率で高速AI処理を可能にしました。これにより、様々なエッジAI MCUアプリケーションに柔軟対応が可能です。

DRP-AIによる枝刈りAIモデルの高速化(出典:ルネサス)
DRP-AIによる枝刈りAIモデルの高速化(出典:ルネサス)

スマートフォンのAI

PCやMCUの一歩先を行くエッジAI活用が、現状のスマートフォン向けプロセサです。

顔認証や音声認識、スマホ写真の加工や暗い場所の撮影補正など、全てスマホ単独で、しかも高速AI処理を行っています。これらスマホの低電力高速AI処理に、NPU内蔵スマホプロセサが貢献しています。

PCは、スマホにない大画面を活かしたAI活用、MCUは、スマホ同様の低電力高速AI活用を目指しAI半導体を準備中なのが今年2024年と言えます。

Summary:AI半導体がPC/MCUトレンド

半導体は、供給に年単位の準備期間が必要です。最先端AI半導体であればなおさらです。

急速なAI活用や普及は、クラウド電力不足やユーザ要望変化をもたらし、解消にはハードウェアのエッジAI半導体が不可欠です。

PC/MCU業界は、どちらもAI半導体の安定供給に向け足並みを揃え準備中です。Microsoftが、ソフトウェアWindows 12提供を遅らせ、代わりにWin11 24H2としたのも足並み合わせのためと思います

足並みが揃った後のWindows 12推薦要件は、40 TOPS以上の高性能NPUになるかもしれません。
組込みMCUは、エッジAI活用と電力効率向上の新AI半導体製造プロセスに期待が高まっています。

PC、MCUどちらもAI半導体が2024年トレンドです。

Afterword:AI PC秘書/家庭教師

AI PC秘書と家庭教師イメージ
AI PC秘書と家庭教師イメージ

エッジAI PCのNPU性能が上がれば、秘書や家庭教師としてPCを活用できます。助けが必要な処理や不明な事柄は、AI PC秘書/家庭教師から得られるからです。2010年宇宙の旅のHAL 9000のイメージです。

AI PCがHAL 9000に近づけば、NPUがユーザ個人情報を学習し、ユーザ志向、能力レベル、癖などに基づいたAI回答を提供するでしょう。ブラウザが、ユーザ志向に沿った広告を表示するのと同じです。

個人情報は、セキュリティの点からクラウドよりも本来エッジPCが持つべきです。AI PCを秘書/家庭教師として活用する時は、個人情報を学習/保持する高性能NPUは必然だと思います。

TPMと似た性質をNPUも持つと言えます。40 TOPS以上のNPU必要性は、どの程度高度/高速なAI PC秘書/家庭教師を希望するかに依存します。個人的にはHAL 900は欲しいかな?

2024-04-06 追記:40 TOPS M.2生成AIアクセラレーションモジュール

HAILOからM.2フォームファクタへ追加できるWindows向け40 TOPS AIアクセラレータモジュールが発表されました。


自動運転EV開発終了と技術者

Appleの自動運転EV開発終了の3理由記事(2023年3月22日、ITmedia)は、技術的面白さとビジネスとの共立の難しさを示しています。

日本では3月末は、配置転換の時期です。この記事を技術者目線で読み、個々の技術者にビジネスセンスが必要だという感想を書きます。

Apple自動運転終了理由

Appleが自動運転EV開発を終了
Appleが自動運転EV開発を終了

Appleは、ハードウェア/ソフトウェアの両方を開発・製造でき、ユニークな製品やサービス、価値観をユーザへ提供する企業で、現在GAFAMの1社です。そのAppleが、自動運転EV開発を終了した理由は、

  1. EV商品性と採算性の難しさ
  2. 自動運転技術の難しさと高リスク
  3. 自動運転中の新価値提供の難しさ

の3つを記事は挙げています。

難しさの中身は、記事に判り易く説明されています。本ブログ読者の方は、中身が判り、行間の技術困難度も推測できると思います。※自動運転とEVは別物も判る。

技術者がこれら課題を克服すれば、他社やライバルより優位に立てること、優位に立つために日々切磋琢磨していること、その結果喜びも得られること、つまり、技術者には最先端で面白い課題だと判ります。

配置転換技術者のモチベーション

配置転換技術者のモチベーションアップにビジネスセンス必要
配置転換技術者のモチベーションアップにビジネスセンス必要

その最先端技術者集団のAppleが、ビジネス的には自動運転EV開発の終了判断をしました。これにより、自動運転EVからAI部門へ配置転換された2000人の技術者は、どうモチベーションを保つのでしょうか?

※モチベーションとは、行動を維持する原動力や動機となる目的やきっかけ。

道路やネットワークなど外部環境と協調動作する自動運転EVに対し、AIは、自らネットワークを探査・情報収集し、生成AIで新たな情報を作成します。素人ながら、真逆の感じがします。

技術者の別部署への配置転換や移動は、ありがちです。詳細な移動理由が判ることもあるでしょうが、多くの場合、個人には簡単な移動通知だけです。

移動技術者がモチベーションを維持するには、ビジネスセンスが必要だと思います。つまり、記事記載の様々な「ビジネス採算性やリスク」を、自分で評価・分析できることが必要だと思います。

ビジネスセンスと技術の両方をバランス良く持てば、配置転換理由を深く理解し、新なモチベーションアップに繋がります。

Summary:技術造詣の深さとビジネスセンス

技術者に必要な技術造詣の深さとビジネスセンス
技術者に必要な技術造詣の深さとビジネスセンス

専門技術の造詣が深いこととビジネスセンスの両方を持つことは、技術者に必須です。自分の立ち位置を正確かつ俯瞰的に捉えるためです。

技術者・開発者は、専門分野の視野狭窄に陥る危険性もあります。技術的面白さにより、現状維持バイアスも発生します。

これらの危険には、採算性などのビジネスセンスを養い、俯瞰的なビジネス視野も同時に持つことで危険回避とモチベーション維持になると感じた記事でした。

Afterword:IoT MCU開発者も必読記事

Apple以外でもDysonやGoogleが撤退した自動運転開発史や、スマホを超える自動運転中のエンターテインメントなど、IoT MCU開発者にも役立つ面白い記事です。

自動運転レベル4の実証実験は、日本各地で行われています。が、事故報告も…。リスクを下げるためか、同業他社協業も検討中だとか・・・。激動自動運転とEV、目が離せません!


文書作成ツール現状

次期買い切り型Office 2024を、Microsoftが今年後半に提供予定です。
現状Officeと、その対抗無償文書作成ツール:LibreOfficeの現状をまとめました。

Microsoft買い切り型Officeサポート期間

買い切り型Office メインサポート期間 延長サポート期間
Office 2019(2018年9月24日提供) 2023年10月10日 2025年10月14日
Office 2021(2021年10月5日提供) 2026年10月13日 無し
Office 2024(2024年後半提供予定) 2029年(5年推定) 不明

買い切り型Officeのサービスサポート期間を一覧にしました。買い切り型は、サポート期間中は機能変更やセキュリティ更新プログラムが購入ユーザへ提供されます。Office 2019までは、延長サポートがありましたが、Office 2021からは、延長サポートはありません。

従って、現行の買い切り型Officeユーザは、2025/6年10月までのサポート期間中は安心して運用できます。サポート期間後もそのまま使えますが、セキュリティリスクが高まります。

Microsoftは、このサポート期限がある買い切り型Officeサービスの代替として、1年単位サブスクリプション型Office 365(最大5ユーザ、1TB OneDrive付き)を現行Officeユーザへ勧めてきました。
※1ヵ月試用サブスクリプションあり。

サブスクリプション型Office 365は、常に最新機能や更新プログラムが適用されますが、ネットワーク接続が必須です。このネット接続が不可能なデバイスや医療検査機器を対象とした次期Officeが、提供予定のOffice 2024です。

もちろん、買い切り型OfficeユーザがOffice 2024を購入すれば、従来のOffice 2021と同様、ネット経由更新の最新Officeとして利用できると思います。サポート期間は、発売後5年が従来Officeでしたので、2029年と推定しました。

LibreOffice 24.2.1

LibreOffice

Windows/MacOS/Linuxクロスプラットフォーム動作でMicrosoft Officeに対抗できる無償文書作成ツールが、LibreOfficeです。

LibreOfficeには、最新機能を実装した約1ヵ月定期更新のLibreOffice最新版と、最新版へ数回分の更新プログラムを適用した約3ヶ月定期更新のLibreOffice安定版、これら2種類があります。

LibreOffice最新版は、リース年.月へバージョン表記が変わり、自動回復情報保存になりました。また、2024年2月リリースLibreOffice 24.2へ、3月2日、1ヵ月定期更新プログラムが適用されLibreOffice 24.2.1の提供が始まりました。

LibreOffice 24.2.1の詳しい解説は、LibreOffice日本語チームBlogにあります。ISO標準のODF(Open Document Format)形式文書やMicrosoft Office互換形式など、LibreOffice特徴や狙いが判ります。

弊社文書作成ツール状況

2023年10月のOffice 2019メインサポート終了を機に、弊社所有の4PC中3PCをサブスクリプション型Microsoft 365(旧Office 365)へ変更しました。残り1PCは、買い切り型Office 2021を継続使用中です。

クラウドMicrosoft 365と4PCのローカルOfficeアプリ(Microsoft 365とOffice 2021のWord/Excel)使用感に、差はありません。

但し、Microsoft Visioユーザは、買い切り型Visioの方が便利です。Microsoft 365でもVisioは使えますが、閲覧やテキスト編集向きです。本格的な図形編集は、Microsoft 365に別途高価なクラウドVisioを追加購入する必要があります。

弊社は、Visio図形編集には、コストパフォーマンスの良いLibreOfficeのDrawを使っています。Drawでも買い切り型Visioと同等の編集が可能です。

なお、弊社は、LibreOffice最新版DrawとWriterを数年間使用中ですが、特にトラブル無く運用できています。

Summary:文書作成ツール現状

文書作成ツール現状まとめ
文書作成ツール現状まとめ

PC文書作成ツールの買い切り型Microsoft Officeとサブスクリプション型Microsoft 365、これらの対抗無償ソフトウェアのLibreOfficeの現状をまとめました。

サポート期間、ネットワーク要件、サブスクリプション可否、有償/無償、Microsoft形式/ODF形式文書など様々なユーザ選択に応じた文書作成ツールがあります。

Afterword:文書作成ツールと生成AI

生成AI革命で成長するAIを個人教師/秘書的に使えば、従来(本稿)のようなユーザ自らが、1から書き始める文書作成は、オワコン(=流行が終わった過去のやり方)かもしれません。

しかし、ソフトウェア開発のAI関与に比べれば文書作成は、例えAI全盛になっても数少ない人間らしい営みの1つだと思います。

生成AI Copilotとの作業性から評価すると、Microsoft Officeの方がLibreOfficeよりも有利です。MicrosoftがCopilotを急成長させるのは、文書作成ツールを含む全Microsoftシェア拡大にCopilotが強く貢献するからだと思います。


Cortex-M85搭載RA8シリーズ説明

前投稿MCUとMPUの違いで紹介したルネサスRAファミリ最新MCUのRA8シリーズを説明します。
RA8は、従来Cortex-M7クラスの高性能MPUが必要なAI処理を、低コスト・低消費電力なAI MCUで実現します。

Cortex-M85コア

Cortex-M85特性比較(出典:ARM)
Cortex-M85特性比較(出典:ARM)

ARM Cortex-M系コアの比較表がコチラにあります。本ブログ関連を抽出したのが上表で、右側へ行くほど新しいコアになります。

Cortex-M85が、MPUのCortex-M7を超えるコア性能を持つことが判ります。

RA8シリーズ

RA8シリーズMCUポートフォリオとパーツ番号
RA8シリーズMCUポートフォリオとパーツ番号

Cortex-M85コア搭載のルネサスRAファミリMCUが、RA8シリーズです。今日現在、RA8シリーズは、RA8D1RA8M1RA8T1の3種類が発売中で、それぞれに評価ボードも提供中です。

RA8シリーズMCUポートフォリオとパーツ番号を示します。RA8xyのxが想定アプリケーション、yが改版数を示します。アプリケーションには、顔検出やモータ故障検出などのAI機能も含まれます。

AI顔検出が解りやすいので、以下、ディスプレイアプリケーションのRA8D1 MCU評価ボードを使ってAI MCU実例を示します。

評価ボード:EK-RA8D1

EK-RA8D1
EK-RA8D1

RA8D1(Cortex-M85/480MHz、ROM/2MB、RAM/1MB)評価ボードEK-RA8D1です。4.3インチカラー液晶と3MピクセルCMOSカメラも付属しています。RA8 Series Evaluation Kits Demo Overviewで解説動画を見ることができます。

クイックスタートガイドユーザーズマニュアルがダウンロードできます。

サンプルコード:EK-RA8D1 Example Project Bundle

EK-RA8D1のサンプルコードは、EK-RA8D1 Example Project Bundle(要ログイン)です。この中の_quickstartプロジェクトが、評価ボード実装済みサンプルコードです。

評価ボードと液晶、カメラ装着後、初めて電源投入すると_quickstart が動作します。この_quickstartサンプルコードが、Summaryで示すAI顔認証やオブジェクト検出を行います。

_quickstartのソースコード一覧です。FreeRTOSで開発されています。従って、ソースコードの移植性は高いと思います(関連投稿:FSP利用FreeRTOSアプリの作り方)。

_quickstart_ek_ra8d1_epのソースコード一覧
_quickstart_ek_ra8d1_epのソースコード一覧

Summary:Cortex-M85搭載RA8シリーズ説明

高性能MPUのAI処理を、低コスト・低消費電力MCUで実行するDSPやAI/ML性能強化Cortex-M85コアを説明し、同コア搭載RA8シリーズ最新MCUのRA8D1(Cortex-M85/480MHz、ROM/2MB、RAM/1MB)評価ボードEK-RA8D1と付属_quickstartサンプルコードを説明しました。

AI MCUアプリケーション例として、評価ボードへ液晶パネルとカメラを接続すれば、AIによるカメラ内顔検出、オブジェクト検出ができます。

AI MCUのカメラ内の顔検出とオブジェクト検出(出典:クイックスタートガイド )
AI MCUのカメラ内の顔検出とオブジェクト検出(出典:クイックスタートガイド )

Afterword:AI MCUアプリケーション開発方法

MCU開発能力に加え、幅広いAI知識もAI MCUアプリケーション開発に必要です。

AI MCUアプリケーションを開発する時は、本稿評価ボードとサンプルコードによる顔検出やオブジェクト検出AIサンプルコードをベースに、目的とする顧客AIアプリへ修正・変更を加えながらAIを習得することも効率的・効果的な方法だと思います。


MCUとMPUの違い

STマイクロ技術者が語るMPU Q&Aハンドブックの初回(1)に、MCU(Micro Controller Unit)とMPU(Micro Processing Unit)の違いが判り易くまとめられています。ハンドブックは、MPU関連Q&Aへと連載が続いています。

このハンドブック(1)は、MPU開発者から見た、ハード/ソフトや開発環境が、MPUとMCUではどう違うかを解説しています。視点はMPUです。MPUとMCUの差を示すには十分ですが、MCUの特徴、その良さを示す記述は少なめです(MPU連載を読者に読んでもらうために当然ですが…)。

そこで、本ブログ主題のMCU側から(1)を読み、MCU製品開発ポイントと、最新MCU/MPU動向を示します。

MCUとMPUの根本差

ハンドブック(1)集約のMPU開発者がつまずき易い8つのポイントを再掲します。詳細は、(1)を参照ください。

  1. MPUと一緒に使う部品と選び方
  2. 回路設計時の重要ポイント
  3. 基板レイアウト作成時の重要ポイント
  4. 基板にあわせて必要なソフトウェアのカスタマイズ項目
  5. 初めてのボード開発での落とし穴と確認事項
  6. MCUとMPUのソフト開発の違い
  7. 知的財産を守るためのセキュリティ知識
  8. 開発製品のタイプ別課題と確認事項

これらつまずきの原因は、「MPUは、ユーザによる周辺ハードウェア追加、複数人によるソフトウェア開発が基本」だからです。MCUとMPUの根本的な違いがここです。

※周辺ハードウェアは、電源とクロックを除くMCU/MPU単独動作必須ハードウェア。例えば、ROM/RAMなど。

※MCU基板レイアウト、ソフトウェア重要ポイントは、コチラの投稿参照。

MCUとMPUのアプリ対応差

MCUとMPUの違い
MCUとMPUの違い

つまり、MPUは、例えば高性能Cortex-Aコアプロセサへ、外付けRAMや必要なDSP/GPU/NPUを追加し、複数ソフトウェア開発を容易にするRTOSアプリ開発に使います。アプリ要求性能に対して、追加ハード選択肢も多いため、柔軟性という意味では広範囲、かつ、大規模アプリの製品開発が容易です。

一方、MCUは、RAMやDSP/NPUなどアプリ開発に必要となる周辺ハードウェアが、例えばCortex-M33などのコアプロセサと一体でパッケージ済みです。一体パッケージのため、MPU比、アプリ柔軟性や対応製品範囲は狭くなります。

「MCUは、特定アプリに必要十分なROM/RAMや周辺ハードウェアを、ベンダがパッケージ化しユーザへ提供」するため、小型・低価格な製品化が可能です。MCUはRTOS利用もできますが、小規模ベアメタルソフトウェア開発が基本です。

MCUのポイントはMPU比、シンプルです。開発アプリに適すMCUを選択することです。

MCUとMPUの最新動向

MCU/MPUに限らずPCもネット側も全ての制御系は、AI半導体と、MCU/MPU担当のエッジAIアプリ実現に向けて突進中です。

ルネサスは、低消費電力と柔軟性を備えたAIアクセラレータ:DRP-AI3(Dynamically Reconfigurable Processor for AI)をMPU向けに開発し、従来比、約17倍のAI処理や電力効率(10TOPS/W)を実現しました。この技術は、MCUへも展開されるでしょう。

DRP-AI3 に適用した軽量化技術(出典:ホワイトペーパーDRP-AI3 アクセラレータの特徴)
DRP-AI3 に適用した軽量化技術(出典:ホワイトペーパーDRP-AI3 アクセラレータの特徴)

電力効率の良いCortexM0+/M4、セキュリティ強化Cortex-M33に加え、MCUは、DSPやAI/ML性能が高いARM Heliumテクノロジ搭載Cortex-M85搭載のRA8ファミリ量産出荷が始まりました。

Microchipは、従来外付けだったPLDやFPGAのカスタムロジックを、8ビットMCUに内蔵しました。これにより、製品の部品削減・小型・低消費電力化が可能になります。8ビットが気になりますが、低価格を目指したのだと思います。

PSoC/PRoCマイコンが上記Microchipに近い特徴を持つ。

Summary:MCU開発ポイントと最新技術動向

MCUは、開発アプリケーションに応じたROM/RAMや周辺ハードウェアを、MCUベンダがパッケージ化しユーザへ提供します。このため、MPU比、小型・低価格な製品開発ができます。半面、アプリケーション柔軟性や対応範囲は、狭くなります。

従って、MCU開発は、開発アプリケーションに適すMCU選択がポイントです。

MCU/MPUは、AI処理を高速化するNPU内蔵、従来外付けカスタムロジック内蔵、Cortex-M85コア採用など、更なる高性能・小型・低価格トレンドへ向けて進化中です。

最新MCU/MPUデバイス採用により、コストパフォーマンスの優れた製品開発が期待できます。

Afterword:ディアルコアのサブコアは通信処理専用

ディアルコアMCU/MPUのサブコアは、Cortex-M4/M0+利用の通信処理専用例が多いです。これは、いつ発生するか不明、しかも、割込み優先度も高い通信処理負荷を、アプリメイン処理と分離するためです。

DSPやGPUと同様、サブコアは、周辺ハードウェアの一種と捉えれば理解し易いでしょう。

ネットや外部デバイスとMCU/MPU間通信は必須です。通信処理専用サブコアでメインコアと分離しておけば、開発アプリはそのままに、様々な通信プロトコルへの対応性が高まるメリットがあります。


Windows 11 24H2とWindows 12

現行Windows 11 23H2の次期OSは、筆者予測に反し、Windows 12ではなくWindows 11 24H2になりそうです。
次期Windows情報を、簡単にまとめました。

  • 次期OSコアは、Win11/10のNickelから、新しいGermaniumへ変わる。
  • Win11 24H2は、段階的機能ロールアウト(Controlled Feature Rollout:CFR)大型更新と予想。
  • 右側「Ctrl」をAIアシスタント「Copilot」キーへ変更するなど、MicrosoftはAI PCへ注力中。

Windows呼称一覧

Windowsは、商用バージョン名/OSコア/ビルド番号など、様々な名前で呼ばれます。本稿でも用いますので、対応表にしました。

商用バージョン名 OSコア(原子番号) ビルド番号 備考
Windows 11 23H2 Nickel (28) 22000番台 Win11/10は同一OSコア
Windows 11 24H2 Germanium (32) 26000番台 Win11先行Canary/開発チャネル
Windows 12 (?) Dilithium (?) 27000番台 Microsoft社内開発チャネル

※OSコアはMicrosoft社内の開発コード名。周期表を利用中。
※ビルド番号は更新時に増加する番号。ビルド番号が22000番台ならWin11 23H2更新と判る。
※Dilithiumはスタートレック登場の架空物質。Ge (32)の次As (33)は毒物印象が強いため非採用。

Windows OSコア名と周期表の関係(周期表出典:Wikimedia Commons)
Windows OSコア名と周期表の関係(周期表出典:Wikimedia Commons)

Summary:次期WindowsはOSコア刷新大型更新

次期Win11 24H2は、OSコアが現行のNiからGeへ変わります。

Microsoftは、過去、OSコア変更タイミングで商用バージョン数も増やしてきました。バージョン数を増やすと、ユーザに「新OS感」を与える反面、ユーザアプリに関しては「移行リスク」を生みます。

Win11は、Win10と同じNiコアです。操作性も大差ありませんが、Microsoftは商用バージョン数を10から11へ増やしました。但し、同じOSコアなので、Win10ユーザアプリは、リスク無しにWin11へ移行できました。

Win11 24H2は、OSコアが変わります。ユーザアプリ移行は、障壁が高いハズです。Win11 24H2配布が、段階的機能ロールアウトになると筆者が予想したのは、この高いアプリ移行リスクのためです。

今回商用バージョン数を増やさない訳は、Microsoftがユーザの興味を「AI PC」の方へ向けたいからだと思います。

AI PC化は、Windows付属ツールのメモ帳やペイント、ヘルプのAIアシスタント(Copilot)代行など全てのOS操作に及びます。これらAI処理に便利なのが、キーボード右側のCtrlを変更する新しいCopilot専用キーです。

これらAI PC化は、現行コアのWin11 23H2/Win10でも既に進行中です。これは、AI PCにMicrosoftが注力中であることを示しています。

Windows 11 24H2のOSコアと付属アプリ、Copilotキー変更
Windows 11 24H2のOSコアと付属アプリ、Copilotキー変更

つまり、次期Win11 24H2は、OS付属ツールのAI化と、アプリ「移行リスク」があるNiからGeコア変更、これら両方を同時に行います。

Microsoftは、あえて新しいバージョン名Win12は使わずに、ユーザ興味がAI側へ集中することを狙って、年次更新のWin11 24H2としたのだと思います。

Win11 24H2大型更新時の注意点

Win11 24H2 OSコアのNi➡Ge変更は確かです。今年の大型更新は、従来比、更新リスクがかなり高いと思います。

MicrosoftがCFRで小出しにWin11 24H2へ更新したとしても、ユーザ側もアプリを含む万全なバックアップ準備が必要です。

万一、Win11 24H2でアプリが正常動作しない場合は、OSを旧Win11 23H2へ戻すことも必要です。また、アプリ動作の確認時間も、従来比、長く取る必要があります。

Win11 24H2から23H2に戻しても、商用バージョン名は同じWin11です。23H2でも進行中のAI PC状況からユーザは、古いOSと感じることは少ないと思います。

筆者は、なぜ今MicrosoftがOSコアをGeへ変更するのか判りません。しかし、現行Win11 23H2+CopilotキーによるAI化だけでも、Windowsを開発等に使わないユーザなら、新OS感は十分得られます。AIは、それ程ユーザにインパクトを与えます。

※23H2サポート終了は2025年秋。ゆえにWin11 24H2更新猶予も2025年秋迄。

Afterword:参考資料

ビルド番号27000番台のDilithiumが、Win12になる予測もあります。どれ程のAI機能をPCへ実装し、それにより電力消費がどう変化するか不明な点が、Win12発表遅れ原因の1つ、だと筆者は思います。

ネット側のAI処理も含めると、2001年宇宙の旅:HAL9000のような本格的AI PCはそれ程電力とコストが必要のようです。Win12リリースは、AI半導体の普及を待つのかもしれません。

本稿は、以下資料を参考にしました。詳細は、各資料を参照ください。

Windows 12まで様子見、2024年2月22日、ZDNET
次期Windows 11は24H2、2024年2月9日、窓の杜
Windows 11 24H2とAI PCの実際、2024年2月2日、ITmedia


生成AI革命インパクト

生成AI革命は、GAFAMと呼ばれる現在のIT企業勢力図を変えそうです。米)The Atlantic分析では、新勢力は、GOMA。2024年2月16日のプレジデント オンライン記事が、「Google+Anthropic」対「Microsoft+OpenAI」と解説しています。

生成AI革命によるIT企業、半導体産業、MCUベンダへのインパクト記事をまとめました(生成AI革命はAfterword1参照)。

※2月23日金曜が天皇誕生日で休日のため、木曜先行投稿します。

Summary:生成AI革命インパクト

生成AI革命は、企業、産業、生活など全てにインパクトを与えそうです。例えば、人々のネット利用は、従来の検索型からChatGPTと生成AIによる会話型へ変わるでしょう。会話型に慣れると、検索型へは戻れないからです(検索/会話型はAfterword2参照)。

このようにChatGPTと生成AIは、人間へ優れたAIとのインタフェースを与えます。しかも、AI進化・学習スピードは、人間の比ではありません。

企業サービス利用者は、このAIを上手く使えるか否か、つまり、AI活用性が重要な選択肢になるでしょう。

一方、サービス提供企業は、利用者のAI活用欲求を満たさないと、企業衰退の可能性があることを本稿の各記事は示しています。

GAFAMからGOMAへ

生成AI革命がGAFAMからGOMAへ変える
生成AI革命がGAFAMからGOMAへ変える

GOMAは、Google、OpenAI、Microsoft、Anthropicの頭文字です。

米)Anthropicは、2021年設立のAIスタートアップ企業で、当時OpenAI研究担当副社長ダリオ・アモディ氏らが、MicrosoftとOpenAI協業方向の違いから退き設立した会社です。そして、Anthropicの協業先は、Googleです。

GAFAMからGOMAへ変わる理由は、AIの開発・運営費用が、従来の検索型コストの10倍かかるからです。このコストを賄いつつも、AIがどの程度利益を生み出すかは、現状不透明です。

このリスクを承知の上でAIを牽引できるのは、検索大手2社、GoogleとMicrosoftだけです。その結果、The Atlanticは、GAFAMからGOMAへ変わると分析しています。

ChatGPTに無償/有償版があり、生成AIのGPTモデルもGPT-3.5/GPT-4など選択肢が出てきたのは、10倍コストが背景にあります。

Microsoft)Copilot対Google)GeminiのAI活用コストパフォーマンス競争が始まりました。

半導体産業インパクト

半導体産業を根本から変える規模のAI半導体開発計画
半導体産業を根本から変える規模のAI半導体開発計画

米)OpenAI CEO解任/復帰劇があったSam Altman氏は、2024年2月12日~14日、アラブ首長国連邦)ドバイのThe World Governments Summit 2024で、GPT-4の次世代モデルGPT-5に言及しました。

さらにSam Altman氏は、日本GDPの約2倍、最大7兆ドル規模の「AI半導体開発計画」を画策中だそうです。

これは、半導体産業を根本から変える規模の計画です。

IntelやAMDもAI専用プロセサ:NPU内蔵CPUを相次いで新発売し、GAFAM各社も、独自AI向けプロセサを開発中です。生成AI革命には、大量のAI半導体が必要になるのでしょう。

2023年売上が約5270億ドル、2030年には、約1兆ドル見込みの世界半導体売上は、AI関連で占められるかもしれません。

MCUベンダインパクト

自動運転(出典:政府広報オンライン)
自動運転(出典:政府広報オンライン)

半導体生産を担うMCUベンダも、最近、組織再編ニュースが多いです。例えば、STマイクロルネサスなどです。その背景を推測しました。

産業向けMCUに比べ好調な車載向けMCUは、制御系と車載IT系の大きく2に分かれSDV(Software Defined Vehicle)を進化させつつあります。車載IT系は、AIとの親和性が高く、自動運転などのAI化は、MCUベンダ製品系列を大きく変える可能性があります。

MCUベンダの組織再編は、生成AI革命による変化の前兆かもしれません。

Afterword1:生成AI革命とは?

ChatGPTと生成AIの出現は、生成AI革命と呼ばれます。それは、ブラウザ経由(CopilotまたはGemini)で、人間対人間のように会話でAIへ質問し、結果(回答)を引出すことができ、しかも、全分野でAIが回答できるからです。まさに革命的です!

関連投稿:生成AI活用スキル

Microsoft Copilot対Google Gemini
Microsoft Copilot対Google Gemini

Afterword2:検索型から会話型へ

ネット利用は、従来、検索が大部分でした。Google)ChromeやMicrosoft)Edgeなどのブラウザは、「キーワード」入力に対する検索出力の正確さ・速さを競いました。

しかし、利用者が本当に知りたいのは、ブラウザ検索出力では無く、検索出力を分析した結果です。この分析は、利用者自身が行いました。つまり、検索型で「結果」を得る方法は、下記でした。

キーワード入力→検索出力の利用者分析→結果

ところが、ChatGPTと生成AIは、初めから利用者が知りたいことを「質問」としてネットへ入力できます。ネットで会話しながら追加質問もできます。会話型で「結果」を得る方法は、下記です。

質問入力→結果

検索型よりも知りたい結果が、直接得られます。ネット利用が検索型から会話型へ進化し、AIとの会話に慣れると検索型へ戻れない理由です。


評価ボード活用MCU製品開発

MCUの正常動作には、安定したクロック供給が最重要です。これは、ソフト/ハード、どちらの開発者も知っておくべき基本です。デジタルデバイスの動作保証は、安定クロックがあってこそだからです。

ルネサスRX、RAファミリで説明しますが、全ベンダの評価ボードでも同様です。ぜひ本稿を参考にしてください。

メイン/サブクロック回路基板設計要点

2024年2月発行のRX、RAファミリ向けアプリケーションノートを使って、製品開発にベンダ評価ボード活用メリット/デメリットを説明します。

メインクロック回路、サブクロック回路のデザインガイド Rev.1.00 (PDF) (日本語)
Design Guide for Main Clock Circuit and Sub-Clock Circuit Rev.1.00 (PDF) (英語)

※アクセス時、ログインが必要な場合があります。

メインクロックとサブクロックの基板例(出典:図26)
メインクロックとサブクロックの基板例(出典:図26)

RX、RAファミリのMCUを対象に、メイン/サブクロック発振回路基板パターンやルネサス推薦発振子メーカなど、特にMCUクロック関連回路の基板設計要点をまとめたのが、上記アプリケーションノートです。

MCUの動作を決めるのがメインクロック、サブクロックはRTC(時計機能)に使います。全てのデジタルデバイスは、正確なパルス幅の安定したクロックが供給されて初めて正常に動作します。MCUは、なおさらです。

クロックが不安定な場合は、原因不明のMCUトラブルが発生します。外来ノイズにも脆弱です。このような異常状態では、デバッグなどできません。

例えが悪いですが、人間で言えば「心不全」のようなものです。メインクロックの働きを具体的に知りたい方は、コチラを参照(正常クロック供給下の解説)。

従って、クロック回路基板設計要点を守った上でのMCU製品開発が最重要です。

基板設計理想解と現実解

前章の基板設計ガイドは、クロック関連部品だけの理想的な基板、つまり、「理想解」です。

しかし、実際の基板設計は、大きさやコスト、クロック以外の他部品の配置など様々な事柄を考慮する必要があります。そして、それらの総合判断結果が「現実解」であり、実際の製品基板です。

現実解は、ベンダMCU評価ボードでも同じです。

RAファミリRA6E1評価ボードのMCU回り基板を示します。理想解と違っても部品配置、クロック配線の太さ・短さ、そのシールドなど参考にすべき基板回路を持つ現実解です。

RAファミリRA6E1のMCU周り基板現実解
RAファミリRA6E1のMCU周り基板現実解

各ベンダMCU評価ボード目的

前章のMCU評価ボード現実解は、ルネサスRX、RAファミリに限った話ではありません。

つまり、クロック要点を満たし外来ノイズにも強く、かつ、Arduinoシールドコネクタなどで拡張機能も実装済みのデバイスが、各ベンダのMCU評価ボードです。これらは、MCUベンダ自身の開発ボードですので、極めて高い製品クオリティを持っています。

ベンダMCU評価ボードとは、MCUを評価するためのボードです。しかし、同時に、MCUが正常に動作するベンダ推薦発信器や基板パターンの製品ハードウェア手本も示していると言えます。

プロトタイプ時、各ベンダ評価ボードをそのまま制御系に流用するのは、原因不明MCUトラブル(心不全)を避ける手段として有効であることが判ると思います。

評価ボード活用得失

プロトタイプにMCU評価ボードを流用するメリット/デメリットをまとめます。構成は、下記とします。

プロトタイプ構成=評価ボード+ユーザ機能ボード+ユーザソフトウェア
ボード間接続=Arduinoコネクタ

メリット

  • 高信頼制御ハードウェアが、評価ボードにより簡単に得られる
  • 制御能力過不足時、Arduinoコネクタを持つ別評価ボード交換可能
  • ユーザ機能デバッグに集中できる

デメリット

  • 製品の大きさ、コストを上げる要因になる

簡単に言うと、高信頼で載せ替え可能な制御系と引き換えに、大きさやコスト面の犠牲が生じる構成です。
しかし、筆者は、早期プロトタイプ開発に最適な方法だと思います。

製品改善アプローチ

最終製品時の大きさ、コストを改善するには、評価ボードとユーザ機能ボードを一体基板化するのがBetterです。この時も、プロトタイプに使った評価ボードMCU周りの発振子配置や配線は、手本としてそのまま製品基板へ流用可能です。

また、一体化最終製品のトラブル発生時、ユーザ機能ハードウェア起因か、または、ユーザソフトウェア起因かの切り分けも、評価ボード流用プロトタイプは容易にします。なぜなら、評価ボードは、信頼性が高いベンダ開発品だからです。

つまり、最終製品とプロトタイプの差分が原因と考えられ、一体化基板ハード、または、ユーザソフトの2つに1つとなります。同一ユーザソフトでのトラブルなら、ハード起因が疑われます。

評価ボード活用プロトタイプは、早期製品化だけでなく、様々な用途やメリットを生みます。

Summary:評価ボード活用MCU製品開発

ベンダ評価ボード活用MCU製品開発
ベンダ評価ボード活用MCU製品開発

ルネサスRX/RAファミリのメイン/サブクロック回路デザインガイドから、MCU製品開発にベンダ評価ボードをそのまま流用する早期プロトタイプ開発方法を示し、得失を明らかにしました。

評価ボード活用プロトタイプは、大きさ、コストを改善する基板パターンの手本となるだけでなく、最終MCU製品トラブル原因が、ハードウェア起因かソフトウェア起因かを切り分ける手段にも使えるなど、メリットが大きいことを示しました。

Afterword:プロトタイプソフトウェア開発に弊社テンプレート

評価ボードがハードウェア手本なら、ベンダ開発サンプルコードは、ソフトウェアの手本です。

弊社テンプレートは、各ベンダの代表的MCU評価ボードに対応済みです。テンプレートは、ベンダサンプルコードを流用・活用し、プロトタイプ向けソフトウェアの早期開発が可能です。

弊社テンプレートと評価ボードを使って早期プロトタイプ開発を行い、MCU製品開発に役立ててください。