MCU：マイコンアーカイブ

RA用FSP v5.4.0リリース

2024年7月5日2024年7月6日 WithHappy

2024年6月27日、ルネサスRA用FSP v5.4.0同梱e2 studio 2024-04がリリースされました。セミナ参加のため、久しぶりに最新FSPへ更新したところ、弊社RAベアメタルテンプレートのFSPバージョン出力にバグを発見しましたので修正対策を示します。

Summary：FSPバージョン出力コード修正箇所

修正前：コンパイルエラ発生（RttViewer.cのL41）

APP_PRINT(“\r\n–> Current FSP version is v%d.%d.%d.”, version.major, version.minor, version.patch);

修正後：version_id_bをmajor/minor/patch前に追加

APP_PRINT(“\r\n–> Current FSP version is v%d.%d.%d.”, version.version_id_b.major, version.version_id_b.minor, version.version_id_b.patch);

修正後のJ-Link RTT ViewerによるFSPバージョン出力結果です。

コンパイルエラ対策

最新ツールへ更新後、以前のエラーフリーソースをコンパイルすると、以下のエラが発生します。

メンバ名major/minor/patchが不明なのが原因です。

対策に、version定義のfsp_pack_version_tを調べます。fsp_pack_version_tへカーソルを移動し、F3をクリックすると、fsp_pack_version_t定義箇所fsp_version.hへ自動的に移動します。

※F3クリックは定義検索に便利。これはEclipse IDE共通機能。

fsp_pack_version_tは、過去有った構造体が無くなっています。そこで、ソースmajor/minor/patchの前に、version_id_bを加えるとコンパイルエラは無くなります（構造体と共用体投稿はコチラ）。

e2 studioとRA用FSP更新

統合開発環境e2 studioとRA用FSPは、別々の更新タイミングです。各更新タイミングで、それぞれを最新版へ更新するのも１方法です。

しかし、これら2つを同梱し、同時に最新版へ更新できるWindowsパッケージが、FSP v5.4.0 with e2 studio 2024-04です（Mac/LinuxパッケージはリリースGitHubにあり）。同梱パッケージは、更新２度手間が省けるだけでなく、個別更新トラブルも避けられます。

同梱パッケージは、個別インストール版よりも数か月遅れてリリースされますが、お勧めの更新方法です（同梱投稿はコチラのまとめ参照）。

SEGGER J-Link RTT Viewer更新

RTT Viewerは、既存版が自動的に最新版へ更新されます。しかし、SEGGER社リンクから直接最新版をダウンロードするのも1方法です。古いVersionをお使いの方は、この方法も良いでしょう（RTT Viewerのprintfデバッグ関連投稿はコチラ）。

Afterword：環境依存トラブル対策

今回のような更新トラブルは、組込み開発では良くあります。開発品を顧客へ納入後、数年経ってから機能追加/修正の案件がある場合などです。納入開発環境と、最新版環境の差による「環境依存トラブル」です。

本稿は、簡単なメンバ名追加で対策できました。しかし、例えばAPI内部差によるトラブル等は、容易ではありません。安全側対策に、納入時の旧環境をそのまま使い続ける方法があります。同一MCUで新機能は使わない場合などは、有効な方法です。

一方、新機能の追加/修正やMCU変更案件は、環境依存トラブルも加味したスケジュール対策が望ましいと思います。どの程度加味するかが難しい問題ですが…。

お詫び

弊社RAベアメタルテンプレートV1ご購入者様は、本稿修正をお願い致します。また、この場を借りて、お詫び申し上げます。ご迷惑をおかけし、申し訳ございません。

情報機器大転換期

2024年6月28日2024年7月10日 WithHappy

情報機器（PC/スマホ/IoTデバイスなど）のハード/ソフト/使い方が、大転換期です。原因は、生成AI革命。インターネット商用解放期に匹敵する気がします。

2024年も半分終わった今、見えてきた情報機器大転換期の現状をまとめました。１章と２章が、ソフトバンクの生成AI革命の考え方、３章以降が、現状という段取りです。

ソフトバンクのAIとAGI、ASI

人類叡智の10000倍能力のArtiﬁcial Super Intelligence（出典：記事）

ソフトバンク会長兼社長の孫正義氏が、2024年6月21日の定時株主総会で、ソフトバンクは、ASI（Artiﬁcial Super Intelligence）を実現するとASCII記事が掲載しました。記事を極簡単にまとめたのが本章と次章です。

AGI（Artiﬁcial General Intelligence＝汎用人工知能）とは、人間の持つ考え方、知識の「一部を機能化」した現在のAIの親玉に相当し、人間と同じか最大でも10倍程度上回る「汎用の人工知能」。先端AI研究者のテーマがこのAGIで、5年以内、場合によれば3年ぐらいでAGI時代となる。

様々な天才同士が刺激しあい進化した人類と同様、AGI同士が刺激しあい、人類進化を加速するのがASI時代。ASIは10年前後でやってくる。孫氏が決めた指標では、人間の「1万倍程度の英知」。人類20万年史上、初めて圧倒的な人口知能となり、全常識が変わるのがASI時代。

例えば、スマートロボットがASIにつながると、工場生産や道路掃除、買い物や洗濯も代行可能。自動運転も、AIが技能学習し、一度も行ったことが無い場所でもスイスイ自動運転でき、大量生産や加工、物流などはロボットに置き換わる。

ソフトバンク孫正義氏が生まれた理由・使命は、このASI実現。

ASI実現手段

孫氏は、更にASI時代の基盤技術の1つが、現在様々な情報機器へ半導体IP提供中のArmとしました（Arm株式9割近くをソフトバンクが保有中）。

Armの強みは、設計力と低消費電力稼働で、ASIの広がりに貢献。出荷数量は上がることはあっても、下がることはない。ASI実現のため、ソフトバンクグループ総力でArm AIチップ、AIデータセンタ、AIロボットへ取組む。

Armの将来を孫氏は信じている。

制御系ハードウェア転換

Arm IPコアは、本ブログ掲載Cortex-Mシリーズをはじめ、多くのMCUベンダハードウェアにも採用中です。MCUのエッジAI化に伴い、従来シリーズよりも更に高性能なCortex-Mコア：Cortex-M85搭載MCUも発売開始となりました。

PCは、Microsoft Copilot+ PCが2024年6月18日にワールドローンチされました。40TOPS以上のNPUが注目され勝ちですが、NPUを制御するCPUにも転換が起こりつつあります。

現在、Copilot+ PC要件を満たすCPUは、QualcommのSnapdragon X Eliteだけです。このCPUも、Arm IPコアを採用中（4章）です。他社に先駆けるArm設計力が表れています。

AI処理でPCよりも先行するAIスマホは、そのCPUの多くがArmライセンスのチップです。6月20日発表のAppleパーソナルAI Intelligenceハードウェア要件は、A17 ProチップとMシリーズです。iPhone 15/15 Plus非対応のため、90%以上のiPhoneユーザは、Apple Intelligenceを使えないそうです。

これら制御系ハードウェアの転換理由は、「AI処理を実用可能なレベルで高速実行するには、ハードウェアが肝心」だからです。

つまり、生成AI革命が、従来制御系の全ハードウェアを転換させつつあるのが、今です。

ソフトウェア転換

NPUなどのAI処理ハードウェアを活かすのは、ソフトウェアです。例えば、Copilot+ PCには、Recall、Cocreator、Live Captions、Windows Studio EffectなどのAI機能が標準で備わっています。

但し更に重要な点は、これら標準AI機能の基となるWindows Copilot Runtimeを活用し、新なAIソフトウェアが開発できること、しかもArmネイティブであることです。

※Armネイティブとは、汎用RuntimeがArm専用ライブラリのように無駄無く高速動作すること。

MacOSは、Arm化が進んでいます。Windowsソフトウェア開発も、下図が示す従来x86からArmネイティブソフトウェア転換を迎えているようです（詳細はコチラの記事参照）。

ArmはレガシーのPC(x86など)を大きく上回っているとアピール（出典：記事）

情報機器使い方転換

インターネット商用解放は、IT革命をもたらしました。ユーザは、PCやスマホなどの機器を使って、ネット上を検索し、情報を得るようになりました。ネットに溢れる情報の検索装置が、IT機器でした。

生成AI革命は、PCやスマホの使い方を、単なる検索装置からアシスタント代行へと転換させつつあります。つまり、より高度な情報解析や解析に基づいた提案ができる個人アシスタントとしての使い方です。

従来の情報機器を、人間的で簡単に使えるAIアシスタント化しつつあるのが、今です。

Summary：情報機器大転換期

生成AI革命でPC/スマホ/IoTデバイスなどの情報機器ハードウェア/ソフトウェア/使い方が、大きく転換しつつある2024年半分終了の今をまとめました。

制御系IP提供のArm株式9割保有中ソフトバンクの生成AI革命に対する考え方と、AI実用はハードウェアが肝心、ソフトウェアのArmネイティブ化、情報機器AIアシスタント化などの転換現状を示しました。

AI進化スピードは驚異的です。人間開発者も進化が必要です。現状マクロ把握のため本稿を作成しました。

Afterword：オープンソースハードウェアコア、RISC-V

ライセンス料が必要なArm IPコアの対極にあるのが、オープンソースハードウェアコアです。例えば、RISC-V。採用例は、ルネサスのRISC-V MCU/MPUや、EsperantoのAIチップに見られます。

RISC-V採用理由は、少数命令による低消費電力動作です。Arm同様、低電力動作ハードウェアの重要性が解ります。RISC-VかArmかのコア選択は、製品売上見込みとその投資額で決まると思います。

※MCU製品は、IPハードウェア以外にコンパイラ、デバッガなどソフトウェア開発ツールも必要。Armコアならツール入手も容易だが、オープンソースハードウェアコアはこれらもベンダ準備必要（関連投稿はコチラ）。

日本政府マイナンバーカード施策に、上記のような費用対効果検討が全く無いのは、原資が税金のため？😢

MCUソフトウェア技術職年収上昇幅1位

2024年6月21日2024年6月22日 WithHappy

組込みソフトウェア技術職が、2023年度の転職者職種別年収増加幅で１位という嬉しい結果が発表されました（2024年6月12日、パーソナルキャリア運営転職サービス、デューダ）。

転職エージェントサービス利用者の採用決定年収の集計結果に基づいています。6月18日の＠IT関連記事、ニーズ高まる5つの理由と共に内容をまとめ、MCUソフトウェア/ハードウェア開発者へのアドバイスを示します。

職種別決定年収ランキング

組込みソフトウェア技術職は、地味で目立たない職種です。華やかなクリエイター・クリエイティブ職や、目立つ金融系専門職より年収増加幅が大きいことは、その認識が変化しつつある現状を示しています。

※技術職：数学や理科、工学、情報工学といった理系の専門的な知識を活かし製品の製造開発や維持管理にかかわる業務。
※専門職：長期の教育訓練を通じて習得される高度の専門的知識・経験を必要とする職位、ないしはそのような職位を担当する人。

MCUソフトウェア技術職年収上昇幅1位要因

前章比較14職種の中でMCUソフトウェア技術職の年収増加分（差分）が1位となった要因は、「IoTやAI普及」により、幅広い業界でのニーズが高まり、人材不足だからとパーソナルキャリアは分析しています。

ニーズが高まる5つの理由も示しています。

IoT拡大：IoT機器はMCUシステム開発が不可欠
自動車産業進化：MCU開発者専門知識が求められる
スマートファクトリーと産業自動化：産業用ロボットや自動化はMCU開発者ニーズを高める
医療技術進化：高度化医療機器にMCUシステムが使われる
エネルギー効率と環境配慮：エネルギー効率と環境配慮ソリューションにMCUシステム活用

MCU開発者は、幅広い分野のニーズがあり、安全性やリアルタイム性など開発制約が多いため人材不足が目立つことが1位要因です。

※MCUシステム開発は、ソフトウェアだけでなくハードウェアも必須です。MCUハードウェア技術者は、ハード/ソフトの垣根を越えハードテストプログラム開発などに積極的に参加しスキルを磨けば、ハードウェア直近の組込みソフトウェア技術職だとも言えます。

本ブログでは、ハード/ソフトを区別せずMCU開発者と表記します。

Summary：MCU開発能力は自ら切り開く

組込みソフトウェア技術職が、2023年度転職者職種別年収増加幅１位の結果は、MCU開発者の売り手市場ニーズを示しています。MCU開発者は、市場ニーズを把握し、多くの開発制約を解決できる幅広い能力を自ら磨く必要があります。

開発制約とは、例えば、コスト、期間、開発に必要な知識の広さ・深さなどです。さらに規模にもよりますが、MCU開発は多くの場合、一人で担当します。限られた時間内で、効率良く最大成果を上げるスキルや、業務内外の知識も、高まるニーズを満たすには必要でしょう。

転職を勧めている訳ではありません。市場ニーズを把握し、それを満たすよう研鑽することが、MCU開発者自身の価値、キャリアを高めると言いたい訳です。

Afterword：ベアメタルor RTOS or弊社テンプレート

MCUソフトウェア処理は、ベアメタルが良いのか、RTOSが良いのかは、RTOSオーバーヘッドやデバイスコスト、開発ソフトウェア移植・流用性などの考慮も必要です。2024年2月20日、“You Don’t Need an RTOS (Part1)”は、RTOS課題やスーパースケジューラ対策を説明しています。

歯ごたえある英文です。同ページをEdge閲覧中に、右上Copilotをクリックすると、日本語（ご利用中の言語で）ページ概要が無料生成できます。話題のAI活用で、効率良く内容理解ができます。

弊社販売中ベアメタルテンプレートもスーパースケジューラの一種ですので、嬉しい記事です。記事との差分は、弊社テンプレートが、初心者向きポーリングベースなことです。

中級向きになりますが、Part2やPart3内容を弊社テンプレートへ加えるのも、面白いと考えております。結果は、本ブログで示す予定です。

MCU開発者のCopilot+ PC

2024年5月31日 WithHappy

2024年5月28日、日本Microsoft津坂社長のCopilot活用記事が、PC Watchに掲載されました。メール要約や資料分析、優先タスク振分けなどCopilotを使った活用例は、ビジネスパーソンだけでなく、MCU開発者にとっても参考部分が多々あります。

筆者が特に印象に残ったのは「エンジニアでない津坂社長でも、使い続け、議論を繰り返すことでCopilotを使いこなせる（AI筋トレ）」の部分です。

背景技術の広さ深さは見せず、使い易さを追求したツールは、Copilotだけでなく最近のツール全般に当てはまります。そのCopilotを更に進化させるGPT-4oのAI研究者視点と、MCU開発ツール変化について示します。

謎が多いGPT-4oモデル

2024年5月28日、ビジネス+IT にAI研究者、今井翔太氏が、研究者視点のGPT-4o評価と謎、GPT-5への伏線を執筆しました。筆者が、ごく簡単にまとめたのが下記です。

“数年前ならAGI（Artificial General Intelligence、汎用人工知能）レベルに達したと想定できるGPT-4oは、AI研究者からみると、謎が多いモデルで従来スケーリング則からは不自然。しかし、殆どの人が考えるAGIに相当近づいた。GPT-4延長GPT-4oの次期超高性能モデルGPT-5準備中”

AIを利用する殆どの人、つまり、筆者などMCU開発者は、GPT-4o≒AGIと考えて良いと思います。前章、津坂社長のようにAGI化したCopilotをこき使って(！) 生産性や判断スピートを上げ、その中身や仕組みは知らなくても問題ないからです。

現在Copilotは、GPT-3.5/4でGPT-4oではありません。しかし、CopilotのようなAIツールは、使っているうちにGPT-4o/5などのテクノロジ進化と共にユーザ学習度も深くなり、最後にはユーザ専用アシスタントとなる可能性があります。

このツール自体の進化が、従来に無いAIツールならではの特徴です。

MCU開発ツール変化

MCUのIDE開発ツールは、Eclipse IDEベースが業界標準です。各MCUベンダ固有のAPIコード生成ツールやフラッシュプログラマをEclipse IDEへ機能追加し、MCU開発者へ無償提供されます。

最近、Eclipse IDEベースに代わってMicrosoft製Visual Studio Code（VSC）を使う変化が見られます。

MCUXpresso for Visual Studio Code構成（出典：NXPサイト）

例えば、NXPは、EclipseベースのMCUXpresso IDEの代わりに、VSCベースのMCUXpresso for Visual Studio Codeが使えます。もちろん、無償です。従来EclipseからVSCへ変えるメリットは、筆者には判りません。あえて推測すると、同じMicrosoft製Copilotとの親和性です。

つまり、数年後のAI活用MCU開発時に、EclipseベースよりもVSCの方がCopilotとの協調動作性が良いので、ユーザ能力に合わせた開発ができるかも(？) という訳です。

Summary：MCU開発者のCopilot+ PC

Microsoft発表のCopilot+ PCは、ユーザ検索履歴や能力レベルを、40TOPS以上のエッジAI NPUが学習し、ユーザに即した回答をCopilotが提供します。これは、広く深い知識が求められるMCU開発者にとっても、開発スピートアップやMCU習得の強力な助けになります。

MCU開発者がCopilotを上手く使うには、津坂社長のように使い続け、入出力議論を繰り返すことでエッジAI NPUがユーザを学習し、同時に開発者もCopilotに慣れる「AI筋トレ期間」が必要です。

CopilotなどのAIツール活用は、MCU開発者とエッジAI NPU双方の学習期間が必要

Visual Studio Code やCopilotに慣れ、エッジAI NPUを使いこなせるよう準備が必要かもしれません。Microsoft製ツール全盛となるのは、いささか気になりますが…。AIアシスタントCopilot影響大ですね。

Afterword：VSC頻繁更新Dislike

筆者は、VSCをWeb制作に使用中です。これは、過去使っていたツールが更新停止となったからです。拡張機能の多さやユーザカスタマイズが容易なVSCですが、その頻繁な更新はあまり好きになれません。

Eclipse IDEでも、エディタは標準以外の別エディタ、例えば、Notepad++変更も可能です。その他カスタマイズ機能も、現時点ではEclipseとVSCに大差無いと思います。

AI全盛時は、もしかしたらIDEで差が出るかも(？) と思ったのが本稿作成理由です。筆者は、未だ自作PC派です。生成AI加速モジュールをPCへ追加しエッジAI性能を上げるか検討中です。

安く早いGPT-4o

2024年5月17日 WithHappy

2024年5月13日、GOMA（Google、OpenAI、Microsoft、Anthropic）の一角、OpenAIが、GPT-4o（オー）を発表しました。オーは、omni、ラテン語のすべてを意味し、テキスト、音声、画像、映像の入力すべてに統合対応します。従来ChatGPTよりも安く、早い生成AI入出力処理が可能です。

Summary：安く早いGPT-4o

GPT-4o特徴、OpenAI発表の要約などが堀江貴文氏のYouTube動画（6分31秒）で判ります。
前半2分40秒までが、「本物の人間、堀江氏」解説、後半は、GPT-4oを使ってOpenAI発表を要約し、それを「AIで生成した堀江氏」が説明しています。

既存ChatGPTや競合他社比、利用料金が50%安く、音声と画像理解が速いのが統合対応GPT-4oの特徴です。例えば、音声応答は人間と同じ会話速度、笑い声や感情表現画像も出力できます。

Mac版アプリも同時発表、Windows版は、今年後半リリース予定です。

対人間インタフェース性能向上

AIを人が上手く使うコツは、AIへの質問力です。上手い質問ができれば、所望の回答が得られます。ただ現在、AI自身が急変化しています。この過渡期のAIに合わせた質問のコツを人が掴むのは大変です。

そこで、人間同士の対面会話と同じようにAI側が対応できれば、より簡単に質問ができます。AI側が人に近づくからです。また、対人間インタフェース性能向上によりAI自身の学習速度も更に上がります。

安く早いGPT-4o の特徴が活かせるのは、このAI対人間インタフェースの部分です。

例えクラウドAI利用時でも、GPT-4oは、人と同じレスポンス速度で会話し、人の画像を認識、笑うなどAI感情表現も出力します。堀江氏動画（2分5秒頃）で語られた、GPT-4oとぬいぐるみを使った子供や老人のAI話し相手のフロントエンドとして十分使えます。

つまり、AI入出力を、より人間らしく効率的にできる能力をGPT-4oは持っています。

筆者としては、PC向けだけでなく、エッジAI MCU/MPU向けアプリも欲しいです。
※AIとAIデータを引出すChatGPTなどの役割は、コチラの投稿1章参照。

シンギュラリティ

AIが人間よりも賢くなる時を、シンギュラリティ（日本語は技術的特異点）と言います。AIの世界的権威：Ray Kurzweil氏が、2005年の著書でシンギュラリティを2045年と予測したため、2045年問題とも呼ばれます。

筆者は、GPT-4oにより、AIがシンギュラリティに一歩近づいたと思います。最近AI関連の話題は、食傷ぎみですが、GPT-4o出現は、予測よりも早くシンギュラリティになる可能性を秘めています。

GoogleやAnthropicのGPT-4o対抗ChatGPT、MicrosoftのGPT-4o対応Copilot、OpenAIの次期GPT-5がどれ程の能力を持つか想像もできません。ただGOMA各社が、AI開発を加速中なのは確かです。

また、進化中のAIが、次世代半導体も牽引しています。GOMAだけでなく、半導体製造、電力、通信各社もAIが動向を左右しています。生成AI革命といわれるゆえんです。
※生成AIと電力、通信会社の関係は、コチラの投稿参照。

Afterword：MCUソフトウェア開発史と似ている？

現在のMCUソフトウェアは、ベンダHAL（Hardware Abstraction Layer）APIを利用した開発です。数十年前のMCU毎に異なるハードウェアドライバを自作し、アプリ担当に自作APIを提供していた頃とは別世界です。

レベルは違いますが、AI進化もこのMCU開発史に似ています。数年後には、人工知能活用開発が普通になるかもしれません。今、AI進化過程を実感できる我々は、幸せだとも思います。

MCU開発者が、PC利用や開発方法を根本から変える可能性があるAI状況を知ることは必然です。根本変化、別世界に対応できるよう状況を把握しておきましょう。

生成AIデータセンタとIOWN

2024年4月26日2024年4月26日 WithHappy

サーバやネットワーク機器を安全に管理運用する施設がデータセンタです。世界規模の生成AI需要急増に対し、米）大手AI企業の日本国内へのデータセンタ新設が話題です。2024年4月21日その背景が、欧米に比べ日本のプライバシー規制の緩さだとTV放送がありました。

筆者は、地震国日本にAI関連投資が盛んな理由は、地理的に離れたデータセンタ間を、低遅延接続できるIOWNがあるからだと思います。このリアルタイムネットワークAI処理の要、IOWNを説明します。

データセンタ間IOWN接続遅延

光電融合デバイスによるNTT IOWN APN（オールフォトニックス・ネットワーク）は、従来比電力効率100倍、伝送容量125倍、エンドエンド遅延1/200が目標です（関連投稿はコチラ）。

2024年4月12日、NTTは、IOWN APNの英国と米国でのデータセンタ間接続実証結果を発表しました。

400Gbps通信	データセンタファイバー距離（km）	遅延時間（ms）	遅延揺らぎ（μs）
London、UK	89	0.893	0.035
Ashburn、US	4	0.062	0.045

同一施設データセンタ間遅延規定＜2ms

同じ施設、場所の複数データセンタ間の接続遅延は、2ms以内の規定があります。

従って、IOWN APN実証結果の遅延1ms以下、揺らぎ1μ秒以下は、例えデータセンタ設置場所が離れていても、規定2ms以内を満たし、同一施設データセンタとして機能することが判ります。

また、IOWN APN回線は、ダークファイバー新設無しで波長追加により提供できることも特徴です。APN提供までの時間短縮が可能だからです。

※ダークファイバーとは、敷設光ファイバーのうち、未使用で光信号が稼働していない（ダークな）芯線。

つまり、地理的に分散したデータセンタ間をAPNで接続しておけば、地震や過負荷トラブル発生時でも当該データセンタの負荷をAPNで別の場所へ移動できます。そして、あたかも同一施設のデータセンタのように稼働を続けられます。

データセンタ信頼性向上に役立つIOWN APNは、地震国日本ならではのネットワーク技術です（関連記事：NTT光ファイバー分岐・合流に世界初成功）。

NTTは、これら特徴や欧米でのAPN実証実験により、光電融合デバイスネットワークIOWN APNを、生成AIデータセンタや金融分野向けのワールドワイドインフラとして普及を狙っています。

郊外データセンタと市中カメラのAPN接続

また、NTTは2024年2月20日、武蔵野市データセンタと横須賀市設置カメラ間の100kmをIOWN APNで接続し、郊外データセンタで市中カメラのリアルタイムAI分析実験を行いました。

これは、超高速ネットワークを活かしたリアルタイムクラウドAI処理例です。但し、超高速ネットワーク回線が十分安くなった時の話です。未だ高価なIOWN1.0ですが、IOWN4.0で現状インターネット並み価格になった後の話です。

それまでは、クラウド側よりもエッジ側でAI処理を行うアプローチが、AI処理遅延、電力消費の点から現実的だと思います（関連投稿：エッジAI導入アプローチ）。

日本への欧米AI投資

AI関連投資は、データセンタだけではありません。

2024年4月15日、米OpenAIは、アジア初のOpenAI Japan始動を発表しました。日本語最適化GPT-4カスタムモデルの提供を開始するそうです。2024年4月10日、米Microsoftも、日本へAI研究所など今後2年間で29億ドルの投資を発表済みです。

もちろん日本側AI投資も盛んです。例えば、4月19日、KDDI の1000億円、4月23日、ソフトバンクの1500億円投資などです。

いずれの投資も、高信頼ネットワークインフラ技術IOWNが日本にあるからです。

Summary：生成AIデータセンタとIOWN

生成AIやインターネット金融の要であるデータセンタは、災害やセキュリティ事故などのリクスに強いことが必要です（日本データセンタより）。

世界規模の生成AI需要急増に対し、地震国日本で米）AIデータセンタ新設やAI関連投資が盛んな背景は以下です。

欧米よりも緩い日本のプライバシー規制
データセンタ地理的分散配備を可能とする低遅延NTT IOWN APN接続

Afterword：次回投稿5月10日（金）

来週5月3日（金）は、ゴールデンウイーク中のため休みを頂き、5月10日（金）に次回投稿します。

エッジAI導入アプローチ

2024年4月19日 WithHappy

市中ビデオカメラへのエッジAI応用例とどの程度TOPS能力が必要かが判る記事、STM32F3マイコンの電動自転車へのAI応用記事から、MCUとMPU/SBCのエッジAI導入アプローチの違いを説明します。

ビデオカメラのエッジAI応用例

AIビジョンプロセサHailo-15によるカメラノイズ除去、鮮明化例（出典：記事）

上図は、左側オリジナルビデオ画像を、AI Visionプロセサ：Hailo-15を使って、ノイズ除去と鮮明化、人物認識を行った例です。

この例では、低照度下で撮影した4Kビデオ画像のノイズ除去に約100ギガオペレーション/秒（GOPS）、30フレーム/秒のリアルタイムビデオストリーミングなので3 TOPS処理能力が必要です。

Hailo-15は、AI処理能力に応じて現在3製品をラインナップしており、それぞれのTOPS値が下図です。

7 TOPSのHailo-15Lでも十分なビデオカメラエッジAI処理が可能です。カメラ外付けのHailo-15は、例えば、SBC（シングルボードコンピュータ）Raspberry Pi 5と組み合わせると面白い装置が開発できると思います。

同様のビデオエッジAI処理をMCUで実現する場合は、コチラの投稿で示したCortex-M85コア搭載RA8D1があります。

電動自転車のエッジAI応用例

2024年4月3日、STマイクロは、電動自転車搭載の汎用MCU STM32F3（Cortex-M4/72MHz、Flash/128KB）へ、無償エッジAI開発ツールSTM32Cube.AIを使って、自転車タイヤの空気圧を推定、空気を入れるタイミングを示すAI機能を実装しました。

STM32F3は、上記AI機能の他にも自転車本体の電動アシスト量制御やモータ制御も行っています。つまり、空気センサなどの追加ハードウェア無しでエッジAI機能が低コストで実装できた訳です。

STマイクロのMCUソフトウェアは、HAL（Hardware Abstraction Layer）APIを使って開発すると、同社の異なるMCUコアでも移植性の高いソフトウェアが作れます。

最新40nmプロセス製造のSTM32F3上位機種が、汎用STM32G4（Cortex-M4/170MHz）です。STM32G4ソフトウェア開発をご検討中の方は、弊社STM32G0x（Cortex-M0+/64MHz）テンプレートをご活用ください。
また、より低価格低消費電力なSTM32C0（Cortex-M0+/48MHz）へもG0xテンプレートが適用可能です。
詳細は、info@happytech.jpへお問い合わせください。

Summary：エッジAI導入の2アプローチ

実際のエッジAI応用例から、MCUとMPU/SBCではエッジAI導入アプローチが異なる事を示しました。

MCUは、STM32F3例が示すように、「追加ハードウェア無し低コストAI実装アプローチ」です。STM32Cube.AIを使い、実装MCUへソフトウェアのみでAI機能追加を行います。

MPU/SBCは、外付けHailo-15H/M/Lを使ってエッジAI処理を行います。「拡張性重視のAI実装アプローチ」です。

ユーザが求めるAI機能は、今後益々増えます。エッジAI処理増加により、より高い電力効率で高性能な処理コアが求められるのは、MCUもMPU/SBCも同じです。

製品開発には、ある程度の期間が必要です。この期間中に増加するエッジAI処理増に耐えられる製品の処理コア選定は、重要検討ポイントになるでしょう。

Afterword：ビデオエッジAI処理プロセス

最初の記事に、ビデオエッジAI処理プロセスが良く判る図があります。これを見ると、エッジAI処理がハードウェアの並列処理に向いていることも判ります。

ハードウェアは、製品化後、簡単に追加ができないため、どの程度の余力を製品ハードウェアに持たせるかは、コストとの兼ね合いで「永遠の課題」です。これは、ソフトウェアのみでAI機能を実装するSTM32Cube.AIでも同じです。製品実装済みMCUの余力を上回るAI機能追加はできないからです。

つまり、当面の安心をMCU開発者へ与えるには、最新MCUの製品利用がBetterということです。

Windows 12 AIとNPU

2024年4月5日2024年4月6日 WithHappy

Windows 12は、40TOPS以上のNPUが推薦要件になりそうです。TPM 2.0が、Win11アップグレード要件だったのと同様です。

クラウド電力不足解消のエッジAI半導体が、今年のPC CPUと組込みMCUのトレンドになりそうです。

40 TOPS以上NPUとは?

TOPS（Tera Operations Per Second）とは、1秒間に処理できるAI半導体の演算数です。

NPU（Neural Processing Unit）は、GPU（Graphic Processing Unit）処理の内、AI処理に特化した処理装置のことで、1TOPSなら1秒間に1兆回のAI演算が可能です。※GPU/NPUの違いは関連投稿参照。

例えば、GeForce RTX 3060クラスのGPUは約100TOPS、NPU内蔵最新Intel CPUは34TOPS、Apple M3は18TOPSの性能を持つと言われます。

つまり、40TOPS以上のNPU要件は、現状比、かなりの高性能PCやゲーミングPCを指します。

Windows 12のAI

現状のNPU処理は、Web会議の背景ぼかし、複数言語の同時翻訳、通話ノイズの除去など、主にローカルPCのリモート会議AI演算に使われます。COVID-19流行中のユーザ要望はこれらでした。

しかし、Microsoftが急速普及中のAIアシスタントCopilotは、PCユーザのAI活用を容易にし、AI関連処理はローカルNPUからクラウドデータセンターの利用へと変わりました。

AI活用がこのまま普及すると、世界のクラウド側電力不足は、避けられなくなります。このクラウド側対策が、電力効率100倍光電融合デバイスのNTT）光電融合技術です（関連投稿：IOWN）。

現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める（出典：NTT STORY）

クラウドAI処理ではレスポンスも悪くなります。MicrosoftとIntelは、クラウド電力不足やタイムラグ対策に、ローカル（エッジ）AI PC、つまりNPU処理能力向上が、クラウドとエッジのAI処理分散になり重要と考えている、と筆者は思います。

組込みMCUのAI

AI活用や電力効率向上は、組込みMCUへも浸透しつつあります。

エッジAI MCUアプリケーションは、ポンプ異常検出、故障検出、顔認識、人物検出など広範囲に渡ります。

STマイクロは、次世代STM32MCU向けに18nm FD-SOIと相変化メモリを組み合わせた新プロセス技術を発表しました。これにより、従来比、電力効率50%以上、メモリ実装密度2.5倍、AI機能集積度3倍に向上します。量産は、2025年後半見込みです。

18nm FD-SOIと相変化メモリ技術を組み合わせた次世代STM32MCUプロセス（出典：STマイクロ）

ルネサスは、組込み向け次世代AIアクセラレータを開発し、従来比、最大10倍の電力効率で高速AI処理を可能にしました。これにより、様々なエッジAI MCUアプリケーションに柔軟対応が可能です。

スマートフォンのAI

PCやMCUの一歩先を行くエッジAI活用が、現状のスマートフォン向けプロセサです。

顔認証や音声認識、スマホ写真の加工や暗い場所の撮影補正など、全てスマホ単独で、しかも高速AI処理を行っています。これらスマホの低電力高速AI処理に、NPU内蔵スマホプロセサが貢献しています。

PCは、スマホにない大画面を活かしたAI活用、MCUは、スマホ同様の低電力高速AI活用を目指しAI半導体を準備中なのが今年2024年と言えます。

Summary：AI半導体がPC/MCUトレンド

半導体は、供給に年単位の準備期間が必要です。最先端AI半導体であればなおさらです。

急速なAI活用や普及は、クラウド電力不足やユーザ要望変化をもたらし、解消にはハードウェアのエッジAI半導体が不可欠です。

PC/MCU業界は、どちらもAI半導体の安定供給に向け足並みを揃え準備中です。Microsoftが、ソフトウェアWindows 12提供を遅らせ、代わりにWin11 24H2としたのも足並み合わせのためと思います。

足並みが揃った後のWindows 12推薦要件は、40 TOPS以上の高性能NPUになるかもしれません。
組込みMCUは、エッジAI活用と電力効率向上の新AI半導体製造プロセスに期待が高まっています。

PC、MCUどちらもAI半導体が2024年トレンドです。

Afterword：AI PC秘書/家庭教師

エッジAI PCのNPU性能が上がれば、秘書や家庭教師としてPCを活用できます。助けが必要な処理や不明な事柄は、AI PC秘書/家庭教師から得られるからです。2010年宇宙の旅のHAL 9000のイメージです。

AI PCがHAL 9000に近づけば、NPUがユーザ個人情報を学習し、ユーザ志向、能力レベル、癖などに基づいたAI回答を提供するでしょう。ブラウザが、ユーザ志向に沿った広告を表示するのと同じです。

個人情報は、セキュリティの点からクラウドよりも本来エッジPCが持つべきです。AI PCを秘書/家庭教師として活用する時は、個人情報を学習/保持する高性能NPUは必然だと思います。

TPMと似た性質をNPUも持つと言えます。40 TOPS以上のNPU必要性は、どの程度高度/高速なAI PC秘書/家庭教師を希望するかに依存します。個人的にはHAL 900は欲しいかな？

2024-04-06 追記：40 TOPS Ｍ.2生成AIアクセラレーションモジュール

HAILOからM.2フォームファクタへ追加できるWindows向け40 TOPS AIアクセラレータモジュールが発表されました。

自動運転EV開発終了と技術者

2024年3月29日 WithHappy

Appleの自動運転EV開発終了の3理由記事（2023年3月22日、ITmedia）は、技術的面白さとビジネスとの共立の難しさを示しています。

日本では3月末は、配置転換の時期です。この記事を技術者目線で読み、個々の技術者にビジネスセンスが必要だという感想を書きます。

Apple自動運転終了理由

Appleは、ハードウェア/ソフトウェアの両方を開発・製造でき、ユニークな製品やサービス、価値観をユーザへ提供する企業で、現在GAFAMの1社です。そのAppleが、自動運転EV開発を終了した理由は、

EV商品性と採算性の難しさ
自動運転技術の難しさと高リスク
自動運転中の新価値提供の難しさ

の3つを記事は挙げています。

難しさの中身は、記事に判り易く説明されています。本ブログ読者の方は、中身が判り、行間の技術困難度も推測できると思います。※自動運転とEVは別物も判る。

技術者がこれら課題を克服すれば、他社やライバルより優位に立てること、優位に立つために日々切磋琢磨していること、その結果喜びも得られること、つまり、技術者には最先端で面白い課題だと判ります。

配置転換技術者のモチベーション

その最先端技術者集団のAppleが、ビジネス的には自動運転EV開発の終了判断をしました。これにより、自動運転EVからAI部門へ配置転換された2000人の技術者は、どうモチベーションを保つのでしょうか？

※モチベーションとは、行動を維持する原動力や動機となる目的やきっかけ。

道路やネットワークなど外部環境と協調動作する自動運転EVに対し、AIは、自らネットワークを探査・情報収集し、生成AIで新たな情報を作成します。素人ながら、真逆の感じがします。

技術者の別部署への配置転換や移動は、ありがちです。詳細な移動理由が判ることもあるでしょうが、多くの場合、個人には簡単な移動通知だけです。

移動技術者がモチベーションを維持するには、ビジネスセンスが必要だと思います。つまり、記事記載の様々な「ビジネス採算性やリスク」を、自分で評価・分析できることが必要だと思います。

ビジネスセンスと技術の両方をバランス良く持てば、配置転換理由を深く理解し、新なモチベーションアップに繋がります。

Summary：技術造詣の深さとビジネスセンス

専門技術の造詣が深いこととビジネスセンスの両方を持つことは、技術者に必須です。自分の立ち位置を正確かつ俯瞰的に捉えるためです。

技術者・開発者は、専門分野の視野狭窄に陥る危険性もあります。技術的面白さにより、現状維持バイアスも発生します。

これらの危険には、採算性などのビジネスセンスを養い、俯瞰的なビジネス視野も同時に持つことで危険回避とモチベーション維持になると感じた記事でした。

Afterword：IoT MCU開発者も必読記事

Apple以外でもDysonやGoogleが撤退した自動運転開発史や、スマホを超える自動運転中のエンターテインメントなど、IoT MCU開発者にも役立つ面白い記事です。

自動運転レベル4の実証実験は、日本各地で行われています。が、事故報告も…。リスクを下げるためか、同業他社協業も検討中だとか･･･。激動自動運転とEV、目が離せません！

Cortex-M85搭載RA8シリーズ説明

2024年3月15日 WithHappy

前投稿MCUとMPUの違いで紹介したルネサスRAファミリ最新MCUのRA8シリーズを説明します。
RA8は、従来Cortex-M7クラスの高性能MPUが必要なAI処理を、低コスト・低消費電力なAI MCUで実現します。

Cortex-M85コア

ARM Cortex-M系コアの比較表がコチラにあります。本ブログ関連を抽出したのが上表で、右側へ行くほど新しいコアになります。

Cortex-M85が、MPUのCortex-M7を超えるコア性能を持つことが判ります。

RA8シリーズ

Cortex-M85コア搭載のルネサスRAファミリMCUが、RA8シリーズです。今日現在、RA8シリーズは、RA8D1、RA8M1、RA8T1の3種類が発売中で、それぞれに評価ボードも提供中です。

RA8シリーズMCUポートフォリオとパーツ番号を示します。RA8xyのｘが想定アプリケーション、yが改版数を示します。アプリケーションには、顔検出やモータ故障検出などのAI機能も含まれます。

AI顔検出が解りやすいので、以下、ディスプレイアプリケーションのRA8D1 MCU評価ボードを使ってAI MCU実例を示します。

評価ボード：EK-RA8D1

RA8D1（Cortex-M85/480MHz、ROM/2MB、RAM/1MB）評価ボードEK-RA8D1です。4.3インチカラー液晶と3MピクセルCMOSカメラも付属しています。RA8 Series Evaluation Kits Demo Overviewで解説動画を見ることができます。

クイックスタートガイド、ユーザーズマニュアルがダウンロードできます。

サンプルコード：EK-RA8D1 Example Project Bundle

EK-RA8D1のサンプルコードは、EK-RA8D1 Example Project Bundle（要ログイン）です。この中の_quickstartプロジェクトが、評価ボード実装済みサンプルコードです。

評価ボードと液晶、カメラ装着後、初めて電源投入すると_quickstart が動作します。この_quickstartサンプルコードが、Summaryで示すAI顔認証やオブジェクト検出を行います。

_quickstartのソースコード一覧です。FreeRTOSで開発されています。従って、ソースコードの移植性は高いと思います（関連投稿：FSP利用FreeRTOSアプリの作り方）。

Summary：Cortex-M85搭載RA8シリーズ説明

高性能MPUのAI処理を、低コスト・低消費電力MCUで実行するDSPやAI/ML性能強化Cortex-M85コアを説明し、同コア搭載RA8シリーズ最新MCUのRA8D1（Cortex-M85/480MHz、ROM/2MB、RAM/1MB）評価ボードEK-RA8D1と付属_quickstartサンプルコードを説明しました。

AI MCUアプリケーション例として、評価ボードへ液晶パネルとカメラを接続すれば、AIによるカメラ内顔検出、オブジェクト検出ができます。

AI MCUのカメラ内の顔検出とオブジェクト検出（出典：クイックスタートガイド）

Afterword：AI MCUアプリケーション開発方法

MCU開発能力に加え、幅広いAI知識もAI MCUアプリケーション開発に必要です。

AI MCUアプリケーションを開発する時は、本稿評価ボードとサンプルコードによる顔検出やオブジェクト検出AIサンプルコードをベースに、目的とする顧客AIアプリへ修正・変更を加えながらAIを習得することも効率的・効果的な方法だと思います。