安く早いGPT-4o

AI対人間インタフェース性能を向上するGPT-4o
AI対人間インタフェース性能を向上するGPT-4o

2024年5月13日、GOMA(Google、OpenAI、Microsoft、Anthropic)の一角、OpenAIが、GPT-4o(オー)を発表しました。オーは、omni、ラテン語のすべてを意味し、テキスト、音声、画像、映像の入力すべてに統合対応します。従来ChatGPTよりも安く、早い生成AI入出力処理が可能です。

Summary:安く早いGPT-4o

GPT-4o特徴、OpenAI発表の要約などが堀江貴文氏のYouTube動画(6分31秒)で判ります。
前半2分40秒までが、「本物の人間、堀江氏」解説、後半は、GPT-4oを使ってOpenAI発表を要約し、それを「AIで生成した堀江氏」が説明しています。

既存ChatGPTや競合他社比、利用料金が50%安く、音声と画像理解が速いのが統合対応GPT-4oの特徴です。例えば、音声応答は人間と同じ会話速度、笑い声や感情表現画像も出力できます。

Mac版アプリも同時発表、Windows版は、今年後半リリース予定です。

対人間インタフェース性能向上

AIを人が上手く使うコツは、AIへの質問力です。上手い質問ができれば、所望の回答が得られます。ただ現在、AI自身が急変化しています。この過渡期のAIに合わせた質問のコツを人が掴むのは大変です。

そこで、人間同士の対面会話と同じようにAI側が対応できれば、より簡単に質問ができます。AI側が人に近づくからです。また、対人間インタフェース性能向上によりAI自身の学習速度も更に上がります。

安く早いGPT-4o の特徴が活かせるのは、このAI対人間インタフェースの部分です。

例えクラウドAI利用時でも、GPT-4oは、人と同じレスポンス速度で会話し、人の画像を認識、笑うなどAI感情表現も出力します。堀江氏動画(2分5秒頃)で語られた、GPT-4oとぬいぐるみを使った子供や老人のAI話し相手のフロントエンドとして十分使えます。

つまり、AI入出力を、より人間らしく効率的にできる能力をGPT-4oは持っています。

筆者としては、PC向けだけでなく、エッジAI MCU/MPU向けアプリも欲しいです。
※AIとAIデータを引出すChatGPTなどの役割は、コチラの投稿1章参照。

シンギュラリティ

AIが人間よりも賢くなるシンギュラリティ、2045年問題
AIが人間よりも賢くなるシンギュラリティ、2045年問題

AIが人間よりも賢くなる時を、シンギュラリティ(日本語は技術的特異点)と言います。AIの世界的権威:Ray Kurzweil氏が、2005年の著書でシンギュラリティを2045年と予測したため、2045年問題とも呼ばれます。

筆者は、GPT-4oにより、AIがシンギュラリティに一歩近づいたと思います。最近AI関連の話題は、食傷ぎみですが、GPT-4o出現は、予測よりも早くシンギュラリティになる可能性を秘めています。

GoogleやAnthropicのGPT-4o対抗ChatGPT、MicrosoftのGPT-4o対応Copilot、OpenAIの次期GPT-5がどれ程の能力を持つか想像もできません。ただGOMA各社が、AI開発を加速中なのは確かです。

また、進化中のAIが、次世代半導体も牽引しています。GOMAだけでなく、半導体製造、電力、通信各社もAIが動向を左右しています。生成AI革命といわれるゆえんです。
※生成AIと電力、通信会社の関係は、コチラの投稿参照。

Afterword:MCUソフトウェア開発史と似ている?

現在のMCUソフトウェアは、ベンダHAL(Hardware Abstraction Layer)APIを利用した開発です。数十年前のMCU毎に異なるハードウェアドライバを自作し、アプリ担当に自作APIを提供していた頃とは別世界です。

レベルは違いますが、AI進化もこのMCU開発史に似ています。数年後には、人工知能活用開発が普通になるかもしれません。今、AI進化過程を実感できる我々は、幸せだとも思います。

MCU開発者が、PC利用や開発方法を根本から変える可能性があるAI状況を知ることは必然です。根本変化、別世界に対応できるよう状況を把握しておきましょう。


生成AIデータセンタとIOWN

サーバやネットワーク機器を安全に管理運用する施設がデータセンタです。世界規模の生成AI需要急増に対し、米)大手AI企業の日本国内へのデータセンタ新設が話題です。2024年4月21日その背景が、欧米に比べ日本のプライバシー規制の緩さだとTV放送がありました。

筆者は、地震国日本にAI関連投資が盛んな理由は、地理的に離れたデータセンタ間を、低遅延接続できるIOWNがあるからだと思います。このリアルタイムネットワークAI処理の要、IOWNを説明します。

データセンタ間IOWN接続遅延

光電融合デバイスによるNTT IOWN APN(オールフォトニックス・ネットワーク)は、従来比電力効率100倍、伝送容量125倍、エンドエンド遅延1/200が目標です(関連投稿はコチラ)。

IOWN特徴(出展:NTTサイト)
IOWN特徴(出展:NTTサイト)

2024年4月12日、NTTは、IOWN APNの英国と米国でのデータセンタ間接続実証結果を発表しました。

英国、米国のIOWN APN実証実験(出典:NTTサイト)
英国、米国のIOWN APN実証実験(出典:NTTサイト)
400Gbps通信 データセンタファイバー距離(km) 遅延時間(ms) 遅延揺らぎ(μs)
London、UK 89 0.893 0.035
Ashburn、US 4 0.062 0.045

同一施設データセンタ間遅延規定<2ms

同じ施設、場所の複数データセンタ間の接続遅延は、2ms以内の規定があります。

従って、IOWN APN実証結果の遅延1ms以下、揺らぎ1μ秒以下は、例えデータセンタ設置場所が離れていても、規定2ms以内を満たし、同一施設データセンタとして機能することが判ります。

また、IOWN APN回線は、ダークファイバー新設無しで波長追加により提供できることも特徴です。APN提供までの時間短縮が可能だからです。

※ダークファイバーとは、敷設光ファイバーのうち、未使用で光信号が稼働していない(ダークな)芯線。

つまり、地理的に分散したデータセンタ間をAPNで接続しておけば、地震や過負荷トラブル発生時でも当該データセンタの負荷をAPNで別の場所へ移動できます。そして、あたかも同一施設のデータセンタのように稼働を続けられます。

データセンタ信頼性向上に役立つIOWN APNは、地震国日本ならではのネットワーク技術です(関連記事:NTT光ファイバー分岐・合流に世界初成功)。

NTTは、これら特徴や欧米でのAPN実証実験により、光電融合デバイスネットワークIOWN APNを、生成AIデータセンタや金融分野向けのワールドワイドインフラとして普及を狙っています。

郊外データセンタと市中カメラのAPN接続

大都市圏における郊外型データセンタによるAI分析(出典:NTTサイト)
大都市圏における郊外型データセンタによるAI分析(出典:NTTサイト)

また、NTTは2024年2月20日、武蔵野市データセンタと横須賀市設置カメラ間の100kmをIOWN APNで接続し、郊外データセンタで市中カメラのリアルタイムAI分析実験を行いました。

これは、超高速ネットワークを活かしたリアルタイムクラウドAI処理例です。但し、超高速ネットワーク回線が十分安くなった時の話です。未だ高価なIOWN1.0ですが、IOWN4.0で現状インターネット並み価格になった後の話です。

それまでは、クラウド側よりもエッジ側でAI処理を行うアプローチが、AI処理遅延、電力消費の点から現実的だと思います(関連投稿:エッジAI導入アプローチ)。

日本への欧米AI投資

OpenAI Japan 始動(出典:OpenAI Japan)
OpenAI Japan 始動(出典:OpenAI Japan)

AI関連投資は、データセンタだけではありません。

2024年4月15日、米OpenAIは、アジア初のOpenAI Japan始動を発表しました。日本語最適化GPT-4カスタムモデルの提供を開始するそうです。2024年4月10日、米Microsoftも、日本へAI研究所など今後2年間で29億ドルの投資を発表済みです。

もちろん日本側AI投資も盛んです。例えば、4月19日、KDDI の1000億円、4月23日、ソフトバンクの1500億円投資などです。

いずれの投資も、高信頼ネットワークインフラ技術IOWNが日本にあるからです。

Summary:生成AIデータセンタとIOWN

生成AIやインターネット金融の要であるデータセンタは、災害やセキュリティ事故などのリクスに強いことが必要です(日本データセンタより)。

世界規模の生成AI需要急増に対し、地震国日本で米)AIデータセンタ新設やAI関連投資が盛んな背景は以下です。

  1. 欧米よりも緩い日本のプライバシー規制
  2. データセンタ地理的分散配備を可能とする低遅延NTT IOWN APN接続

Afterword:次回投稿5月10日(金)

来週5月3日(金)は、ゴールデンウイーク中のため休みを頂き、5月10日(金)に次回投稿します。


エッジAI導入アプローチ

市中ビデオカメラへのエッジAI応用例とどの程度TOPS能力が必要かが判る記事、STM32F3マイコンの電動自転車へのAI応用記事から、MCUとMPU/SBCのエッジAI導入アプローチの違いを説明します。

ビデオカメラのエッジAI応用例

AIビジョンプロセサHailo-15によるカメラノイズ除去、鮮明化例(出典:記事)
AIビジョンプロセサHailo-15によるカメラノイズ除去、鮮明化例(出典:記事)

上図は、左側オリジナルビデオ画像を、AI Visionプロセサ:Hailo-15を使って、ノイズ除去と鮮明化、人物認識を行った例です。

この例では、低照度下で撮影した4Kビデオ画像のノイズ除去に約100ギガオペレーション/秒(GOPS)、30フレーム/秒のリアルタイムビデオストリーミングなので3 TOPS処理能力が必要です。

Hailo-15は、AI処理能力に応じて現在3製品をラインナップしており、それぞれのTOPS値が下図です。

Hailo-15ラインナップ’(出典:HAILOサイト)
Hailo-15ラインナップ’(出典:HAILOサイト)

7 TOPSのHailo-15Lでも十分なビデオカメラエッジAI処理が可能です。カメラ外付けのHailo-15は、例えば、SBC(シングルボードコンピュータ)Raspberry Pi 5と組み合わせると面白い装置が開発できると思います。

同様のビデオエッジAI処理をMCUで実現する場合は、コチラの投稿で示したCortex-M85コア搭載RA8D1があります。

電動自転車のエッジAI応用例

2024年4月3日、STマイクロは、電動自転車搭載の汎用MCU STM32F3(Cortex-M4/72MHz、Flash/128KB)へ、無償エッジAI開発ツールSTM32Cube.AIを使って、自転車タイヤの空気圧を推定、空気を入れるタイミングを示すAI機能を実装しました。

STM32F3は、上記AI機能の他にも自転車本体の電動アシスト量制御やモータ制御も行っています。つまり、空気センサなどの追加ハードウェア無しでエッジAI機能が低コストで実装できた訳です。

STM32F3へのエッジAI応用例(出典:STマイクロ)
STM32F3へのエッジAI応用例(出典:STマイクロ)

STマイクロのMCUソフトウェアは、HAL(Hardware Abstraction Layer)APIを使って開発すると、同社の異なるMCUコアでも移植性の高いソフトウェアが作れます。

最新40nmプロセス製造のSTM32F3上位機種が、汎用STM32G4(Cortex-M4/170MHz)です。STM32G4ソフトウェア開発をご検討中の方は、弊社STM32G0x(Cortex-M0+/64MHz)テンプレートをご活用ください。
また、より低価格低消費電力なSTM32C0(Cortex-M0+/48MHz)へもG0xテンプレートが適用可能です。
詳細は、info@happytech.jpへお問い合わせください。

Summary:エッジAI導入の2アプローチ

エッジAI導入の2アプローチ
エッジAI導入の2アプローチ

実際のエッジAI応用例から、MCUとMPU/SBCではエッジAI導入アプローチが異なる事を示しました。

MCUは、STM32F3例が示すように、「追加ハードウェア無し低コストAI実装アプローチ」です。STM32Cube.AIを使い、実装MCUへソフトウェアのみでAI機能追加を行います。

MPU/SBCは、外付けHailo-15H/M/Lを使ってエッジAI処理を行います。「拡張性重視のAI実装アプローチ」です。

ユーザが求めるAI機能は、今後益々増えます。エッジAI処理増加により、より高い電力効率で高性能な処理コアが求められるのは、MCUもMPU/SBCも同じです。

製品開発には、ある程度の期間が必要です。この期間中に増加するエッジAI処理増に耐えられる製品の処理コア選定は、重要検討ポイントになるでしょう。

関連投稿:MCUとMPUの違い

Afterword:ビデオエッジAI処理プロセス

ビデオエッジAI処理プロセス(出典:HAILO記事)
ビデオエッジAI処理プロセス(出典:HAILO記事)

最初の記事に、ビデオエッジAI処理プロセスが良く判る図があります。これを見ると、エッジAI処理がハードウェアの並列処理に向いていることも判ります。

ハードウェアは、製品化後、簡単に追加ができないため、どの程度の余力を製品ハードウェアに持たせるかは、コストとの兼ね合いで「永遠の課題」です。これは、ソフトウェアのみでAI機能を実装するSTM32Cube.AIでも同じです。製品実装済みMCUの余力を上回るAI機能追加はできないからです。

つまり、当面の安心をMCU開発者へ与えるには、最新MCUの製品利用がBetterということです。


Windows 12 AIとNPU

Windows 12は、40TOPS以上のNPUが推薦要件になりそうです。TPM 2.0が、Win11アップグレード要件だったのと同様です。

クラウド電力不足解消のエッジAI半導体が、今年のPC CPUと組込みMCUのトレンドになりそうです。

40 TOPS以上NPUとは?

40TOPS以上のNPUは、かなり高性能PCやゲーミングPCを指す
40TOPS以上のNPUは、かなり高性能PCやゲーミングPCを指す

TOPS(Tera Operations Per Second)とは、1秒間に処理できるAI半導体の演算数です。

NPU(Neural Processing Unit)は、GPU(Graphic Processing Unit)処理の内、AI処理に特化した処理装置のことで、1TOPSなら1秒間に1兆回のAI演算が可能です。※GPU/NPUの違いは関連投稿参照。

例えば、GeForce RTX 3060クラスのGPUは約100TOPS、NPU内蔵最新Intel CPUは34TOPS、Apple M3は18TOPSの性能を持つと言われます。

つまり、40TOPS以上のNPU要件は、現状比、かなりの高性能PCやゲーミングPCを指します。

Windows 12のAI

現状のNPU処理は、Web会議の背景ぼかし、複数言語の同時翻訳、通話ノイズの除去など、主にローカルPCのリモート会議AI演算に使われます。COVID-19流行中のユーザ要望はこれらでした。

しかし、Microsoftが急速普及中のAIアシスタントCopilotは、PCユーザのAI活用を容易にし、AI関連処理はローカルNPUからクラウドデータセンターの利用へと変わりました。

AI活用がこのまま普及すると、世界のクラウド側電力不足は、避けられなくなります。このクラウド側対策が、電力効率100倍光電融合デバイスのNTT)光電融合技術です(関連投稿:IOWN)。

現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)
現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)

クラウドAI処理ではレスポンスも悪くなります。MicrosoftとIntelは、クラウド電力不足やタイムラグ対策に、ローカル(エッジ)AI PC、つまりNPU処理能力向上が、クラウドとエッジのAI処理分散になり重要と考えている、と筆者は思います。

組込みMCUのAI

AI活用や電力効率向上は、組込みMCUへも浸透しつつあります。

エッジAI MCUアプリケーションは、ポンプ異常検出、故障検出、顔認識、人物検出など広範囲に渡ります。

STマイクロは、次世代STM32MCU向けに18nm FD-SOIと相変化メモリを組み合わせた新プロセス技術を発表しました。これにより、従来比、電力効率50%以上、メモリ実装密度2.5倍、AI機能集積度3倍に向上します。量産は、2025年後半見込みです。

18nm FD-SOIと相変化メモリ技術を組み合わせた次世代STM32MCUプロセス(出典:STマイクロ)
18nm FD-SOIと相変化メモリ技術を組み合わせた次世代STM32MCUプロセス(出典:STマイクロ)

ルネサスは、組込み向け次世代AIアクセラレータを開発し、従来比、最大10倍の電力効率で高速AI処理を可能にしました。これにより、様々なエッジAI MCUアプリケーションに柔軟対応が可能です。

DRP-AIによる枝刈りAIモデルの高速化(出典:ルネサス)
DRP-AIによる枝刈りAIモデルの高速化(出典:ルネサス)

スマートフォンのAI

PCやMCUの一歩先を行くエッジAI活用が、現状のスマートフォン向けプロセサです。

顔認証や音声認識、スマホ写真の加工や暗い場所の撮影補正など、全てスマホ単独で、しかも高速AI処理を行っています。これらスマホの低電力高速AI処理に、NPU内蔵スマホプロセサが貢献しています。

PCは、スマホにない大画面を活かしたAI活用、MCUは、スマホ同様の低電力高速AI活用を目指しAI半導体を準備中なのが今年2024年と言えます。

Summary:AI半導体がPC/MCUトレンド

半導体は、供給に年単位の準備期間が必要です。最先端AI半導体であればなおさらです。

急速なAI活用や普及は、クラウド電力不足やユーザ要望変化をもたらし、解消にはハードウェアのエッジAI半導体が不可欠です。

PC/MCU業界は、どちらもAI半導体の安定供給に向け足並みを揃え準備中です。Microsoftが、ソフトウェアWindows 12提供を遅らせ、代わりにWin11 24H2としたのも足並み合わせのためと思います

足並みが揃った後のWindows 12推薦要件は、40 TOPS以上の高性能NPUになるかもしれません。
組込みMCUは、エッジAI活用と電力効率向上の新AI半導体製造プロセスに期待が高まっています。

PC、MCUどちらもAI半導体が2024年トレンドです。

Afterword:AI PC秘書/家庭教師

AI PC秘書と家庭教師イメージ
AI PC秘書と家庭教師イメージ

エッジAI PCのNPU性能が上がれば、秘書や家庭教師としてPCを活用できます。助けが必要な処理や不明な事柄は、AI PC秘書/家庭教師から得られるからです。2010年宇宙の旅のHAL 9000のイメージです。

AI PCがHAL 9000に近づけば、NPUがユーザ個人情報を学習し、ユーザ志向、能力レベル、癖などに基づいたAI回答を提供するでしょう。ブラウザが、ユーザ志向に沿った広告を表示するのと同じです。

個人情報は、セキュリティの点からクラウドよりも本来エッジPCが持つべきです。AI PCを秘書/家庭教師として活用する時は、個人情報を学習/保持する高性能NPUは必然だと思います。

TPMと似た性質をNPUも持つと言えます。40 TOPS以上のNPU必要性は、どの程度高度/高速なAI PC秘書/家庭教師を希望するかに依存します。個人的にはHAL 900は欲しいかな?

2024-04-06 追記:40 TOPS M.2生成AIアクセラレーションモジュール

HAILOからM.2フォームファクタへ追加できるWindows向け40 TOPS AIアクセラレータモジュールが発表されました。


自動運転EV開発終了と技術者

Appleの自動運転EV開発終了の3理由記事(2023年3月22日、ITmedia)は、技術的面白さとビジネスとの共立の難しさを示しています。

日本では3月末は、配置転換の時期です。この記事を技術者目線で読み、個々の技術者にビジネスセンスが必要だという感想を書きます。

Apple自動運転終了理由

Appleが自動運転EV開発を終了
Appleが自動運転EV開発を終了

Appleは、ハードウェア/ソフトウェアの両方を開発・製造でき、ユニークな製品やサービス、価値観をユーザへ提供する企業で、現在GAFAMの1社です。そのAppleが、自動運転EV開発を終了した理由は、

  1. EV商品性と採算性の難しさ
  2. 自動運転技術の難しさと高リスク
  3. 自動運転中の新価値提供の難しさ

の3つを記事は挙げています。

難しさの中身は、記事に判り易く説明されています。本ブログ読者の方は、中身が判り、行間の技術困難度も推測できると思います。※自動運転とEVは別物も判る。

技術者がこれら課題を克服すれば、他社やライバルより優位に立てること、優位に立つために日々切磋琢磨していること、その結果喜びも得られること、つまり、技術者には最先端で面白い課題だと判ります。

配置転換技術者のモチベーション

配置転換技術者のモチベーションアップにビジネスセンス必要
配置転換技術者のモチベーションアップにビジネスセンス必要

その最先端技術者集団のAppleが、ビジネス的には自動運転EV開発の終了判断をしました。これにより、自動運転EVからAI部門へ配置転換された2000人の技術者は、どうモチベーションを保つのでしょうか?

※モチベーションとは、行動を維持する原動力や動機となる目的やきっかけ。

道路やネットワークなど外部環境と協調動作する自動運転EVに対し、AIは、自らネットワークを探査・情報収集し、生成AIで新たな情報を作成します。素人ながら、真逆の感じがします。

技術者の別部署への配置転換や移動は、ありがちです。詳細な移動理由が判ることもあるでしょうが、多くの場合、個人には簡単な移動通知だけです。

移動技術者がモチベーションを維持するには、ビジネスセンスが必要だと思います。つまり、記事記載の様々な「ビジネス採算性やリスク」を、自分で評価・分析できることが必要だと思います。

ビジネスセンスと技術の両方をバランス良く持てば、配置転換理由を深く理解し、新なモチベーションアップに繋がります。

Summary:技術造詣の深さとビジネスセンス

技術者に必要な技術造詣の深さとビジネスセンス
技術者に必要な技術造詣の深さとビジネスセンス

専門技術の造詣が深いこととビジネスセンスの両方を持つことは、技術者に必須です。自分の立ち位置を正確かつ俯瞰的に捉えるためです。

技術者・開発者は、専門分野の視野狭窄に陥る危険性もあります。技術的面白さにより、現状維持バイアスも発生します。

これらの危険には、採算性などのビジネスセンスを養い、俯瞰的なビジネス視野も同時に持つことで危険回避とモチベーション維持になると感じた記事でした。

Afterword:IoT MCU開発者も必読記事

Apple以外でもDysonやGoogleが撤退した自動運転開発史や、スマホを超える自動運転中のエンターテインメントなど、IoT MCU開発者にも役立つ面白い記事です。

自動運転レベル4の実証実験は、日本各地で行われています。が、事故報告も…。リスクを下げるためか、同業他社協業も検討中だとか・・・。激動自動運転とEV、目が離せません!


Cortex-M85搭載RA8シリーズ説明

前投稿MCUとMPUの違いで紹介したルネサスRAファミリ最新MCUのRA8シリーズを説明します。
RA8は、従来Cortex-M7クラスの高性能MPUが必要なAI処理を、低コスト・低消費電力なAI MCUで実現します。

Cortex-M85コア

Cortex-M85特性比較(出典:ARM)
Cortex-M85特性比較(出典:ARM)

ARM Cortex-M系コアの比較表がコチラにあります。本ブログ関連を抽出したのが上表で、右側へ行くほど新しいコアになります。

Cortex-M85が、MPUのCortex-M7を超えるコア性能を持つことが判ります。

RA8シリーズ

RA8シリーズMCUポートフォリオとパーツ番号
RA8シリーズMCUポートフォリオとパーツ番号

Cortex-M85コア搭載のルネサスRAファミリMCUが、RA8シリーズです。今日現在、RA8シリーズは、RA8D1RA8M1RA8T1の3種類が発売中で、それぞれに評価ボードも提供中です。

RA8シリーズMCUポートフォリオとパーツ番号を示します。RA8xyのxが想定アプリケーション、yが改版数を示します。アプリケーションには、顔検出やモータ故障検出などのAI機能も含まれます。

AI顔検出が解りやすいので、以下、ディスプレイアプリケーションのRA8D1 MCU評価ボードを使ってAI MCU実例を示します。

評価ボード:EK-RA8D1

EK-RA8D1
EK-RA8D1

RA8D1(Cortex-M85/480MHz、ROM/2MB、RAM/1MB)評価ボードEK-RA8D1です。4.3インチカラー液晶と3MピクセルCMOSカメラも付属しています。RA8 Series Evaluation Kits Demo Overviewで解説動画を見ることができます。

クイックスタートガイドユーザーズマニュアルがダウンロードできます。

サンプルコード:EK-RA8D1 Example Project Bundle

EK-RA8D1のサンプルコードは、EK-RA8D1 Example Project Bundle(要ログイン)です。この中の_quickstartプロジェクトが、評価ボード実装済みサンプルコードです。

評価ボードと液晶、カメラ装着後、初めて電源投入すると_quickstart が動作します。この_quickstartサンプルコードが、Summaryで示すAI顔認証やオブジェクト検出を行います。

_quickstartのソースコード一覧です。FreeRTOSで開発されています。従って、ソースコードの移植性は高いと思います(関連投稿:FSP利用FreeRTOSアプリの作り方)。

_quickstart_ek_ra8d1_epのソースコード一覧
_quickstart_ek_ra8d1_epのソースコード一覧

Summary:Cortex-M85搭載RA8シリーズ説明

高性能MPUのAI処理を、低コスト・低消費電力MCUで実行するDSPやAI/ML性能強化Cortex-M85コアを説明し、同コア搭載RA8シリーズ最新MCUのRA8D1(Cortex-M85/480MHz、ROM/2MB、RAM/1MB)評価ボードEK-RA8D1と付属_quickstartサンプルコードを説明しました。

AI MCUアプリケーション例として、評価ボードへ液晶パネルとカメラを接続すれば、AIによるカメラ内顔検出、オブジェクト検出ができます。

AI MCUのカメラ内の顔検出とオブジェクト検出(出典:クイックスタートガイド )
AI MCUのカメラ内の顔検出とオブジェクト検出(出典:クイックスタートガイド )

Afterword:AI MCUアプリケーション開発方法

MCU開発能力に加え、幅広いAI知識もAI MCUアプリケーション開発に必要です。

AI MCUアプリケーションを開発する時は、本稿評価ボードとサンプルコードによる顔検出やオブジェクト検出AIサンプルコードをベースに、目的とする顧客AIアプリへ修正・変更を加えながらAIを習得することも効率的・効果的な方法だと思います。


MCUとMPUの違い

STマイクロ技術者が語るMPU Q&Aハンドブックの初回(1)に、MCU(Micro Controller Unit)とMPU(Micro Processing Unit)の違いが判り易くまとめられています。ハンドブックは、MPU関連Q&Aへと連載が続いています。

このハンドブック(1)は、MPU開発者から見た、ハード/ソフトや開発環境が、MPUとMCUではどう違うかを解説しています。視点はMPUです。MPUとMCUの差を示すには十分ですが、MCUの特徴、その良さを示す記述は少なめです(MPU連載を読者に読んでもらうために当然ですが…)。

そこで、本ブログ主題のMCU側から(1)を読み、MCU製品開発ポイントと、最新MCU/MPU動向を示します。

MCUとMPUの根本差

ハンドブック(1)集約のMPU開発者がつまずき易い8つのポイントを再掲します。詳細は、(1)を参照ください。

  1. MPUと一緒に使う部品と選び方
  2. 回路設計時の重要ポイント
  3. 基板レイアウト作成時の重要ポイント
  4. 基板にあわせて必要なソフトウェアのカスタマイズ項目
  5. 初めてのボード開発での落とし穴と確認事項
  6. MCUとMPUのソフト開発の違い
  7. 知的財産を守るためのセキュリティ知識
  8. 開発製品のタイプ別課題と確認事項

これらつまずきの原因は、「MPUは、ユーザによる周辺ハードウェア追加、複数人によるソフトウェア開発が基本」だからです。MCUとMPUの根本的な違いがここです。

※周辺ハードウェアは、電源とクロックを除くMCU/MPU単独動作必須ハードウェア。例えば、ROM/RAMなど。

※MCU基板レイアウト、ソフトウェア重要ポイントは、コチラの投稿参照。

MCUとMPUのアプリ対応差

MCUとMPUの違い
MCUとMPUの違い

つまり、MPUは、例えば高性能Cortex-Aコアプロセサへ、外付けRAMや必要なDSP/GPU/NPUを追加し、複数ソフトウェア開発を容易にするRTOSアプリ開発に使います。アプリ要求性能に対して、追加ハード選択肢も多いため、柔軟性という意味では広範囲、かつ、大規模アプリの製品開発が容易です。

一方、MCUは、RAMやDSP/NPUなどアプリ開発に必要となる周辺ハードウェアが、例えばCortex-M33などのコアプロセサと一体でパッケージ済みです。一体パッケージのため、MPU比、アプリ柔軟性や対応製品範囲は狭くなります。

「MCUは、特定アプリに必要十分なROM/RAMや周辺ハードウェアを、ベンダがパッケージ化しユーザへ提供」するため、小型・低価格な製品化が可能です。MCUはRTOS利用もできますが、小規模ベアメタルソフトウェア開発が基本です。

MCUのポイントはMPU比、シンプルです。開発アプリに適すMCUを選択することです。

MCUとMPUの最新動向

MCU/MPUに限らずPCもネット側も全ての制御系は、AI半導体と、MCU/MPU担当のエッジAIアプリ実現に向けて突進中です。

ルネサスは、低消費電力と柔軟性を備えたAIアクセラレータ:DRP-AI3(Dynamically Reconfigurable Processor for AI)をMPU向けに開発し、従来比、約17倍のAI処理や電力効率(10TOPS/W)を実現しました。この技術は、MCUへも展開されるでしょう。

DRP-AI3 に適用した軽量化技術(出典:ホワイトペーパーDRP-AI3 アクセラレータの特徴)
DRP-AI3 に適用した軽量化技術(出典:ホワイトペーパーDRP-AI3 アクセラレータの特徴)

電力効率の良いCortexM0+/M4、セキュリティ強化Cortex-M33に加え、MCUは、DSPやAI/ML性能が高いARM Heliumテクノロジ搭載Cortex-M85搭載のRA8ファミリ量産出荷が始まりました。

Microchipは、従来外付けだったPLDやFPGAのカスタムロジックを、8ビットMCUに内蔵しました。これにより、製品の部品削減・小型・低消費電力化が可能になります。8ビットが気になりますが、低価格を目指したのだと思います。

PSoC/PRoCマイコンが上記Microchipに近い特徴を持つ。

Summary:MCU開発ポイントと最新技術動向

MCUは、開発アプリケーションに応じたROM/RAMや周辺ハードウェアを、MCUベンダがパッケージ化しユーザへ提供します。このため、MPU比、小型・低価格な製品開発ができます。半面、アプリケーション柔軟性や対応範囲は、狭くなります。

従って、MCU開発は、開発アプリケーションに適すMCU選択がポイントです。

MCU/MPUは、AI処理を高速化するNPU内蔵、従来外付けカスタムロジック内蔵、Cortex-M85コア採用など、更なる高性能・小型・低価格トレンドへ向けて進化中です。

最新MCU/MPUデバイス採用により、コストパフォーマンスの優れた製品開発が期待できます。

Afterword:ディアルコアのサブコアは通信処理専用

ディアルコアMCU/MPUのサブコアは、Cortex-M4/M0+利用の通信処理専用例が多いです。これは、いつ発生するか不明、しかも、割込み優先度も高い通信処理負荷を、アプリメイン処理と分離するためです。

DSPやGPUと同様、サブコアは、周辺ハードウェアの一種と捉えれば理解し易いでしょう。

ネットや外部デバイスとMCU/MPU間通信は必須です。通信処理専用サブコアでメインコアと分離しておけば、開発アプリはそのままに、様々な通信プロトコルへの対応性が高まるメリットがあります。


生成AI革命インパクト

生成AI革命は、GAFAMと呼ばれる現在のIT企業勢力図を変えそうです。米)The Atlantic分析では、新勢力は、GOMA。2024年2月16日のプレジデント オンライン記事が、「Google+Anthropic」対「Microsoft+OpenAI」と解説しています。

生成AI革命によるIT企業、半導体産業、MCUベンダへのインパクト記事をまとめました(生成AI革命はAfterword1参照)。

※2月23日金曜が天皇誕生日で休日のため、木曜先行投稿します。

Summary:生成AI革命インパクト

生成AI革命は、企業、産業、生活など全てにインパクトを与えそうです。例えば、人々のネット利用は、従来の検索型からChatGPTと生成AIによる会話型へ変わるでしょう。会話型に慣れると、検索型へは戻れないからです(検索/会話型はAfterword2参照)。

このようにChatGPTと生成AIは、人間へ優れたAIとのインタフェースを与えます。しかも、AI進化・学習スピードは、人間の比ではありません。

企業サービス利用者は、このAIを上手く使えるか否か、つまり、AI活用性が重要な選択肢になるでしょう。

一方、サービス提供企業は、利用者のAI活用欲求を満たさないと、企業衰退の可能性があることを本稿の各記事は示しています。

GAFAMからGOMAへ

生成AI革命がGAFAMからGOMAへ変える
生成AI革命がGAFAMからGOMAへ変える

GOMAは、Google、OpenAI、Microsoft、Anthropicの頭文字です。

米)Anthropicは、2021年設立のAIスタートアップ企業で、当時OpenAI研究担当副社長ダリオ・アモディ氏らが、MicrosoftとOpenAI協業方向の違いから退き設立した会社です。そして、Anthropicの協業先は、Googleです。

GAFAMからGOMAへ変わる理由は、AIの開発・運営費用が、従来の検索型コストの10倍かかるからです。このコストを賄いつつも、AIがどの程度利益を生み出すかは、現状不透明です。

このリスクを承知の上でAIを牽引できるのは、検索大手2社、GoogleとMicrosoftだけです。その結果、The Atlanticは、GAFAMからGOMAへ変わると分析しています。

ChatGPTに無償/有償版があり、生成AIのGPTモデルもGPT-3.5/GPT-4など選択肢が出てきたのは、10倍コストが背景にあります。

Microsoft)Copilot対Google)GeminiのAI活用コストパフォーマンス競争が始まりました。

半導体産業インパクト

半導体産業を根本から変える規模のAI半導体開発計画
半導体産業を根本から変える規模のAI半導体開発計画

米)OpenAI CEO解任/復帰劇があったSam Altman氏は、2024年2月12日~14日、アラブ首長国連邦)ドバイのThe World Governments Summit 2024で、GPT-4の次世代モデルGPT-5に言及しました。

さらにSam Altman氏は、日本GDPの約2倍、最大7兆ドル規模の「AI半導体開発計画」を画策中だそうです。

これは、半導体産業を根本から変える規模の計画です。

IntelやAMDもAI専用プロセサ:NPU内蔵CPUを相次いで新発売し、GAFAM各社も、独自AI向けプロセサを開発中です。生成AI革命には、大量のAI半導体が必要になるのでしょう。

2023年売上が約5270億ドル、2030年には、約1兆ドル見込みの世界半導体売上は、AI関連で占められるかもしれません。

MCUベンダインパクト

自動運転(出典:政府広報オンライン)
自動運転(出典:政府広報オンライン)

半導体生産を担うMCUベンダも、最近、組織再編ニュースが多いです。例えば、STマイクロルネサスなどです。その背景を推測しました。

産業向けMCUに比べ好調な車載向けMCUは、制御系と車載IT系の大きく2に分かれSDV(Software Defined Vehicle)を進化させつつあります。車載IT系は、AIとの親和性が高く、自動運転などのAI化は、MCUベンダ製品系列を大きく変える可能性があります。

MCUベンダの組織再編は、生成AI革命による変化の前兆かもしれません。

Afterword1:生成AI革命とは?

ChatGPTと生成AIの出現は、生成AI革命と呼ばれます。それは、ブラウザ経由(CopilotまたはGemini)で、人間対人間のように会話でAIへ質問し、結果(回答)を引出すことができ、しかも、全分野でAIが回答できるからです。まさに革命的です!

関連投稿:生成AI活用スキル

Microsoft Copilot対Google Gemini
Microsoft Copilot対Google Gemini

Afterword2:検索型から会話型へ

ネット利用は、従来、検索が大部分でした。Google)ChromeやMicrosoft)Edgeなどのブラウザは、「キーワード」入力に対する検索出力の正確さ・速さを競いました。

しかし、利用者が本当に知りたいのは、ブラウザ検索出力では無く、検索出力を分析した結果です。この分析は、利用者自身が行いました。つまり、検索型で「結果」を得る方法は、下記でした。

キーワード入力→検索出力の利用者分析→結果

ところが、ChatGPTと生成AIは、初めから利用者が知りたいことを「質問」としてネットへ入力できます。ネットで会話しながら追加質問もできます。会話型で「結果」を得る方法は、下記です。

質問入力→結果

検索型よりも知りたい結果が、直接得られます。ネット利用が検索型から会話型へ進化し、AIとの会話に慣れると検索型へ戻れない理由です。


評価ボード活用MCU製品開発

MCUの正常動作には、安定したクロック供給が最重要です。これは、ソフト/ハード、どちらの開発者も知っておくべき基本です。デジタルデバイスの動作保証は、安定クロックがあってこそだからです。

ルネサスRX、RAファミリで説明しますが、全ベンダの評価ボードでも同様です。ぜひ本稿を参考にしてください。

メイン/サブクロック回路基板設計要点

2024年2月発行のRX、RAファミリ向けアプリケーションノートを使って、製品開発にベンダ評価ボード活用メリット/デメリットを説明します。

メインクロック回路、サブクロック回路のデザインガイド Rev.1.00 (PDF) (日本語)
Design Guide for Main Clock Circuit and Sub-Clock Circuit Rev.1.00 (PDF) (英語)

※アクセス時、ログインが必要な場合があります。

メインクロックとサブクロックの基板例(出典:図26)
メインクロックとサブクロックの基板例(出典:図26)

RX、RAファミリのMCUを対象に、メイン/サブクロック発振回路基板パターンやルネサス推薦発振子メーカなど、特にMCUクロック関連回路の基板設計要点をまとめたのが、上記アプリケーションノートです。

MCUの動作を決めるのがメインクロック、サブクロックはRTC(時計機能)に使います。全てのデジタルデバイスは、正確なパルス幅の安定したクロックが供給されて初めて正常に動作します。MCUは、なおさらです。

クロックが不安定な場合は、原因不明のMCUトラブルが発生します。外来ノイズにも脆弱です。このような異常状態では、デバッグなどできません。

例えが悪いですが、人間で言えば「心不全」のようなものです。メインクロックの働きを具体的に知りたい方は、コチラを参照(正常クロック供給下の解説)。

従って、クロック回路基板設計要点を守った上でのMCU製品開発が最重要です。

基板設計理想解と現実解

前章の基板設計ガイドは、クロック関連部品だけの理想的な基板、つまり、「理想解」です。

しかし、実際の基板設計は、大きさやコスト、クロック以外の他部品の配置など様々な事柄を考慮する必要があります。そして、それらの総合判断結果が「現実解」であり、実際の製品基板です。

現実解は、ベンダMCU評価ボードでも同じです。

RAファミリRA6E1評価ボードのMCU回り基板を示します。理想解と違っても部品配置、クロック配線の太さ・短さ、そのシールドなど参考にすべき基板回路を持つ現実解です。

RAファミリRA6E1のMCU周り基板現実解
RAファミリRA6E1のMCU周り基板現実解

各ベンダMCU評価ボード目的

前章のMCU評価ボード現実解は、ルネサスRX、RAファミリに限った話ではありません。

つまり、クロック要点を満たし外来ノイズにも強く、かつ、Arduinoシールドコネクタなどで拡張機能も実装済みのデバイスが、各ベンダのMCU評価ボードです。これらは、MCUベンダ自身の開発ボードですので、極めて高い製品クオリティを持っています。

ベンダMCU評価ボードとは、MCUを評価するためのボードです。しかし、同時に、MCUが正常に動作するベンダ推薦発信器や基板パターンの製品ハードウェア手本も示していると言えます。

プロトタイプ時、各ベンダ評価ボードをそのまま制御系に流用するのは、原因不明MCUトラブル(心不全)を避ける手段として有効であることが判ると思います。

評価ボード活用得失

プロトタイプにMCU評価ボードを流用するメリット/デメリットをまとめます。構成は、下記とします。

プロトタイプ構成=評価ボード+ユーザ機能ボード+ユーザソフトウェア
ボード間接続=Arduinoコネクタ

メリット

  • 高信頼制御ハードウェアが、評価ボードにより簡単に得られる
  • 制御能力過不足時、Arduinoコネクタを持つ別評価ボード交換可能
  • ユーザ機能デバッグに集中できる

デメリット

  • 製品の大きさ、コストを上げる要因になる

簡単に言うと、高信頼で載せ替え可能な制御系と引き換えに、大きさやコスト面の犠牲が生じる構成です。
しかし、筆者は、早期プロトタイプ開発に最適な方法だと思います。

製品改善アプローチ

最終製品時の大きさ、コストを改善するには、評価ボードとユーザ機能ボードを一体基板化するのがBetterです。この時も、プロトタイプに使った評価ボードMCU周りの発振子配置や配線は、手本としてそのまま製品基板へ流用可能です。

また、一体化最終製品のトラブル発生時、ユーザ機能ハードウェア起因か、または、ユーザソフトウェア起因かの切り分けも、評価ボード流用プロトタイプは容易にします。なぜなら、評価ボードは、信頼性が高いベンダ開発品だからです。

つまり、最終製品とプロトタイプの差分が原因と考えられ、一体化基板ハード、または、ユーザソフトの2つに1つとなります。同一ユーザソフトでのトラブルなら、ハード起因が疑われます。

評価ボード活用プロトタイプは、早期製品化だけでなく、様々な用途やメリットを生みます。

Summary:評価ボード活用MCU製品開発

ベンダ評価ボード活用MCU製品開発
ベンダ評価ボード活用MCU製品開発

ルネサスRX/RAファミリのメイン/サブクロック回路デザインガイドから、MCU製品開発にベンダ評価ボードをそのまま流用する早期プロトタイプ開発方法を示し、得失を明らかにしました。

評価ボード活用プロトタイプは、大きさ、コストを改善する基板パターンの手本となるだけでなく、最終MCU製品トラブル原因が、ハードウェア起因かソフトウェア起因かを切り分ける手段にも使えるなど、メリットが大きいことを示しました。

Afterword:プロトタイプソフトウェア開発に弊社テンプレート

評価ボードがハードウェア手本なら、ベンダ開発サンプルコードは、ソフトウェアの手本です。

弊社テンプレートは、各ベンダの代表的MCU評価ボードに対応済みです。テンプレートは、ベンダサンプルコードを流用・活用し、プロトタイプ向けソフトウェアの早期開発が可能です。

弊社テンプレートと評価ボードを使って早期プロトタイプ開発を行い、MCU製品開発に役立ててください。


AIのCPUとMCUへの影響

AIのPC CPUへの影響
AIのPC CPUへの影響

2024年は、AIがPCへ急激な変化を与えそうです。そこで、 AIによる PCハードウェアの変化トレンドを調べました。これら変化は、組込みハードウェアのMCUへも影響すると思うからです。

CPU、GPU、NPUとは? MCUとの違いは?

超簡単にCPU、GPU、NPUを整理します。ついでに、DSPとMCUも加えます。

CPU(Central Processing Unit):パソコンの「汎用演算」装置。PCの頭脳。
GPU(Graphic Processing Unit):「グラフィック演算」専用装置。
NPU(Neural Processing Unit):GPU内の「AI関連演算」専用装置。
DSP(Digital Signal Processor):積和演算等「リアルタイム信号演算」専用装置。
MCU(Micro Controller Unit):組込みシステム「汎用演算」装置。ADC等周辺回路内蔵。

CPU~DSPまでが、PC向け演算装置、組込み向けの演算装置がMCUです。

MCUとPC向け装置の最も異なる点は、MCUは、ADC(Analog Digital Convertor)やメモリなどの周辺回路と汎用演算回路を一体化し小型装置にした点です。

GPU/NPU/DSPは、汎用CPU処理の一部を専用ハードウェアで高速処理します。CPUの代わりにこれら専用ハードウェアが処理するため、PC全体の処理速度が速くなります。

このようにPCハードウェアは、汎用CPUの高速化と汎用処理を補う専用ハードウェアにより進化を続けてきました。

NPUが行うAI関連演算は、Web会議の背景ぼかし、複数言語への同時翻訳、通話のノイズ除去などの処理です。これらは、GPUでも可能ですが、更なる高速処理が可能です。

AI PCのIntel Core Ultra

Intel Core Ultra Processors
Intel Core Ultra Processors

Intelは、AI処理のハイブリッド化が進むと考えているようです。

つまり、ネットワーク側データセンターやGPUのみを使ったAI処理ではなく、PCやスマホなどのエッジ側CPU/GPU/NPUも協力、ネットワークとエッジがハイブリッドにAI処理を行います。

これを実現するエッジ側PCが、Intel Core Ultra搭載AI PCだと発表しました。同記事でIntelは、2025年末までに1億台のNPU内蔵新CPU:Core Ultra搭載AI PCになる、とも宣言しています。

AI有効性が認識されれば、停滞気味のPC買換え需要は一気に加速するでしょう。また、AIハイブリッド化は、急増するAIリアルタイム処理の観点からも好都合です。

GPU+NPU内蔵AMD Ryzen 8000G

AMD Ryzen 8000G Series Processors
AMD Ryzen 8000G Series Processors

2月発表のAMD Ryzen 8000Gは、従来比内蔵GPU強化とNPU(Ryzen AI)内蔵の新CPUです。CPU単体でも、フルハイビジョン(1920×1080、1080p)ゲームが十分楽しめる性能を持つそうです。

コストパフォーマンスに優れるAMD CPUユーザの筆者も、Ryzen 8000Gは気になります。ビジネス用途としても、従来CPUと同じ消費電力(TDP=65W)でGPU+NPU高性能化、AIと高画質対応の新CPUは注目しています。

AI革命によるPCハードウェア変化

AI普及は、PCハードウェアに対し以下の変化トレンドを与えると思います。

・NPU内蔵CPU化
・エッジAIリアルタイム処理化
・低消費電力化

現状のままAIが普及すれば、世界の電力不足は避けられない、エッジ側はもとより、ネットワーク側でも更なる低電力化が必要との認識は、NTTのIOWNが広めました(関連投稿:IOWN、NTT)光電融合技術)。

現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)
現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)

AIがもたらす便利さ、効率性、生産性向上は、「⽣成AI⾰命」と呼ばれます。生成AIとの直接ユーザインタフェースでもあるPCは、ハード/ソフト含め大きく変わるのは明らかです。

Summary:AIのCPUとMCUへの影響

前章にAIによるPC CPU変化をまとめました。

本ブログ対象のMCU/IoT MCUへのAI影響は、簡単に言うと「PC変化の後追い」です。しかし、生成AI革命が、PC後追い時間差を、従来比より少なくすると思います。

AIによるMCU/IoT MCU急変トレンドをまとめると以下です。

・Tiny AIエッジ処理(アプリ例:ポンプ異常検出、顔認識、人物検出、故障検出など)
・超低消費電力動作

MCUは、小型低価格化のためNPU内蔵、または、ソフトウェアでエッジAI処理を行います。小型なAIのためTiny AIとも呼ばれます。アプリ例から、AIハイブリッドのPCより、エッジMCU AI処理比率が高い気がします。

また、数十億ものMCU数が必要なIoT MCUは、1個1個のハード/ソフトの超低消費電力動作が必要になります。

これら動向に対し、MCU開発者は、自ら生成AIを活用し、短納期開発に備えておくべきでしょう。

関連投稿:ハードウェアまたはソフトウェアMCU AI機能とアプリ例、MCU AI現状、生成AI活用スキル

Afterword:慌てず、騒がず、遅れず準備

生成AI革命は、顧客のAIアレルギーを無くし、MCU開発者には、これまでと全く異なる異次元の短期開発や手法を求めるかもしれません。CPUやMCUへの新技術導入もより早くなりそうです。

人間開発者は、慌てず騒がず、しかし、変化にも遅れずに追随が必要です。そのためにも、動向を常に把握し、的確な対応準備を心がけましょう。