MCU開発者のCopilot+ PC

2024年5月28日、日本Microsoft津坂社長のCopilot活用記事が、PC Watchに掲載されました。メール要約や資料分析、優先タスク振分けなどCopilotを使った活用例は、ビジネスパーソンだけでなく、MCU開発者にとっても参考部分が多々あります。

筆者が特に印象に残ったのは「エンジニアでない津坂社長でも、使い続け、議論を繰り返すことでCopilotを使いこなせる(AI筋トレ)」の部分です。

背景技術の広さ深さは見せず、使い易さを追求したツールは、Copilotだけでなく最近のツール全般に当てはまります。そのCopilotを更に進化させるGPT-4oのAI研究者視点と、MCU開発ツール変化について示します。

謎が多いGPT-4oモデル

2024年5月28日、ビジネス+IT にAI研究者、今井 翔太氏が、研究者視点のGPT-4o評価と謎、GPT-5への伏線を執筆しました。筆者が、ごく簡単にまとめたのが下記です。

“数年前ならAGI(Artificial General Intelligence、汎用人工知能)レベルに達したと想定できるGPT-4oは、AI研究者からみると、謎が多いモデルで従来スケーリング則からは不自然。しかし、殆どの人が考えるAGIに相当近づいた。GPT-4延長GPT-4oの次期超高性能モデルGPT-5準備中”

AIを利用する殆どの人、つまり、筆者などMCU開発者は、GPT-4o≒AGIと考えて良いと思います。前章、津坂社長のようにAGI化したCopilotをこき使って(!) 生産性や判断スピートを上げ、その中身や仕組みは知らなくても問題ないからです。

現在Copilotは、GPT-3.5/4でGPT-4oではありません。しかし、CopilotのようなAIツールは、使っているうちにGPT-4o/5などのテクノロジ進化と共にユーザ学習度も深くなり、最後にはユーザ専用アシスタントとなる可能性があります。

このツール自体の進化が、従来に無いAIツールならではの特徴です。

MCU開発ツール変化

MCUのIDE開発ツールは、Eclipse IDEベースが業界標準です。各MCUベンダ固有のAPIコード生成ツールやフラッシュプログラマをEclipse IDEへ機能追加し、MCU開発者へ無償提供されます。

最近、Eclipse IDEベースに代わってMicrosoft製Visual Studio Code(VSC)を使う変化が見られます。

MCUXpresso for Visual Studio Code構成(出典:NXPサイト)
MCUXpresso for Visual Studio Code構成(出典:NXPサイト)

例えば、NXPは、EclipseベースのMCUXpresso IDEの代わりに、VSCベースのMCUXpresso for Visual Studio Codeが使えます。もちろん、無償です。従来EclipseからVSCへ変えるメリットは、筆者には判りません。あえて推測すると、同じMicrosoft製Copilotとの親和性です。

つまり、数年後のAI活用MCU開発時に、EclipseベースよりもVSCの方がCopilotとの協調動作性が良いので、ユーザ能力に合わせた開発ができるかも(?) という訳です。

Summary:MCU開発者のCopilot+ PC

Microsoft発表のCopilot+ PCは、ユーザ検索履歴や能力レベルを、40TOPS以上のエッジAI NPUが学習し、ユーザに即した回答をCopilotが提供します。これは、広く深い知識が求められるMCU開発者にとっても、開発スピートアップやMCU習得の強力な助けになります。

MCU開発者がCopilotを上手く使うには、津坂社長のように使い続け、入出力議論を繰り返すことでエッジAI NPUがユーザを学習し、同時に開発者もCopilotに慣れる「AI筋トレ期間」が必要です。

CopilotなどのAIツール活用は、MCU開発者とエッジAI NPU双方の学習期間が必要
CopilotなどのAIツール活用は、MCU開発者とエッジAI NPU双方の学習期間が必要

Visual Studio Code やCopilotに慣れ、エッジAI NPUを使いこなせるよう準備が必要かもしれません。Microsoft製ツール全盛となるのは、いささか気になりますが…。AIアシスタントCopilot影響大ですね。

Afterword:VSC頻繁更新Dislike

筆者は、VSCをWeb制作に使用中です。これは、過去使っていたツールが更新停止となったからです。拡張機能の多さやユーザカスタマイズが容易なVSCですが、その頻繁な更新はあまり好きになれません。

Eclipse IDEでも、エディタは標準以外の別エディタ、例えば、Notepad++変更も可能です。その他カスタマイズ機能も、現時点ではEclipseとVSCに大差無いと思います。

AI全盛時は、もしかしたらIDEで差が出るかも(?) と思ったのが本稿作成理由です。筆者は、未だ自作PC派です。生成AI加速モジュールをPCへ追加しエッジAI性能を上げるか検討中です。


OfficeのAI Copilot活用例

OfficeツールのAI Copilot活用例と効果
OfficeツールのAI Copilot活用例と効果

MicrosoftのAIアシスタント:Copilotを使うと、Microsoft Officeツールの生産性が、具体的にどう上がるのかを示す記事を見つけたので紹介し、要旨をまとめます。

Summary:OfficeツールのAI Copilot活用例と効果

Officeツール AI Copilot活用例 効果
Word ドラフト時短 ドラフト作成 より多くの時間を思考に使える
PowerPoint ドラフト作成 より多くの時間を思考に使える
Excel データ分析、グラフ化 データ可視化分析作業の短縮
Outlook 受信メール要約作成
返信メールドラフト作成
より効率的にメール送受可能
Word/PowerPoint 品質改善 改善ポイント指摘 客観的評価で作成品質を高める
Outlook 送信メール明瞭チェック より高品質メールの送信
PowerPoint 作成資料の想定質問生成 着想/想像力の幅拡張
全Office文書 貰ったOffice文書の内容分析 文書内容理解を早める

※Officeはサブスク型Microsoft 365を想定。買い切り型Officeでも同様になると推定。
※Copilotは現在GPT-3.5/4。より人間らしいGPT-4o Copilotになると推定。

OfficeツールのCopilot活用要旨が下記です。

  1. コンテンツ作成Word/PowerPointは、Copilotでドラフト作成時短
  2. 表作成Excelは、Copilotでデータ可視化と分析時短
  3. Copilotで作成資料の客観フィードバックをかけ、資料品質向上と発想/想像力の幅拡張
  4. 受信メール要約、送信メールドラフト作成、送信前メールのCopilot分析
  5. 貰ったOffice文書のCopilot分析、早期内容理解

AI Copilot処理時間

前章Copilot活用によりOffice生産性や生成資料品質は、上がります。但し、上表にはAI Copilotの処理時間がありません。AI処理が遅ければ、実務には使えません。

つまり、実務でAIを使うには、応答性の速さ:AIレスポンスが重要ということです。前投稿GPT-4oは、正にこのAIトレンド最先端技術です。ライバルのGoogle+Anthropicも対抗技術を開発するでしょう。

そして、応答速さの次は、コスト競争になります。これが、サブスク型Microsoft 365だけでなく、買い切り型Officeと無償Copilotでも、Microsoft 365と同様のAI効果が期待できると推定した根拠です。但し、Copilot出力確度は、有償版が上になるかもしれませんが…。

AI Copilotレスポンスを満たすエッジPC性能

AI普及には、エッジ側AI処理の比重を増やすことが必須です。クラウド側だけでAI処理すると、データセンタの消費電力が膨大になり、また、AIレスポンスも悪くなるからです(AIとクラウド消費電力は、コチラの投稿2章参)。

そこで、Microsoftが想定するエッジAI Copilotレスポンスを満たすPCの要求スペックが下記です。これらは、次期Win12システム要件になる可能性があります。

Copilotレスポンスを満たすエッジAI PCハードウェアスペック
プロセサ 登録済みCPUで、搭載NPUは40TOPS以上
メモリ 16GBのDDR5またはLPDDR5
ストレージ 256GB以上のSSDまたはUFS(Universal Flash Storage)

今年リリース予定のWin11 24H2が、OSコア変更にも関わらずWin12に改名しなかった背景は、上記ハイスペックPCが、簡単に調達できないためでしょう。

今PCを買うなら、このスペック以上にしないと、Win11 TPM 2.0足切りのように、Win12アップグレート不可になるかもしれません。

AI Copilot時代のWindows PC

AI CopilotとWindows結合がもたらすアプリ生産性向上
AI CopilotとWindows結合がもたらすアプリ生産性向上

Microsoft想定のAI PCハードウェアとWindows、Copilot、Officeの組合せは、Summaryで示したようにPCの使い方を根底から変える可能性があります。

コンテンツ作成は、AI Copilot準備ドラフトから着手するため、ユーザは、オリジナリティ豊かな独自コンテンツ生成に集中できます。さらに、生成コンテンツにCopilotで客観フィードバックをかけ、より高品質コンテンツに仕上げることも容易です。

また、大量メールもAI Copilotで事前に振分け、重要メールのみの対応も可能となるでしょう。

つまり、低順位Office業務は、全てCopilotが代行し、高優先業務のみユーザが行うWindows AI Copilot PCへと発展します。これは、本稿で示したOfficeツール例だけに留まりません。

Microsoftが、AI CopilotとWindowsの結合をにすれば、Office同様他のPC業務も、Mac/Linuxよりも高いPC生産性が期待できます。Microsoft製Copilotと他社Mac/Linuxとの結合度が低ければ、Windowsに比べ確度の低いAI出力となるからです。

※Edgeの前のMicrosoft製ブラウザ:Internet ExplorerとWindowsは密結合であった。が、確か独占禁止の点から、IEとWindowsは完全分離となった。CopilotとWindowsもIE同様、分離可能性はある。Microsoftは、Windows AI Copilot PC商用名を「Copilot+ PC」とし対抗気配。

AI普及2アプローチとエネルギー計画

WindowsとOfficeでシェアを持つMicrosoftは、本稿のようにCopilot活用のAI PCアプローチからAI普及を図ります。一方、PixelなどAndroidスマホのシェアを持つGoogleは、写真加工や画像認識、スマホ通話即時翻訳などAIスマホのアプローチからAI普及を図っています。

AI PCかAIスマホか、いずれにせよAIが、次世代の情報機器/通信/電力/半導体製造産業を牽引することは確実です。

現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)
現状のままでは2030年に世界総電力10パーセント程度をデータセンターが占める(出典:NTT STORY)

日本では経済産業省が、これら産業のエネルギー基本計画を策定しています。AI普及や最近の国際状況から、見直し議論も盛んになってきました。今後の動向に要注目です。

Afterword:長文言い訳

日本のエネルギー基本計画なども記述しましたが、筆者が言いたかったことは、Summary章「AI Copilot活用でOffice生産性は上がる」です。中でもOffice資料のCopilot客観フィードバックは、期待度大です。残念ながら本記事は、未だ全て手作業生成ですが…。

日経XTECHの元記事に、生産性向上の詳しい説明があります。この記事は、クラウドAI CopilotとMicrosoft 365を対象とし、クラウドAI Copilotの仕組み利用心得などの関連記事もあります。

ただ、クラウドAI処理は、電力不足懸念からエッジAI処理分散が必須で、この動きにマッチしたMicrosoftの Copilot+ PC登場ストーリとなり長文化しました。


エッジAI導入アプローチ

市中ビデオカメラへのエッジAI応用例とどの程度TOPS能力が必要かが判る記事、STM32F3マイコンの電動自転車へのAI応用記事から、MCUとMPU/SBCのエッジAI導入アプローチの違いを説明します。

ビデオカメラのエッジAI応用例

AIビジョンプロセサHailo-15によるカメラノイズ除去、鮮明化例(出典:記事)
AIビジョンプロセサHailo-15によるカメラノイズ除去、鮮明化例(出典:記事)

上図は、左側オリジナルビデオ画像を、AI Visionプロセサ:Hailo-15を使って、ノイズ除去と鮮明化、人物認識を行った例です。

この例では、低照度下で撮影した4Kビデオ画像のノイズ除去に約100ギガオペレーション/秒(GOPS)、30フレーム/秒のリアルタイムビデオストリーミングなので3 TOPS処理能力が必要です。

Hailo-15は、AI処理能力に応じて現在3製品をラインナップしており、それぞれのTOPS値が下図です。

Hailo-15ラインナップ’(出典:HAILOサイト)
Hailo-15ラインナップ’(出典:HAILOサイト)

7 TOPSのHailo-15Lでも十分なビデオカメラエッジAI処理が可能です。カメラ外付けのHailo-15は、例えば、SBC(シングルボードコンピュータ)Raspberry Pi 5と組み合わせると面白い装置が開発できると思います。

同様のビデオエッジAI処理をMCUで実現する場合は、コチラの投稿で示したCortex-M85コア搭載RA8D1があります。

電動自転車のエッジAI応用例

2024年4月3日、STマイクロは、電動自転車搭載の汎用MCU STM32F3(Cortex-M4/72MHz、Flash/128KB)へ、無償エッジAI開発ツールSTM32Cube.AIを使って、自転車タイヤの空気圧を推定、空気を入れるタイミングを示すAI機能を実装しました。

STM32F3は、上記AI機能の他にも自転車本体の電動アシスト量制御やモータ制御も行っています。つまり、空気センサなどの追加ハードウェア無しでエッジAI機能が低コストで実装できた訳です。

STM32F3へのエッジAI応用例(出典:STマイクロ)
STM32F3へのエッジAI応用例(出典:STマイクロ)

STマイクロのMCUソフトウェアは、HAL(Hardware Abstraction Layer)APIを使って開発すると、同社の異なるMCUコアでも移植性の高いソフトウェアが作れます。

最新40nmプロセス製造のSTM32F3上位機種が、汎用STM32G4(Cortex-M4/170MHz)です。STM32G4ソフトウェア開発をご検討中の方は、弊社STM32G0x(Cortex-M0+/64MHz)テンプレートをご活用ください。
また、より低価格低消費電力なSTM32C0(Cortex-M0+/48MHz)へもG0xテンプレートが適用可能です。
詳細は、info@happytech.jpへお問い合わせください。

Summary:エッジAI導入の2アプローチ

エッジAI導入の2アプローチ
エッジAI導入の2アプローチ

実際のエッジAI応用例から、MCUとMPU/SBCではエッジAI導入アプローチが異なる事を示しました。

MCUは、STM32F3例が示すように、「追加ハードウェア無し低コストAI実装アプローチ」です。STM32Cube.AIを使い、実装MCUへソフトウェアのみでAI機能追加を行います。

MPU/SBCは、外付けHailo-15H/M/Lを使ってエッジAI処理を行います。「拡張性重視のAI実装アプローチ」です。

ユーザが求めるAI機能は、今後益々増えます。エッジAI処理増加により、より高い電力効率で高性能な処理コアが求められるのは、MCUもMPU/SBCも同じです。

製品開発には、ある程度の期間が必要です。この期間中に増加するエッジAI処理増に耐えられる製品の処理コア選定は、重要検討ポイントになるでしょう。

関連投稿:MCUとMPUの違い

Afterword:ビデオエッジAI処理プロセス

ビデオエッジAI処理プロセス(出典:HAILO記事)
ビデオエッジAI処理プロセス(出典:HAILO記事)

最初の記事に、ビデオエッジAI処理プロセスが良く判る図があります。これを見ると、エッジAI処理がハードウェアの並列処理に向いていることも判ります。

ハードウェアは、製品化後、簡単に追加ができないため、どの程度の余力を製品ハードウェアに持たせるかは、コストとの兼ね合いで「永遠の課題」です。これは、ソフトウェアのみでAI機能を実装するSTM32Cube.AIでも同じです。製品実装済みMCUの余力を上回るAI機能追加はできないからです。

つまり、当面の安心をMCU開発者へ与えるには、最新MCUの製品利用がBetterということです。


AI、Security&Cloud、Ecosystem オンライン・コンファレンス

AI、Security&Cloud、Ecosystem(=開発環境)の3日間オンライン・コンファレンスと展示会が、STマイクロ主催でライブ配信されます。STM32ユーザは勿論、他社ユーザでも組込みシステム開発ヒントの可能性があります。

STM32 Innovation Day 2021 11月10日~12日(オンライン)
STM32 Innovation Day 2021 11月10日~12日(オンライン)

AI、Security&Cloud、Ecosystemプログラム概要

11月10日(水)~12日(金)の毎日13時~17時間のライブ配信で、登録すればお好きな内容のみ視聴も可能です。登録方法は、後で示します。

AI、Security&Cloud、Ecosystemのプログラム概要
AI、Security&Cloud、Ecosystemのプログラム概要

詳細プログラムは、コチラからダウンロードできます。

見どころ

10日(水)AI:STM32MCUでの組込みエッジAIデモ。

11日(木)Security&Cloud:Cortex-M33コアSTM32U5、セキュリティ・フレームワークSTM32Trust、AWSクラウド。

12日(金)Ecosystem:STM32MCU機能安全ソフトウェア・パッケージ、Azureクラウド。

13:30~14:00の各分野エキスパートによる基調講演、バーチャル・イベント会場の最新製品紹介やデモなども面白そうです。

他社ユーザの方は、利用中MCUとの差分が明確に判る絶好のチャンスです。

登録方法

事前に、コチラで仮登録し、折返しメールで10分以内に本登録します。

コンファレンス後、アンケートに回答するとMCU評価ボードなどが当選するかもしれません。

Windows 10と11、Linux Mint、IoT MCU開発

2021年10月5日(米国時間)、次期Windows 11リリース、Windows 10 21H2リリースも10月5日前後と見込まれています。2025年迄の期間で、今後のPCとIoT MCU開発環境、開発者要件を考えてみました。

PCとIoT MCU開発環境まとめ

Windows 10、Windows 11、Linux MintとIoT MCU開発環境(2025年までの範囲)
Windows 10、Windows 11、Linux MintとIoT MCU開発環境(2025年までの範囲)

Windows 10 21H2小規模更新

年2回あるWindows 10大型更新、今秋のバージョン21H2更新も小規模更新です。

20H1から4回連続の小規模更新で、バージョンサポート期間も1.5年とこれまでと同じです。Windows 10サポート終了は、延長無しの場合2025年10月14日です。

Microsoftは、Windows 10の新規開発を終息し、次期Windows 11へ注力したいハズです。これは、サポート終了2025年までは小規模更新を繰返し、PCユーザ側は、逆に安定した最新Windows 10が使えるメリットを生みます。

なおWindows 10の更新方法は、コチラの投稿記事を参考にしてください。

Windows 11へのアップグレード要件緩和は幾分発表されましたが、セキュリティTPM2.0は相変わらずで、Windows 10から従来のような安易な11アップグレートをMicrosoftは許しません。従って、11要件が現状のままなら、Windows 10 PCの使い道は2025年以降無くなる運命です。

11化できない、または、10サポート終了後のWindows 10 PCをどう運用するかは問題です。解決策は、後で示します。

Windows 11プレビュー版評価

「Windows 11 もっさり」で検索すると、多くの記事がヒットします。もちろん、Windows 11プレビュー版試用感想です。Windows 10比、動作が遅く感じる人が多いのは確かなようです。

これは、CPU能力を、従来よりもグラフィックとセキュリティへ配分した結果だと推測します。

ビジネスユースの場合、Windowsグラフィック能力が生産性を向上させることはありません(Mac PCは別です)。一方、セキュリティ能力は、重要ではあるものの、しばしば開発作業の邪魔になります。開発ツールインストールや更新時、セキュリティソフトが不要な警告を出すことを経験された方は多いでしょう。

セキュリティは、「安全側マージンを大きく保って動作」します。存在意義を示すためやむを得ないのは理解できますが、開発の邪魔になるのは間違いありません。

Windows 11は、Apple製M1チップ搭載の新Mac PC対抗手段なのか、初めから高性能グラフィックと新セキュティ対応の新しいCPUチップ利用を想定している気がします。Windows 11リリース後、製品版やプレインストールPCなどからMicrosoftの意図や本当の目的も明らかになるでしょう。

Windows 11は、年1回の大型更新と、2年間のバージョンサポート運用です。今秋リリースから1年経過後に初期トラブルを回避した大型更新バージョンがリリースされます。リリース後1年は、製品版11評価期間と考えても良さそうです。

結局、Windows 11アップグレート要件を満たすPCであっても、1年評価期間後、初期トラブル回避版でアップグレートしても遅くはないと思っています。

※「Windows 11 TPM 回避 インストール」の検索結果からTPM回避11化は可能のようです。本稿は、公式11アップグレート要件を満たすWindows 10 PCのみを対象とします。

Windows 10問題解決Linux Mint

Windows 11化できないPCの活用方法としてお勧めするのが、Linux Mintです(但し64ビットCPU必須)。その理由が下記2つです。

  1. Windowsに比べハードウェア仕様が低くてもLinux Mintは快適動作
  2. Windows GUIに慣れたユーザにはLinuxコマンド操作に違和感があるが、Linux Mintは、殆どの操作がWindowsとよく似たGUIで可能

Windows 10サポート終了まで4年あります。Linux Mint操作に慣れ、代替利用上の問題有無を評価するには、十分な期間だと思います。

マルチプラットフォームIoT MCU開発環境

IoT MCU開発環境も、Windowsのみの動作から、Windows/Mac/Linuxマルチプラットフォームへ移行しつつあります。例えば、NXP)MCUXpresso IDE、STマイクロ)STM32CubeIDE、Cypress)ModusToolboxなどは、OSが異なっても同じ動作をします。

MCUXpresso IDEやSTM32CubeIDEのLinux Mint版インストール方法は、コチラの関連投稿5章を参照してください。

個人向けWindows 365

発表済みの企業向けプラン価格よりかなり安くなることが必要ですが、個人向けWindows 365プランの価格次第では、セキュリティ/保守運用面でメリットがあるWindows 365 Cloud PCは魅力的です。

仮に、スマホと同程度、つまり月額1000円以下、5年間利用してもトータル6万円程度でWindows 365が利用できれば、個人ビジネスにも十分使えます。過剰期待かもしれませんが…。

世界的半導体不足

経年変化などを考慮し、Windows 11プレインストールPCを新規購入するのも変化への対処方法の1つです。但し、昨今の世界的な半導体不足は、PC調達価格上昇をもたらし、購入逆風の状況です。この逆風は、Windows 10サポート終了に向けて新規PC需要が高まるため、さらに強くなるハズです。

IoT MCU開発者要件

以上のような2025年までの激しいPC環境変化に対し、IoT MCU開発環境は、Windows/Mac/Linuxマルチプラットフォーム化で対応します。

IoT MCU開発者は、従来のような単純なMCU処理開発だけでなく、クラウド接続RTOS、セキュリティ、OTA(Over The Air)、エッジAIなど様々なIoT付加サービスの追加が顧客に応じて必要になります。また、これら付加サービス規模や技術背景も複雑です。

これら付加サービスは、既にLinux上で開発済みのものも多く、IoT MCU開発者は、Linux環境に慣れていくことが必要だと思います。更に、顧客毎に異なるIoT付加サービスを、ある意味ブラックボックス的に取捨選択し、従来のMCU開発へ短期で追加/削除できるテクニックを身に着けておくことも必要です。

つまり、Windows利用に慣れたIoT MCU開発者でも、Linux要素技術を持つ必要があります。

IoT MCU開発者「個人レベル」で、これらLinux技術習得やIoT MCU技術を効率的に習得する手段として本ブログ投稿や弊社マイコンテンプレートがお役に立てるように開発していきます。