MCU+AI 加速器正在變得越來越流行。

　　Yole稱，盡管2022年全球通脹大幅飆升，半導體市場歷經周期波動、需求低迷的窘境，但微控制器(MCU)市場在2022年仍然蓬勃發展，總體年收入增長25%。

　　2023年來，許多供應商開始擔心庫存過剩，以及受到消費市場支出急劇下降和供應過剩導致平均銷售價格和收入下降的嚴重影響，預計2023年MCU市場全年增長將持平，同時2024年將保持低個位數增長，但MCU市場的長期增長潛力尤其樂觀

　　根據technavio報告預計，2022年-2027年間，MCU市場規模將以6.97%的復合年增長率增長，到2027年市場規模預計將增長90.314億美元。

　　圖源：technavio

　　市場的增長取決于多種因素，包括汽車中MCU的使用量不斷增加、物聯網和智能設備的需求不斷增加以及消費電子行業的增長。

　　在這個過程中，互聯設備的持續增長以及在物聯網邊緣開發更多智能設備的趨勢。隨著AI深入到邊緣和終端裝置，邊緣計算的發展成為推動全球MCU市場增長的主要趨勢之一。

　　這些趨勢不僅推動了MCU的市場需求，也在催生MCU新的技術革新。

　　眾所周知，此前的AI運算和機器學習等主要在云端完成，現在正在逐漸向邊緣端發展。邊緣計算是指在網絡邊緣運行的計算，更靠近數據生成源，而不是位于遙遠的數據中心。這樣做的好處在于，能減少云端上傳的數據帶寬，提升本地設備的響應速度，提高本地數據的安全性。

　　隨著邊緣計算在物聯網領域不斷部署，MCU在邊緣計算中的使用將會增加。與此同時，在萬物互聯的時代，數據呈現爆發式的增長態勢，CPU面臨著巨大的計算壓力。針對“如何釋放CPU的計算壓力”，市面上已經出現不同的解決方案。一些企業開始在MCU中添加加速器，通過專用算力來進行ML的運算，以期能釋放CPU的通用算力。

　　簡而言之，AI和ML的運算正在從云端向邊緣端遷移，計算重心的前置可以提高本地的設備響應，減少云端上傳的數據帶寬，提高本地數據的安全性等，帶來的好處不言而喻。而這種邊緣AI，并不會止步于手機、電腦這些具備SoC級別算力的終端，而是會繼續向著MCU為主控的物聯網設備蔓延。

　　對此，MCU廠商相繼進行創新，嘗試將AI/ML技術集成到MCU中推向邊緣，以跟上更智能的邊緣設備的步伐，當前已有一些企業展開了探索布局。

　　01 頭部MCU大廠，紛紛發力

　　根據Yole統計數據，2022年全球MCU廠商營收排名中，意法半導體(STM)、英飛凌(infineon)、瑞薩電子(Renesas)、恩智浦半導體(NXP)、微芯科技(Microchip)位列前五，Top10企業市場份額合計占比高達93%。

　　本文以頭部MCU廠商為例，針對上述邊緣設備市場的發展，來看一看MCU行業正在如何進行創新與演變。

　　恩智浦：率先將NPU集成進通用MCU

　　恩智浦曾表示，“以前提到好MCU的標準就是：按下按鈕就有很快的反應，但現在遠不止這樣，我們希望處理器本身有預知性，這就需要引入AI的要素。所以相信越來越多的落地項目會要求邊緣計算平臺擁有越來越多的AI功能支持。”

　　熟悉恩智浦的人應該知道，NXP有三大類邊緣計算平臺，分別是通用MCU平臺(LPC、Kinetis)，跨界MCU i.MX RT系列，以及i.MX和Layerscape系列應用處理器，這三大類產品構筑了NXP廣闊而豐富的可拓展的邊緣計算平臺。

　　近年來，恩智浦新推出的跨界MCU填補了MPU和MCU之間的市場空隙，獲得了較好的市場反響。

　　在通用MCU市場，一個新紀元即將開啟。據IHS預測，2030年將會有750億個聯網設備，這帶來了新的MCU應用需求。低功耗、無線連接、安全、高性能和AI能力的追求，成為了新的通用MCU的必備能力。而且同一MCU平臺需要具有靈活的可遷移性，方便開發者進行設計的遷移。

　　基于智能邊緣的種種趨勢，NXP推出了通用MCU平臺——MCX微控制器產品組合。這一平臺融合了LPC、Kinetis傳統優勢，將開啟下一段智能邊緣的征程。

　　傳統上，要將一些成熟的算法部署到MCU的CPU核上，需要耗費大量精力，且難度較大。目前MCU廠商都有推出相應的AI開發工具包，或者是例程，供開發者使用。

　　但另一個問題在于，MCU的CPU核并不適合做AI和ML的運算，這將會極大地占用其計算資源。高度依賴CPU核和FPU等硬件資源，也會帶來功耗的上升，從系統角度來看并不是合適的做法。

　　因此，在通用MCU中添加一個硬件NPU，來為一些邊緣側通用的AI運算進行專門的加速，成為了解決問題的優選。CPU核可以專注于自己擅長的計算任務，將AI ML的運算交給NPU。

　　上述MCX N系列就是如此，讓適合的核去做適合的任務，從而幫助開發者實現未來智能邊緣更好的設計。

　　據介紹，NPU作為CPU的AI運算協處理器，其內部最主要是擁有專門的計算通道。該NPU為NXP的自研硬件IP，在MCU領域中，集成神經處理單元應該說是迎合了這個時代。

　　未來，該NPU還可以擴展到更高的性能或更小的單元。NXP的整個MCU、MPU家族里，都會采用統一的NPU架構，提供更高性能的NPU的加速器。通過一致的NPU架構，同樣的算法也更容易從MPU遷移到MCU平臺上。

　　相比一些AI SoC，NXP N系列產品的通用性更好，能夠覆蓋到更多基礎應用的AI特性升級;而對于一些AI更加前置、在傳感器中添加加速器的產品而言，其加速器往往功能比較單一，僅適用于其傳感器的數據篩選，并不具備更靈活的通用性，不能支持更多算法模型。

　　近日，恩智浦最新宣布與Aptos-Eta Compute建立合作伙伴關系，將恩智浦先進的以人工智能為核心的芯片和軟件工具集成到Aptos公司*的MLOps平臺上。

　　在此過程中，Aptos可以針對該芯片優化和調整人工智能模型，從而實現前所未有的模型效率和性能，簡化低功耗邊緣處理器的模型開發、部署和管理。

　　這次合作標志著在縮小AI和嵌入式系統之間的差距方面邁出了重要一步。Aptos無需復雜地了解芯片的具體功能和限制條件，從而為機器學習開發人員和嵌入式系統工程師提供了強大的支持。人工智能開發人員現在可以輕松創建和部署優化的機器學習模型，充分利用恩智浦芯片的強大功能，無需深入了解嵌入式技術，即可管理片上內存和低功耗等緊張資源。嵌入式系統工程師可以使用無代碼工具鏈輕松獲得*的Al模型。這種“簡化+優化”是使Edge Al革命成為現實的核心，使其比以往任何時候都更容易獲得和高效

　　Eta Compute共同創辦人暨行銷副總裁Paul Washkewicz表示，在Edge Al快速發展的世界中，協作是成功的關鍵。Eta Compute和恩智浦半導體的合作標志著業界致力于打破障礙，為更多領域提供有效的解決方案，從而推動邊緣人工智能的發展。

　　據悉，MCX的應用場景是針對MCU現有的應用場景進行的拓展，在傳統的控制應用基礎上增加了在醫療設備、無人機，或者工業控制中加上智能識別、故障檢測、語音控制等應用�；�于NPU的出現，也會衍生出很多新應用，例如在日常生活中識別物體的秤;醫學檢測中，可以應用于檢測含瘧疾的紅細胞;交通出行中，可以幫助智能車識別障礙，自動地做出判斷和處理等等。

　　整體來看，高性能、無線、安全和AI特性，具備所有這些特性的通用MCU平臺是大勢所趨。業界很多廠商其實也已經有非常完備的平臺，但在通用MCU中添加硬件NPU，MCX尚屬首例，可謂是NXP又捕捉到了一個廣闊前景的市場空白和清晰的應用前景。

　　英飛凌：板載ML硬件加速

　　近日，英飛凌宣布推出PSoC Edge系列微控制器，為邊緣操作機器學習 (ML) 的設備提供高性能和安全性。

　　PSoC Edge系列MCU提供內置ML支持、自主模擬以及更多功能，使其成為下一代智能邊緣設備的候選者。

　　PSoC Edge 系列MCU框架

　　值得關注的是，除了支持Cortex-M55 DSP和Ethos-U55 NPU之外，PSoC Edge系列MCU的一個關鍵規格是板載ML硬件加速，集成了英飛凌專有的神經網絡硬件加速器NNLite。

　　這種硬件加速使該系列MCU能夠用于需要響應計算和控制的各種應用，包括智能家居、可穿戴設備和人機交互設計。然而，除了這些特定領域之外，設計人員還可以在任何需要片上ML加速的應用中使用PSoC Edge MCU。

　　以物聯網設備為例，機器學習功能可用于自適應地與環境交互，而機器人用例可以利用機器學習功能來提高自主設備的效率和性能。同時，隨著向邊緣設備分配更多計算能力的趨勢不斷發展，PSoC Edge系列MCU為應用設備提供了更多的功能和安全性。 隨著越來越多的開發人員使用該芯片，他們可以評估片上ML加速和自主模擬信號鏈帶來的性能提升。

　　另外，開發工具也是用戶在開發MCU過程中必不可少的一環。為了更好的支持AI功能的開發，英飛凌還推出了ModusToolbox機器學習工具，能夠快速評估ML模型并將其部署到英飛凌MCU上。ModusToolbox ML旨在與BSP、連接堆棧、中間件和有直觀的配置器的ModusToolbox軟件生態系統無縫協作，以便開發人員可以專注于他們的應用程序差異化并加快進入市場。

　　此外，為支持汽車人工智能和車輛虛擬化的趨勢，英飛凌還與新思科技合作推出了針對AI加速的Aurix TC4x平臺，英飛凌的AURIX TC4x MCU集成了一個高性能AI加速器，稱為并行處理單元 (PPU)，由Synopsys DesignWare ARC EV處理器IP提供支持。

　　在AURIX TC4x架構中集成基于ARC EV處理器的PPU，通過提供經濟實惠的AI實現了廣泛的電動汽車用例。PPU具有實時處理性能，可加速循環神經網絡、卷積神經網絡和多層感知器等AI算法。除了提供處理能力之外，ARC EV7x處理器IP還提供功能安全特性，與AURIX架構相結合，支持開發更安全的汽車系統。

　　2023年5月，英飛凌宣布已收購總部位于瑞典斯德哥爾摩的初創公司Imagimob AB，以提升其微控制器和傳感器上的TinyML邊緣AI功能。Imagimob是快速增長的微型機器學習和自動機器學習(TinyML和AutoML)市場的*者。

　　ST：AI軟硬結合，賦能MCU

　　近幾年，智能家電的快速發展，對MCU的性能、互聯提出了越來越高的要求，基于MCU平臺運行人工智能和機器學習，發展性能更高、功耗更低的邊緣計算，正在成為行業熱點。面對這樣的趨勢，意法半導體很早就開始布局智能的MCU。

　　ST已經創建了一個平臺，通過STM32Cube-AI將ML用于32位MCU

　　2021年6月，意法半導體宣布收購邊緣AI軟件專業開發公司Cartesiam，讓基于Arm的MCU具有機器學習和推理能力。去年，ST推出了帶有神經網絡硬件處理單元的通用微控制器——STM32N6，這是意法半導體的*帶有神經處理單元硬件加速器的MCU，將推動目標應用計算能力的提升和功耗、成本的進一步下降。與其STM32MP1微處理器相比，這款MCU的推斷速度提高了25倍。

　　據了解，STM32N6包括一個專有的NPU和一個ARM Cortex內核，這提供了與配備AI加速器的四核處理器相同的AI性能，但成本僅為十分之一，功耗僅為十二分之一。

　　今年5月，ST推出了其最新的64位微控制器STM32MP2。憑借多個ARM Cortex內核、一個神經處理單元、一個圖形加速器和多個高性能I/O選項，ST將新處理器定位于工業4.0應用中的機器學習。

　　此外，意法半導體的軟件工具STM32CubeMX中也集成了AI模塊，可以方便客戶將訓練好的AI模型轉換為MCU上運行的軟件，使MCU可以方便實現AI功能。

　　ST還擁有STM32Cube.AI和NanoEdge AI Studio軟件工具，并且與NVIDIA合作，整合NIVIDIA TAO和STM32Cube.AI工具，讓開發者在STM32微控制器上無縫地訓練和實現神經網絡模型。

　　相對來說，兩個優勢互補的軟件工具STM32Cube.AI和NanoEdge AI Studio，產品種類豐富的STM32微控制器和微處理器，以及大量的傳感器產品組合，讓ST的人工智能解決方案成為市場上比較豐富的人工智能產品組合。

　　瑞薩電子：業界*M85處理器MCU

　　近年來，很多廠商開始嘗試在MCU中融入AI功能，瑞薩電子也是關注MCU+AI的廠商之一。

　　隨著對效率、延遲以及成本的考慮，市場開始嘗試采用越來越多的邊緣計算作為嵌入式系統AI/ML的*方案。

　　作為全球主要的MCU和MPU供應商，瑞薩電子的AI解決方案通過使用在終端具有智能數據處理能力的嵌入式AI技術，來增強以信息和操作技術為基礎的系統和產品。

　　早在2021年，瑞薩就推出面向AI的*MPU產品。入門級RZ/V2L系列具備同類的電源效率和高精度AI加速器DRP-AI，可進行AI推理和圖像處理，以實施更具成本效益的視覺AI應用。此外，通用64位RZ/G2L產品群采用最新Arm Cortex-A55核心，用于改進AI處理。

　　去年，瑞薩還推出了內置視覺AI加速器的RZ/V2MA系列產品，進一步實現了精確圖像識別和多攝像頭圖像支持功能。

　　據了解，RZ/V2系列是一種內置瑞薩電子*硬件加速器 “DRP，動態可配置處理器-AI”的AI專用微處理器。DRP-AI專為嵌入式機器視覺類AI/ML應用優化設計，可提供實時AI推理和圖像處理功能，同時兼具了高AI推理性能和低功耗特性，家族化產品支持0.4~80TOPS不等的可擴展AI算力，為資源有限的嵌入式端側AI應用提供差異化有競爭力的解決方案。

　　瑞薩表示，MCU與MPU的計算效率和實時處理AI/ML模型的能力不斷提高，隨著各類應用對AI/ML技術的普遍采用，MCU和MPU將繼續增加AI加速結構和NPU。

　　近日，瑞薩電子再次推出強大的RA8系列MCU，新型RA8系列MCU部署了Arm Helium技術，即Arm的M型向量擴展單元。相比基于Arm Cortex-M7處理器的MCU，該技術可將實現數字信號處理器(DSP)和機器學習(ML)的性能提高4倍。

　　AI的出現增加了對邊緣和終端智能的需求，以服務于包括工業自動化、智能家居和醫療在內不同市場的新應用。瑞薩的新型RA8系列為MCU的性能和功能設定了新的標準，并將簡化AI在大量新應用中的實施，對于希望在嵌入式和物聯網領域把握不斷增長的AI機遇且兼顧安全性的創新者來說，其將改變游戲規則。

　　在AI軟件方面，瑞薩電子也在持續強化布局。瑞薩去年中旬完成對Reality AI的收購，可為汽車、工業和消費類產品中的高級非視覺傳感提供嵌入式AI和微型機器學習(TinyML)解決方案。Reality AI的旗艦Reality AI Tools是一種為支持整個產品開發生命周期而構建的軟件環境，可提供來自非視覺傳感器數據的分析。

　　目前，Reality AI的全套工具已被用于支持瑞薩所有的MCU和MPU產品線，用戶可利用該工具套裝去優化自己的AI和ML模型，對外提供支持AI運算的MCU。

　　ADI：硬件CNN集成，邊緣AI MCU的技術趨勢

　　在很多垂直的邊緣端要實現AI賦能，調用云端的AI能力的成本較高，而且整個鏈條的響應時間也較長，對于連接質量的依賴程度也較高，因此并不能做到較為實時的計算和處理，這與端側的低功耗、低延時的系統設計目標并不相符。

　　邊緣AI落地，需要滿足端側的功耗要求。

　　因此，內置硬件CNN進行專門的AI運算，成為了ADI在AI MCU上*選擇。在端側計算單元中部署一個資源夠用的卷積神經網絡(CNN)加速器，就可以承擔起端側的AI任務，而且也釋放了更擅長做計算任務的CPU等資源，從而在增加AI運算的同時，還保證了達到端側高能效目標。

　　據了解，在百億IoT設備中，大部分的計算單元是MCU。而在MCU中集成CNN加速器，已經成為了MCU的一個發展方向。目前諸多MCU廠商都已經推出了AI集成的MCU產品，ADI也是如此。

　　據預測，2025年75%的數據產生在邊緣側進行處理，端側AI MCU市場潛力巨大。

　　以ADI推出了邊緣AI解決方案MAX7800X系列MCU為例，MAX7800X系列由兩個微控制器內核(ARM Cortex M4F和RISC-V)加上一個卷積神經網絡(CNN)加速器構成。這一架構針對邊緣AI應用進行了高度優化，數據的加載和啟動由微控制器內核負責，而AI推理由卷積神經網絡加速器專門負責。

　　據了解，ADI的邊緣AI解決方案具備速度快、無需外部存儲、時鐘控制靈活和超低功耗等四大特色，因此對于需要使用電池供電、需要及時決策的物聯網設備來說特別合適。

　　針對邊緣AI的計算平臺，相較于選擇FPGA、GPU、DSP或其它專用ASIC，但ADI的MAX7800X憑借著針對性的架構設計，提供了更高的能效和性能表現。

　　對比傳統的MCU+DSP的方案，ADI的MAX7800X的CNN加速器可以將功耗降低99%以上，而且算法在CNN上執行的效率也比DSP上更高。對于單純采用微控制器的方案，MAX7800X的CNN加速器具備更高的數據吞吐量，可以將速度提高100倍以上;而且釋放了CPU的工作負載，使其專注于更擅長的計算任務。而對于FPGA等方案，雖然可以處理更復雜的細節，但其成本、功耗和面積都并不適合更邊緣側的部署，MAX7800X也具備更大的優勢。

　　隨著AI在邊緣的落地，硬件CNN在端側MCU的集成已經成為一種技術趨勢。這種AI MCU的發展將會迎來巨大的市場機遇。

　　MCU初創公司：瞄準AI加速器

　　此外，一些AI初創公司，如Brainchip、Hailo、Alif已經瞄準了AI加速器，可以用于MCU應用。以Alif為例，

　　Alif Semiconductor推出的Ensemble系列融合微控制器，“融合”了不同的計算技術——實時MCU內核、機器學習加速器和一些應用MPU內核，可以有效處理電池供電設備上繁重的機器學習工作負載。

　　據悉，其性能比使用各種AI模型執行類似工作負載的傳統32位MCU高出兩個數量級。

　　Alif 的新系列 Ensemble 微控制器和微處理器

　　隨著系統設計人員尋求減少AI/ML處理對云的依賴，像Ensemble系列這樣的可擴展邊緣AI解決方案可能會在未來幾年取得進步。

　　Arm：MCU+AI需求強烈

　　作為眾多MCU芯片廠商的內在賦能者，Arm近年來連續發布了帶有算力的內核MicroNPU Ethos U55、U65等系列，標志著MCU市場對AI加速器開始提出更強需求。

　　如今在MCU中加入AI加速器逐漸變得流行起來，使用Tiny ML/Embedded ML把算法部署在MCU上，還可以根據不同的應用場景輕巧靈活地部署在不同架構和資源的通用MCU上。

　　Arm在短時間內連續發布兩代針對MCU的microNPU，一方面說明MCU市場對于AI和AI加速器確實有很強的需求;另一方面也表明MCU和MPU甚至CPU之間的性能差距正在縮小，這將為未來智能MCU生態帶來新的變化。

　　AI和MCU的融合或將解鎖一個龐大的市場，或成為未來萬物互聯的基石。

　　同時也看到，除了在MCU中集成硬件加速器，在MCU中解決邊緣AI的更流行的趨勢在于算法的發展，ML算法可以使用更小的工具來開發，如TinyML和TensorFlow Lite，使其能夠在MCU等受限硬件中開發AI應用。

　　上述也提到了瑞薩電子、英飛凌、ST等均在發力AI軟件方案，去優化AI和ML模型。對此，MCU大廠Microchip(微芯科技)也在布局，為了滿足邊緣端機器學習開發和設計需求，Microchip也推出了完整的集成工作流程，通過其新的MPLAB機器學習開發套件來簡化ML模型開發。該軟件工具包可在Microchip的MCU和MPU產品組合中使用，以快速高效地添加ML推理。

　　02 寫在最后

　　AIoT時代，AI深入到邊緣和終端裝置，已經是一個長期必然的大方向。

　　相比于傳統方式，邊緣AI憑借獨特優勢能夠給各行業提供更令人滿意的解決方案，越來越多的人在嘗試使用邊緣AI來解決行業的痛點問題。

　　在MCU中集成硬件加速器或融入AI算法，可以將MCU低功耗、低成本、實時性、穩定性、開發周期短、廣闊的市場覆蓋率等特性，與人工智能強大的處理能力相結合，從而更有利于終端智能化市場的發展。

　　回顧行業歷程，大概自2017年開始，MCU廠商嘗試在MCU中添加AI功能。例如，ST的Project Orlando項目作為實驗性質的MCU超低功耗AI加速器單元，瑞薩在2018年發布了針對MCU的可編程可重構協處理器DRP。

　　至今，經過多年發展，在MCU中加入AI加速器正在變得越來越主流。

　　將AI能力集成到MCU上，使得AI算法可以實時地在設備本地進行處理和響應，而無需依賴于云端或其他遠程服務器。這提高了系統的實時性和即時響應能力，使得設備能夠更快速地做出決策和反應，且可以在低功耗的情況下實現高效的AI計算。

　　當MCU市場開始擁抱AI，一個全新的AIoT局面即將開啟。在下一波百億物聯設備的背后，MCU行業將迎來新的變革與重構。