2020年將是轉(zhuǎn)型的重要一年，許多可望改變?nèi)祟惿畹目萍寂c產(chǎn)品都即將成為現(xiàn)實，并開始帶來影響。2020年，將看到5G技術(shù)的部署，這將為工業(yè)4.0、自駕車，邊緣人工智能(edge AI)，以及各種要求更高速度與帶寬的新產(chǎn)品和服務(wù)奠定基礎(chǔ)。

業(yè)界正持續(xù)開發(fā)各種創(chuàng)新的半導體解決方案，以實現(xiàn)完全互連的未來。其中一項重要創(chuàng)新是，使邊緣設(shè)備的AI推理成為切實可行，且可擴展的商機。然而挑戰(zhàn)在于，AI推理需要強大的處理能力，且其功耗往往是邊緣設(shè)備無法承擔的。矩陣乘法(matrix multiplication)是AI處理的核心，它的第一個層級是先從包含數(shù)百萬個操作數(shù)(即權(quán)重)的運算開始，并且隨著運算的進行，矩陣會變小。每次運算都需要重復多次的向量點積運算：從內(nèi)存中讀取兩個操作數(shù)，把操作數(shù)相乘，并累加結(jié)果。整個過程會需要較高的功耗，因而也使成本增加。

Gideon Intrater，Adesto Technologies技術(shù)長

今天，人們正利用各種方案來解決此問題。一種方式是，利用可從多家供貨商取得的現(xiàn)成微控制器(MCU)，在某些情況下，這是一項不錯的選擇。透過把權(quán)重儲存在快速的外部內(nèi)存中，通常是8進位閃存，例如Adesto的EcoXiP非揮發(fā)性內(nèi)存(NVM)，因此能夠非?？焖俚厝〉盟鼈?。在此傳統(tǒng)的運算模型中，數(shù)據(jù)需透過單一的總線傳輸，而典型的解決方案最高可達到每瓦0.1TeraOp。但對于難度更高的推論算法，則需要采用專用硬件。

的確，目前市場上已有多家供貨商提供了許多不錯的SoC，其中有專用的AI加速硬件。結(jié)合先進工藝節(jié)點，以及專用硬件，可使這些設(shè)計達到不錯的效率。但是，這樣的設(shè)計仍需要從外部內(nèi)存取得權(quán)重，由于把權(quán)重帶進SoC的過程會消耗功率，此問題還是存在的。

展望未來，算法的復雜性將持續(xù)成長，這將使邊緣設(shè)備的AI推理硬件到達極限。為了解決這個問題，數(shù)字推論架構(gòu)正在演進，現(xiàn)已超越了采用具專用推論引擎的MCU和SoC，朝利用深次微米工藝和近內(nèi)存(near-memory)處理等新架構(gòu)發(fā)展。

透過把內(nèi)存和AI硬件加速器整合在相同的晶粒上，近內(nèi)存處理能以更低的功耗，實現(xiàn)更高的效能。目前，市場上已有商業(yè)化的解決方案，宣稱效能可達到每瓦9.6TeraOps。這是透過內(nèi)存和執(zhí)行單元之間的較高帶寬所實現(xiàn)，同時也因為不需要到芯片外部去取得權(quán)重。但是，權(quán)重的數(shù)量會受到硅晶組件中可建置的數(shù)量限制，因此效率和可擴展性無法完全兼顧。此外，為了限制功耗，需采用先進工藝，但在先進工藝節(jié)點中，具面積與功率效率的非揮發(fā)性內(nèi)存單元并不存在，需采用昂貴的SRAM數(shù)組。

進一步的創(chuàng)新是有必要的，透過內(nèi)存內(nèi)(in-memory)的模擬處理(運算資源和內(nèi)存位于同一位置)，我們看到了未來AI邊緣推論引擎的光明前景。在此典范中，深度神經(jīng)網(wǎng)絡(luò)(DNN)矩陣成為非揮發(fā)性內(nèi)存單元數(shù)組，而矩陣的權(quán)重成為非揮發(fā)性內(nèi)存單元的電導(conductance)。透過輸入電壓與非揮發(fā)性內(nèi)存單元電導的模擬相乘來完成乘法運算。這些運算在所有向量元素上所產(chǎn)生的電流，以模擬方式相加，以產(chǎn)生MAC結(jié)果。由于不需要移動權(quán)重，因此該模型可以實現(xiàn)功率效率和可擴展性的絕佳組合。業(yè)界預(yù)估，此解決方案的小能可達到OI每瓦28TeraOps。

內(nèi)存內(nèi)模擬處理當然會面臨挑戰(zhàn)，而且不會在2020年實現(xiàn)這項技術(shù)。但是，我們相信，今年業(yè)界將會在此領(lǐng)域取得進展。模擬解決方案正在迎頭趕上，利用單一晶體管儲存和原地(in-place)運算，可免除昂貴的硬件乘法器。當我們邁向完全互連的未來時，結(jié)合模擬和數(shù)字運算，可能是因應(yīng)邊緣設(shè)備AI推理挑戰(zhàn)的唯一方法。