【天極網筆記本頻道】繼《混合AI是AI的未來》白皮書之后，高通近日再度發(fā)布了一部有關AI的白皮書——《通過NPU和異構計算開啟終端側生成式AI》。前者詳細闡述了高通對于未來AI發(fā)展的預測——終端側AI和混合AI開啟生成式AI的未來，并展示了高通在推動混合AI規(guī)?；矫娴膬?yōu)勢;后者則為我們進一步打開了視野——高通敏銳地判斷生成式AI變革已經到來，研發(fā)專為生成式AI定制的計算架構是必然?；诋悩嬘嬎憷砟睿咄℉exagon?NPU與高通AI引擎的價值更加顯現。

此前，高通在二月舉行的巴塞羅那世界移動通信大會(MWC)上發(fā)布了公司AI領域的最新進展。包括但不限于全新高通AI?Hub、AI前沿研究突破以及AI賦能的商用終端展示。從MWC?2024全新AI白皮書的發(fā)布我們不難看出，身處行業(yè)上游的高通不僅僅在為開發(fā)者賦能，同時也在推動技術落地、向下游滲透，并且變革由驍龍和高通平臺支持的廣泛終端品類上的用戶體驗。

我們?yōu)槭裁葱枰狽PU和異構計算

生成式AI進入端側已經是大勢所趨，而我們首先需要明確的一點是，生成式AI多樣化的計算需求需要不同的處理器來滿足。在端側的具體使用場景中，CPU和GPU都會負擔一部分AI運算。其中CPU主要應對順序控制和即時性運算，適用于需要低時延的應用場景;GPU擅長面向高精度格式的并行數據流處理，比如對畫質要求非常高的圖像以及視頻處理;而NPU則更擅長與AI運算直接關聯(lián)的標量、向量和張量數學運算，可用于核心AI工作負載。正所謂“專業(yè)的人做專業(yè)的事”，不同的AI運算運行在適合的芯片上時才能夠最大化效率。優(yōu)秀的NPU設計能夠為處理這些AI工作負載做出正確的設計選擇，這與AI行業(yè)方向保持高度一致。

當下，要滿足生成式AI的多樣化要求和計算需求，整合不同的處理器的算力是必然。高通的NPU并非是獨立存在的，而是與CPU、GPU共同構成了異構計算體系。高通AI引擎包括高通Hexagon?NPU，它是高通AI引擎中的關鍵處理器，通過定制設計NPU以及控制指令集架構(ISA)，高通能夠快速進行設計演進和擴展，解決瓶頸問題并優(yōu)化性能。

此外，高通AI引擎還包括高通Adreno?GPU、高通?Kryo或高通?Oryon?CPU、高通傳感器中樞和內存子系統(tǒng)。這些處理器為實現協(xié)同工作而設計，能夠在終端側快速且高效地運行AI應用。在四大核心模塊的通力協(xié)作下，高通異構計算能夠實現最佳應用性能、能效和電池續(xù)航，實現生成式AI終端性能的最大化。

優(yōu)勢明顯?高通NPU以質取勝

從2007年起，高通就開始在NPU方面進行研發(fā)嘗試并持續(xù)投入。2015年，驍龍820集成了首個高通AI引擎;2018年，高通在驍龍855中為Hexagon?NPU增加了Hexagon張量加速器。2020年，高通對Hexagon?NPU進行了架構變革融合，AI加速器架構為高通未來的NPU架構打下了堅實的基礎。2023年，第三代驍龍8的微切片推理進一步升級，在降低內存帶寬占用;Hexagon?張量加速器增加了獨立的電源傳輸軌道，大共享內存的帶寬也增加了一倍?；谝陨咸嵘虸NT4硬件加速，Hexagon?NPU成為了面向終端側生成式AI大模型推理的領先處理器。

目前，Hexagon?NPU可以實現在終端側運行高達100億參數的模型，在首個token的生成速度和每秒生成token速率方面業(yè)界領先。MWC?2024期間，高通展示了在第三代驍龍8移動平臺上運行的首個大語言和視覺助理大模型(LLaVA)，能夠基于圖像輸入解答用戶的相關問題。

除了手機端，高通在AI?PC方面的建樹同樣矚目。高通在去年底發(fā)布了專為AI?PC打造的驍龍X?Elite平臺，它能支持在終端側運行超過130億參數的生成式AI模型，AI處理速度是競品的4.5倍?；隍旪圶?Elite，高通也展示了全球首個在終端側運行的超過70億參數的大型多模態(tài)語言模型(LMM)，可接受文本和音頻輸入(如音樂、交通環(huán)境音頻等)，并基于音頻內容生成多輪對話。該模型經過優(yōu)化，能夠實現出色的性能和能效，并完全在終端側運行，充分發(fā)揮驍龍X?Elite的強大能力。

從專業(yè)技術的角度來看，我們可以通過TOPS、也就是Tera?Operations?Per?Second進行算力表示，1TOPS代表處理器每秒鐘可進行一萬億次(1012)操作。但是具體到實際使用的場景中，NPU性能比較“難以感知”，AI性能也是一個比較不太好量化的數據，消費者很難對不同設備的AI性能進行同等條件下的測試。

我們現在能夠見到的對AI算力進行量化的軟件以魯大師AIMark和AITuTu測試為代表。首先來看第三代驍龍8和三款Android以及iOS平臺競品的對比。在安兔兔AITuTu基準測試中，第三代驍龍8能夠達到競品B的6.3倍。而在魯大師AIMark?V4.3基準測試中，第三代驍龍8能夠領先競品6-8倍。在MLCommon?MLPerf推理的不同子項中，例如圖像分類、語言理解以及超級分辨率等項目中，第三代驍龍8都保持領先。

在PC端AI性能方面，驍龍X?Elite與其他X86架構競品同樣優(yōu)勢明顯，在面向Windows的UL?Procyon?AI推理基準測試中，驍龍X?Elite在ResNet-50、DeeplabV3等測試中都保持著大幅領先，基準測試總分相較于X86架構競品最大領先可達8.6倍。可以說，無論是在手機端還是PC端，驍龍平臺在AI方面都具備突出的領先優(yōu)勢。在被稱作“AI?PC”元年的2024年，搭載驍龍X?Elite的產品值得期待。

開發(fā)者獲益?高通打造專業(yè)工具庫

“工欲善其事，必先利其器?！鄙硖幮袠I(yè)上游的高通非常清楚，AI行業(yè)的發(fā)展離不了開發(fā)者的支持。開發(fā)者是行業(yè)生態(tài)的根基，如果沒有針對開發(fā)者的相關工具應用，想要激發(fā)開發(fā)者的創(chuàng)作興趣、快速完善行業(yè)生態(tài)只是空想。

全新的高通AI?Hub正是高通為開發(fā)者準備的“利器”。剛剛于MWC?2024上推出的高通AI?Hub包含預優(yōu)化AI模型庫，支持在搭載驍龍和高通平臺的終端上進行無縫部署。

該模型庫為開發(fā)者提供了超過75個主流的AI和生成式AI模型，比如Whisper、ControlNet、Stable?Diffusion和Baichuan-7B，可在不同執(zhí)行環(huán)境(runtime)中打包，在不同形態(tài)終端中實現出色的終端側AI性能、降低內存占用并提升能效。高通針對所有模型進行了優(yōu)化，使它們可以充分利用高通AI引擎內所有核心(NPU、CPU和GPU)的硬件加速能力，大幅提升推理速度。

值得一提的是AI模型庫能夠自動處理從源框架到主流執(zhí)行環(huán)境的模型轉換，直接與高通AI引擎Direct?SDK協(xié)同工作，并且應用硬件感知優(yōu)化。開發(fā)者可將這些模型無縫集成進應用程序，縮短產品上市時間，發(fā)揮終端側AI部署的即時性、可靠性、隱私、個性化和成本優(yōu)勢。

此前高通也已經推出了高通AI軟件棧(AI?Stack)。從智能手機到PC、物聯(lián)網終端、汽車，這一軟件棧橫跨高通所有不同產品線，對于開發(fā)者來說，只需開發(fā)一次就能將應用規(guī)?；瘮U展到不同類型的終端。高通AI軟件棧不僅支持主流AI框架(如TensorFlow、PyTorch、ONNX和Keras)和runtime(如TensorFlow?Lite、TensorFlow?Lite?Micro、ExecuTorch和?ONNXruntime)，還集成了面向Android、Linux和Windows不同系統(tǒng)的用于推理的高通神經網絡處理SDK。此外，對于采用不同操作系統(tǒng)的跨平臺產品，高通AI軟件棧也都進行了支持，甚至連部署和監(jiān)控的基礎設施也沒有落下。

寫在最后

終端側AI是大勢所趨。很顯而易見的是，終端側AI在成本和能效方面具備突出優(yōu)勢。生成式AI應用的擴展下，AI模型的規(guī)模也會越來越大，用戶規(guī)模同樣會不斷增加，云端處理的成本問題會限制生成式AI的發(fā)展，而用戶在終端側獲取這些模型幾乎不需要費用。在可持續(xù)性方面，大規(guī)模用戶訪問云端模型將產生大量的能耗。運行GPU、散熱所消耗的能源將是天文數字。而在終端側運行大模型的能效優(yōu)勢就很明顯了，高通的Hexagon?NPU以及異構計算體系能夠支持在終端側以最高效的方式運行AI模型，讓消費者在端側感受到AI帶來的便利。

AI生態(tài)的構建并非朝夕所能成。通過多年布局，高通從底層到生態(tài)一磚一瓦構建了異構計算架構，它不僅帶來了Hexagon?NPU，為智能手機、PC等眾多平臺推出了第三代驍龍8、驍龍X?Elite等頂尖算力支持，同時為開發(fā)者設計了包括高通AI軟件棧(Qualcomm?AI?Stack)和AI?Hub在內的眾多開發(fā)套件和工具庫，助力開發(fā)者的同時也是在加速生態(tài)完善，最終使最廣大消費者獲益。

現階段，雖然AI終端市場的發(fā)展還處在初期階段，但高通已經通過AI為不同產品和解決方案帶來了顯著的改進，AI對消費者的重要性也在不斷增加，未來無論教育、醫(yī)學還是養(yǎng)老等各個領域，AI的作用將愈發(fā)凸顯。高通勢必將繼續(xù)完善AI計算架構，推出更強大的計算平臺，并且加速端側生成式AI滲透并變革全球用戶工作生活的方式，讓所有人都能享受到生成式AI帶來的便利。