“生成式AI時(shí)代和AI的iPhone時(shí)刻已經(jīng)到來(lái)”。北京時(shí)間8月8日晚間,英偉達(dá)創(chuàng)始人黃仁勛在計(jì)算機(jī)圖形學(xué)頂會(huì)SIGGRAPH上發(fā)布了GH200 Grace Hopper 超級(jí)芯片、AI Workbench等成果時(shí)這樣講道,并透露首批GH200預(yù)計(jì)于2024年第二季度出貨。在全球范圍內(nèi)白熱化算力爭(zhēng)霸的當(dāng)下,英偉達(dá)已經(jīng)贏得了競(jìng)爭(zhēng)先機(jī),而其并行計(jì)算和編程平臺(tái)CUDA可能是最重要的“幕后英雄”。憑借強(qiáng)大而豐富的計(jì)算庫(kù),CUDA得到了算法工程師的認(rèn)可,甚至被認(rèn)為是“鞏固英偉達(dá)硬件市場(chǎng)地位的護(hù)城河”。因此,CUDA成為擺在其他算力芯片企業(yè)眼前的兩難問(wèn)題:兼容還是不兼容?
兼容CUDA是因?yàn)椤昂糜谩?/strong>
CUDA之所以會(huì)成為算力芯片硬件廠商必須要認(rèn)真考慮的一個(gè)選擇,最直接的原因,是其已經(jīng)實(shí)現(xiàn)了與算法客戶的強(qiáng)綁定。眾多算法工程師已經(jīng)習(xí)慣了CUDA提供的工具庫(kù)及其編程語(yǔ)言,向外遷移總是會(huì)存在不習(xí)慣的問(wèn)題。
因此,很多算力芯片硬件廠商選擇了兼容CUDA的路線——使硬件能夠直接用CUDA調(diào)動(dòng)起來(lái),這樣可以降低用戶更換硬件平臺(tái)的不適感。
換手機(jī)有“一鍵遷移”功能。而如果兼容CUDA——記者在采訪中了解到——換芯片硬件也可以像換手機(jī)一樣容易。如果芯片客戶原本用的是CUDA軟件和英偉達(dá)的卡,在向兼容CUDA的算力硬件遷移過(guò)程中,原有的代碼一個(gè)都不改,直接就能用起來(lái)。這樣一來(lái),客戶嘗試選用新的算力芯片的意愿將大大提升。
算法工程師對(duì)CUDA的使用習(xí)慣并不是一天養(yǎng)成的。
英偉達(dá)GPU及其并行計(jì)算和編程平臺(tái)CUDA進(jìn)入行業(yè)時(shí)間早,這為英偉達(dá)積累了非常明顯的先發(fā)優(yōu)勢(shì)。從當(dāng)前火熱的大模型的發(fā)展歷程來(lái)看,許多大模型發(fā)展之初都是基于開源機(jī)器學(xué)習(xí)庫(kù)PyTorch訓(xùn)練,最早期使用的也是英偉達(dá)的GPU,與之相配套,算法工程師便會(huì)大量地用到CUDA庫(kù)代碼。從機(jī)器學(xué)習(xí)出現(xiàn)到大模型盛行,經(jīng)過(guò)十幾年的發(fā)展,算法工程師們不可避免地會(huì)用到CUDA庫(kù)支持的算子。這樣一來(lái),如果使用CUDA驅(qū)動(dòng)硬件,大模型寫好之后,編程語(yǔ)言就能直接運(yùn)行起來(lái),實(shí)現(xiàn)無(wú)縫對(duì)接。
CUDA主頁(yè)
包括大模型企業(yè)在內(nèi),使用計(jì)算芯片的企業(yè)所采用的硬件基礎(chǔ)也基本上是由英偉達(dá)的產(chǎn)品搭建的。在一次計(jì)算訓(xùn)練中,統(tǒng)一硬件品牌,也能更好保證其訓(xùn)練的穩(wěn)定性。因?yàn)橛ミ_(dá)產(chǎn)品入局早,許多工程師對(duì)CUDA的使用習(xí)慣甚至是從學(xué)校受教育階段便培養(yǎng)起來(lái)的,在畢業(yè)參加工作后,各企業(yè)采用的軟硬件工具也是英偉達(dá)廠牌。這樣一來(lái),算法工程師在軟件工具使用上存在非常大的慣性。
這對(duì)于英偉達(dá)之外的算力芯片來(lái)說(shuō)意味著,如果不兼容CUDA,市場(chǎng)推廣過(guò)程將存在一定的困難。
某算力芯片企業(yè)告訴記者,要想打開市場(chǎng),短期內(nèi)必須兼容CUDA生態(tài)。如果不兼容CUDA,就會(huì)出現(xiàn)很多問(wèn)題,包括要在代碼上做微調(diào),跑模型時(shí)要實(shí)現(xiàn)收斂等問(wèn)題,這背后的工作量相當(dāng)大。但如果整個(gè)軟硬件能夠支持CUDA,客戶就無(wú)需再做二次開發(fā)或者修改算法。這被認(rèn)為是降低客戶使用成本最簡(jiǎn)單的方式。
兼容CUDA也是在幫助客戶節(jié)約時(shí)間。對(duì)于以大模型為主營(yíng)業(yè)務(wù)的企業(yè)而言,時(shí)間就是生命。模型推演快一天、比競(jìng)爭(zhēng)對(duì)手的產(chǎn)品早一天上線都是非常重要的。因此,若是硬件遷移需要工程師花大量的時(shí)間適應(yīng)軟件工具,將極大地降低客戶對(duì)新產(chǎn)品的接受意愿。
來(lái)源:CUDA官網(wǎng),《中國(guó)電子報(bào)》整理
“要站在用戶的角度思考問(wèn)題”,這是企業(yè)選擇兼容CUDA的立足基點(diǎn)??蛻糸_發(fā)大模型,是以效率為第一要義的,很多軟件工程,也都是拿到現(xiàn)成的代碼再做調(diào)優(yōu)?,F(xiàn)在很火的大模型的開發(fā)也是同樣的,很多廠家先拿到小模型和機(jī)器學(xué)習(xí)的代碼,再在此基礎(chǔ)上做累加和調(diào)優(yōu),最終實(shí)現(xiàn)規(guī)?;?。
要讓客戶覺(jué)得“好用”,首先要解決的是“能用”的問(wèn)題。也就是首先得將客戶積累了十幾甚至二十幾年的軟件基礎(chǔ)跑起來(lái),解決“從0到1”的問(wèn)題。只有這個(gè)問(wèn)題解決了,才能考慮“好用”的問(wèn)題、 “從1到100”的問(wèn)題——能幫助客戶通過(guò)編程支持新功能。
從企業(yè)戰(zhàn)略的角度來(lái)看,英偉達(dá)的生態(tài)已經(jīng)形成比較成熟的市場(chǎng)、標(biāo)準(zhǔn)和護(hù)城河?;谶@樣的事實(shí),在既有標(biāo)準(zhǔn)的基礎(chǔ)上切入,對(duì)于算力芯片企業(yè)而言,將是更加便利且高效的路徑。
兼容CUDA也是一把“雙刃劍”
不過(guò),也有業(yè)界專家提醒記者,許多宣稱“兼容”CUDA的產(chǎn)品,并不是真的“兼容”,而是通過(guò)架構(gòu)的相似性,使產(chǎn)品可以比較容易地運(yùn)行CUDA的代碼。因?yàn)镃UDA不是開源代碼,是“黑盒子”,因此100%兼容CUDA在技術(shù)上是無(wú)法實(shí)現(xiàn)的。同時(shí)在安全、知識(shí)產(chǎn)權(quán)方面存在風(fēng)險(xiǎn)。
“兼容”CUDA就像一把雙刃劍,一方面可以降低算力芯片企業(yè)的獲客成本,另一方面,也會(huì)在一定程度上給產(chǎn)品的創(chuàng)新潛能帶來(lái)限制。
許多算力芯片企業(yè)選擇在軟件棧上另辟蹊徑,主要是因?yàn)閾?dān)心“兼容”CUDA會(huì)成為自家產(chǎn)品發(fā)展“天花板”。當(dāng)前“兼容”CUDA的方式,主要是試圖將編程模型做到與CUDA一致,但實(shí)際底層的硬件架構(gòu)難以實(shí)現(xiàn)與英偉達(dá)的GPU完全相同。由此,兼容CUDA很有可能只能是短期行為,長(zhǎng)期來(lái)看將不利于芯片架構(gòu)創(chuàng)新與性能的提升。而自研軟件棧,則相當(dāng)于將創(chuàng)新的“天花板”掌握在自己手中。
從全球來(lái)看,許多國(guó)外的做算力芯片企業(yè),例如 Graphcore、SambaNova、tenstorrent,沒(méi)有一家兼容CUDA。而之所以不去兼容CUDA,歸根結(jié)底,是因?yàn)楦骷蚁M剿鞒龈m合做AI計(jì)算的路。英偉達(dá)的GPU早期只做GPU圖形渲染,只是因?yàn)槠洚a(chǎn)品能夠借助CUDA在通用計(jì)算領(lǐng)域,也就是在包括AI在內(nèi)的領(lǐng)域用起來(lái),才使其逐漸成為AI算力芯片領(lǐng)域的領(lǐng)頭羊。但從英偉達(dá)產(chǎn)品的計(jì)算架構(gòu)和性價(jià)比來(lái)看,都不是最合適的AI計(jì)算的產(chǎn)品。
換句話說(shuō),如果英偉達(dá)是最合適的,可能也就沒(méi)有這么多AI芯片公司存在了。
算力芯片的后來(lái)者,要做的是從前人的發(fā)展中吸取經(jīng)驗(yàn),但依然要摸索自己的路。CUDA的出現(xiàn),最初只是為了使GPU能夠滿足除視覺(jué)處理之外的其他通用計(jì)算功能。而之所以CUDA會(huì)富有市場(chǎng)競(jìng)爭(zhēng)力,核心在于它實(shí)現(xiàn)了從硬件層到軟件層的全跑通,且基于其百萬(wàn)級(jí)的客戶體量,實(shí)現(xiàn)了對(duì)性能的優(yōu)化。
芯片設(shè)計(jì)、軟件開發(fā),這是一件亟需創(chuàng)新能力的事情。如果還想走CUDA的老路,只是盡可能模仿英偉達(dá)的產(chǎn)品,其實(shí)就沒(méi)有往把AI芯片做得更好的路徑上走,兼容CUDA某種程度也是在壯大英偉達(dá)的生態(tài),增強(qiáng)對(duì)CUDA的依賴性。
而如果不兼容CUDA,走自主創(chuàng)新的道路,產(chǎn)品和企業(yè)發(fā)展的路徑都將更寬。因此有的企業(yè)選擇了走自定義編程模型的路線,提供從硬件平臺(tái)到開發(fā)者工具包、計(jì)算庫(kù)和框架的一整套方案。
而對(duì)于這條路可能存在的獲客困難問(wèn)題,有的算力芯片企業(yè)向《中國(guó)電子報(bào)》記者表示,如果客戶下定決心向英偉達(dá)生態(tài)之外的其他產(chǎn)品遷移,其實(shí)平臺(tái)間遷移的困難并沒(méi)有想象中那么大,客戶還是能獲得豐厚商業(yè)價(jià)值回報(bào)的。
底層邏輯是構(gòu)建開發(fā)者生態(tài)
軟硬件協(xié)同完善的生態(tài)是客戶選擇CUDA的根本原因,也是英偉達(dá)領(lǐng)先于其他算力芯片企業(yè)最核心的競(jìng)爭(zhēng)力。
盡管在是否兼容CUDA的問(wèn)題上,算力芯片設(shè)計(jì)企業(yè)具有不同的觀點(diǎn),但在搭建企業(yè)生態(tài)的問(wèn)題上,記者接觸的算力芯片企業(yè)都給出了一致的回答:要建設(shè)企業(yè)自己的生態(tài)體系。
至于何為生態(tài)、如何搭建生態(tài),業(yè)界的觀點(diǎn)存在些許差異。
有的企業(yè)選擇從指令集開始,到計(jì)算庫(kù)和編譯器等層次進(jìn)行自研,構(gòu)建軟硬件相結(jié)合的生態(tài)。構(gòu)建自己的軟件棧首先是打好基礎(chǔ),對(duì)標(biāo)CUDA及以下的抽象層次,充分發(fā)揮自己芯片的特色,開發(fā)出一套用戶可用、易用的編程模型。積硅步以至千里,最終幫助目標(biāo)客戶完成從英偉達(dá)到自家芯片的平滑遷移,同時(shí)又能使客戶在使用自己的軟件棧時(shí)充分感受到新特性帶來(lái)的更優(yōu)體驗(yàn)。
CUDA生態(tài)合作伙伴
所謂的“生態(tài)”底層邏輯是開發(fā)者生態(tài)。AI芯片作為技術(shù)屬性很強(qiáng)的產(chǎn)品,其核心價(jià)值是幫助開發(fā)者在這個(gè)硬件的基礎(chǔ)上加速其算法開發(fā)與業(yè)務(wù)部署。生態(tài)建設(shè)的成功與否取決于這款產(chǎn)品能否給客戶帶來(lái)價(jià)值。例如學(xué)生學(xué)習(xí)了這款產(chǎn)品的知識(shí)能夠幫助其找到工作,企業(yè)使用該產(chǎn)品后能實(shí)現(xiàn)其業(yè)務(wù)目標(biāo),并且市場(chǎng)上也有相應(yīng)熟悉該產(chǎn)品的人才儲(chǔ)備等等;生態(tài)里的每一個(gè)角色都能獲得利益才是生態(tài)健康成長(zhǎng)的關(guān)鍵。
因此,有的算力芯片廠商給出了這樣的發(fā)展建議:國(guó)內(nèi)廠商協(xié)同定義自研編程模型,以此聯(lián)合拓展開發(fā)者,集聚企業(yè)的力量,讓更多的高校、商業(yè)伙伴使用。
大模型的出現(xiàn),為生態(tài)搭建從芯片廠各自為戰(zhàn)走向產(chǎn)業(yè)聯(lián)合提供了契機(jī)。
如果沒(méi)有大模型,各家都會(huì)選擇適合自己的通用方式,缺少將供應(yīng)鏈上下游集合到一起解決問(wèn)題的利益取向。用簡(jiǎn)單的話來(lái)說(shuō),如果是三五張卡一臺(tái)服務(wù)器就能解決的問(wèn)題,一家企業(yè)單點(diǎn)調(diào)優(yōu)就可以實(shí)現(xiàn)了。而大模型是需要大算力和大互聯(lián)的東西,動(dòng)輒要調(diào)動(dòng)上萬(wàn)張卡、上千臺(tái)服務(wù)器,還要考慮供電等各種問(wèn)題,最后呈現(xiàn)的是關(guān)乎生產(chǎn)基礎(chǔ)甚至國(guó)計(jì)民生的東西,它所需要的資源就不是一家企業(yè)能夠做到的,因此更需要產(chǎn)業(yè)鏈的協(xié)作,更有機(jī)會(huì)調(diào)動(dòng)產(chǎn)業(yè)鏈更多的資源。
不僅如此,大模型的出現(xiàn),也為算力芯片市場(chǎng)突破提供了機(jī)會(huì)。大模型的發(fā)展使人工智能的技術(shù)路線出現(xiàn)了收斂的趨勢(shì)。在大模型出現(xiàn)之前,對(duì)應(yīng)一個(gè)需求的解決方案非常繁雜,每個(gè)企業(yè)都會(huì)提出自己的方案。而大模型的發(fā)展,使得算法技術(shù)路線逐漸統(tǒng)一于Transformer模型,從而也為算力芯片日后需要瞄準(zhǔn)的技術(shù)方向樹立了“靶子”。在這種情況下,如果算力芯片企業(yè)能夠爭(zhēng)取到大的算力供應(yīng)商(例如大的互聯(lián)網(wǎng)公司)作為合作伙伴,再以此為基礎(chǔ)推出結(jié)合其他行業(yè)的特點(diǎn)做微調(diào),進(jìn)而產(chǎn)出適合多行業(yè)的解決方案,就有很大的機(jī)會(huì)贏得更廣闊的市場(chǎng)前景,也就有了打破英偉達(dá)商業(yè)壁壘的機(jī)會(huì)。
關(guān)于如何實(shí)現(xiàn)產(chǎn)業(yè)鏈協(xié)作,實(shí)現(xiàn)算力芯片的破局,記者采訪的企業(yè)表示,可以聯(lián)通可控的供應(yīng)鏈,在所有的供應(yīng)鏈成員中了解自己有哪些獨(dú)特的技術(shù),評(píng)估有競(jìng)爭(zhēng)力的地方,結(jié)合自己的技術(shù)特色解決人工智能發(fā)展中存在的問(wèn)題。、
要做好自己的產(chǎn)業(yè)生態(tài),當(dāng)前最缺的是大量工程師的調(diào)優(yōu)工作。英偉達(dá)的GPU加速庫(kù)中有數(shù)學(xué)庫(kù)、并行算法庫(kù)、圖像和視頻庫(kù)、通信庫(kù)、深度學(xué)習(xí)庫(kù)等多個(gè)類型,有100個(gè)加速庫(kù),每個(gè)計(jì)算庫(kù)又積累了開源代碼。這是英偉達(dá)幾萬(wàn)工程師耕耘了20年,通過(guò)解決客戶的問(wèn)題所積累起來(lái)的結(jié)果。
對(duì)于算力芯片企業(yè)而言,要做好自己的軟件生態(tài),當(dāng)前不存在很多科研問(wèn)題,很多問(wèn)題都可以通過(guò)開源代碼找到答案。當(dāng)前業(yè)內(nèi)存在的是工程問(wèn)題,需要安下心來(lái)一點(diǎn)一點(diǎn)做,需要依靠眾多工程師的力量,集中力量辦大事。現(xiàn)在算力芯片從0到1的突破已經(jīng)實(shí)現(xiàn)了,剩下的就要看時(shí)間和積累。
- QQ:61149512