AI創(chuàng)新擠壓算力彈性,亞馬遜云科技如何滿足井噴的算力需求?
生成式AI爆發(fā)為代表的這一輪AI創(chuàng)新潮,機遇和挑戰(zhàn)并存。丁科技網(wǎng)注意到,挑戰(zhàn),對于AI技術(shù)創(chuàng)新者和AI服務創(chuàng)新者而言,很大程度上在于,AI技術(shù)的爆發(fā)直接推動了對算力資源需求的井噴式增長。 除了提供AI相關技術(shù)和生態(tài)賦能之外,針對算力需求井噴,亞馬遜云科技通過自研芯片創(chuàng)新、彈性的計算存儲組合以及Serverless架構(gòu),幫助客戶簡化運維,以更高性價比滿足多樣算力需求,幫助客戶有效應對由于AI創(chuàng)新技
原創(chuàng)
2023-07-12 08:45:48
來源:丁科技網(wǎng)??
作者:建輝

生成式AI爆發(fā)為代表的這一輪AI創(chuàng)新潮,機遇和挑戰(zhàn)并存。丁科技網(wǎng)注意到,挑戰(zhàn),對于AI技術(shù)創(chuàng)新者和AI服務創(chuàng)新者而言,很大程度上在于,AI技術(shù)的爆發(fā)直接推動了對算力資源需求的井噴式增長。

除了提供AI相關技術(shù)和生態(tài)賦能之外,針對算力需求井噴,亞馬遜云科技通過自研芯片創(chuàng)新、彈性的計算存儲組合以及Serverless架構(gòu),幫助客戶簡化運維,以更高性價比滿足多樣算力需求,幫助客戶有效應對由于AI創(chuàng)新技術(shù)帶來的IT壓力。

“2023亞馬遜云科技中國峰會”上,亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建表示,AI創(chuàng)新推動算力需求井噴,有三個特點:一是,需要更高性價比的軟硬件解決方案以應對算力資源緊缺;二是,云服務需要提供快速高效的彈性資源供給,以應對生成式AI的迅速發(fā)展和快速變化的業(yè)務需求;三是,云服務需要進一步降低使用門檻,讓客戶能快速上手。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建

亞馬遜云科技的針對性策略是:

其一,針對算力需求緊缺,提供全面深入的基礎設施能力,包括Intel、AMD、英偉達,和自研的CPU及加速芯片產(chǎn)品。特別是,自研芯片產(chǎn)品,在不斷的創(chuàng)新迭代中。

Nitro,是亞馬遜云科技的第一款自研芯片產(chǎn)品,去年推出的第五代Nitro將每瓦性能提高了40%,提升性能、降低干擾、保證安全:

實現(xiàn)了非常輕量級的虛擬化,性能損耗極低,在此前業(yè)界經(jīng)常看到的虛擬化損耗通常在20-30%之間,Nitro通過硬件虛擬化,整個性能損耗不到1%;實現(xiàn)了網(wǎng)絡和存儲在硬件級別的隔離機制,讓用戶通信和擁有存儲的數(shù)據(jù)通信之間完全隔離,不會造成互相的干擾;在硬件層面實現(xiàn)了硬件的加密,任何進出Nitro的數(shù)據(jù)包都會進行硬件級別的加密,最大限度保證用戶數(shù)據(jù)通信的安全。

Graviton,Arm架構(gòu)的通用處理器Graviton 3與上一代產(chǎn)品相比,計算性能提高25%,浮點性能提高2倍,加密工作負載性能最多加快2倍;第四代產(chǎn)品Gravtion3E在針對高性能計算應用場景的向量計算性能上,再提升了35%。

機器學習訓練芯片Trainium,HuggingFace BERT模型作為案例來看,基于Trainium的Trn1實例和通用的GPU實例對比,在訓練的吞吐率上面,單節(jié)點的吞吐率可以提升1.2倍,而多節(jié)點集群的吞吐率可以提升1.5倍,從成本考慮,單節(jié)點成本可以降低1.8倍,集群的成本更是降低了2.3倍。增強型Trn1n實例的網(wǎng)絡帶寬躍升至1.6Tbps,可將萬余個Trainium芯片構(gòu)建在一個超大規(guī)模集群上,實現(xiàn)對超大模型進行并行訓練。

機器學習推理芯片Inferentia,2019年推出了第一代用于機器學習的推理芯片Inferentia,所對應的實例Inf1和同樣基于通用GPU的EC2實例相比,帶來了70%成本的降低;2022年又推出了第二代推理芯片Inferentia2,進一步提升了4倍吞吐量,延遲只是之前的1/10,通過優(yōu)化,第二代Inferentia可以大規(guī)模部署復雜的模型,例如大型語言模型(LLM)和Diffusion類模型。

Inferentia在設計的時候就考慮到了“高吞吐率”和“延遲優(yōu)化”,使得用戶兩者可以兼得。以自然語言常見的BERT模型為例,In2實例的吞吐可以提升三倍,延遲降低了8.1倍,而成本只是通用GPU實例的1/4;以開源模型OPT-30B為例,相比于通用GPU EC2的實例,In2實例吞吐率增加了65%,而推理成本則降低了52%,如果用更大的660億參數(shù)的OPT-66B為例,通用GPU已經(jīng)力不從心,但In2實例依然可以保持每秒351個token數(shù)的吞吐量;視覺類模型以Stable Diffusion 2.1的版本為例,Inf2實例可實現(xiàn)50%的成本節(jié)約。

其二,針對彈性資源供給,提供600多種不同的計算實例,從處理器、網(wǎng)絡和存儲等各種服務都能夠與計算進行很好的結(jié)合,以積木的方式搭建出一個豐富靈活的計算實例的資源,滿足多種不同算力的要求。

以存儲為例,數(shù)據(jù)規(guī)模到達PB級別時存儲方式變得非常重要,“熱、溫、冷、凍”不同類型的存儲方式,成本和性能都有很大差別。Amazon S3對象存儲提供8種存儲層級,同時提供智能分層,自動選擇最適合的存儲層級。

其三,針對簡化算力應用,推動云服務全面邁向Serverless。

亞馬遜云科技在不斷探索如何將云的彈性、敏捷性、按需付費的特性發(fā)揮到極致,在這個過程中,逐步推動著云服務全面邁向Serverless。現(xiàn)在,已經(jīng)實現(xiàn)了全棧數(shù)據(jù)服務的Serverless化,開啟了云服務全面Serverless的時代,讓客戶無需預置或管理基礎設施,就可以運行幾乎任何類型的應用程序或后端服務代碼,幫助客戶最大限度減輕運維工作,并增加業(yè)務敏捷性,更好地應對業(yè)務的各種不確定性。

陳曉建總結(jié)表示:“面對算力的需求井噴所帶來挑戰(zhàn),我們通過自研芯片提供更好的性價比,通過各種豐富的計算、網(wǎng)絡、存儲等各種產(chǎn)品的組合應對突發(fā)的算力需求,通過Serverless有效降低運維的復雜性,從而簡化算力的使用,全面滿足用戶的多樣化的算力需求。”

“現(xiàn)今創(chuàng)新至關重要,云技術(shù)能更快、更高效地幫助企業(yè)創(chuàng)新,亞馬遜云科技廣泛和深入的服務可以讓客戶擺脫基礎架構(gòu)的束縛,專注于創(chuàng)新。”(丁科技網(wǎng)原創(chuàng),轉(zhuǎn)載務必注明“來源:丁科技網(wǎng)”)

最新文章
1
革新充電場景:倍思伸縮線充電產(chǎn)品銷量連續(xù)4年領跑全球
2
指尖上的非遺剪出新天地,快手助力西北大地綻放“她力量”
3
政府工作報告再提“人工智能+” 可靈AI等國產(chǎn)人工智能產(chǎn)品跑出“加速度”
4
“國補來了”活動上線 快手電商將聯(lián)合五大品牌推出超級直播專場
5
科技行業(yè)超“級”玩家誕生 Vidda兩大新品助力年輕人享受科技樂趣
6
創(chuàng)維G7F Pro,為什么能“超越”O(jiān)LED?
7
康佳G9W新品全球首發(fā),全網(wǎng)最具性價比的Mini AI-LED壁紙電視
8
創(chuàng)維Mini LED電視G7F Pro震撼上市|極致體驗超越OLED
9
培生集團與亞馬遜云科技宣布 為全球數(shù)百萬人開啟AI賦能的個性化學習
10
空調(diào)子品牌2025很活躍:格力用晶弘打天下,美的系華凌求變化
11
第35屆中國家電交易會電商新渠道選品會:創(chuàng)新引領趨勢,賦能行業(yè)發(fā)展
12
100英寸Mini LED類紙屏!京東定制創(chuàng)維JD100 Mini開售:國補后8999元
13
2月中國電視市場海信出貨量第一!索尼、夏普等外資品牌繼續(xù)承壓
14
中國彩電出口創(chuàng)歷史新高,美加征關稅下能否持續(xù)增長?
15
315關注:國檢曝光網(wǎng)購家電質(zhì)量問題,平臺莫縱容偽劣家電泛濫
16
新款小鵬G6/G9最高降價近8萬,何小鵬很想再贏一次
17
蘋果帶頭干掉實體卡槽,eSIM終于要普及了?
18
憑借輕薄外觀與軟件優(yōu)化,OPPO Find N5備受女性用戶青睞
19
可搭桌面5090、內(nèi)置全套水冷,重量達10斤 你管這玩意叫筆記本?
20
TCL發(fā)布“第四代液晶電視”,前三代液晶電視分別什么樣?
關于我們

微信掃一掃,加關注

商務合作
  • QQ:61149512