8月24日，2023浪潮信息新產(chǎn)品“互聯(lián)網(wǎng)+AIGC”行業(yè)巡展暨大模型智算軟件棧OGAI發(fā)布會(huì)在北京舉辦。作為浪潮合作伙伴，快手StreamLake深入?yún)⑴c此次大會(huì)，快手異構(gòu)計(jì)算負(fù)責(zé)人劉凌志博士進(jìn)行了《“芯”驅(qū)動(dòng)：釋放智能視頻之力 》主題演講，重點(diǎn)分享了快手SL200芯片的最新進(jìn)展，介紹了智能視頻SOC芯片的典型架構(gòu)和主要功能，以及基于此芯片搭建的智能視頻處理云端基礎(chǔ)設(shè)施，展示在多種場景所表現(xiàn)的優(yōu)異性能，并在圓桌論壇環(huán)節(jié)與嘉賓們探討了如何與上下游企業(yè)進(jìn)行深度合作。

構(gòu)建大算力基礎(chǔ)設(shè)施體系，應(yīng)對視頻和大模型挑戰(zhàn)

伴隨快手用戶、內(nèi)容、商業(yè)生態(tài)的快速發(fā)展，AI特效、AI數(shù)字人等應(yīng)用在快手廣泛落地。在AI大模型進(jìn)入AGI時(shí)代的過程中，快手緊跟大模型應(yīng)用浪潮，在搜廣推場景、內(nèi)容創(chuàng)作、提高研發(fā)效能等方面持續(xù)深耕大模型領(lǐng)域，并于近期發(fā)布了“快意”大語言模型，在 CMMLU 中文向排名中，KwaiYii-13B 同時(shí)位列 five-shot 和 zero-shot 第一。

劉凌志指出，大模型在音視頻上的應(yīng)用更加復(fù)雜。根據(jù)音視頻第一性的原理，音視頻主要是要解決清晰度、成本和流暢度三個(gè)問題，需要在這三者之間做到平衡。在此過程中，處在核心地位的就是視頻的壓縮和增強(qiáng)。

快手的大模型和視頻編解碼如何結(jié)合？劉凌志表示，在傳統(tǒng)生產(chǎn)和消費(fèi)的過程中，生產(chǎn)端視頻首先經(jīng)過編碼器產(chǎn)生碼流并傳送到消費(fèi)端，消費(fèi)端通過解碼器把視頻解碼出視頻展示出來。利用大模型來做視頻壓縮和增強(qiáng)，視頻通過理解網(wǎng)絡(luò)生成出高維特征，并傳輸Text和Prompt，這是一個(gè)非常小的信息量，用戶通過生成網(wǎng)絡(luò)大模型再把視頻恢復(fù)出來，這樣可以極大地減少傳輸成本，得到更好的效果。

在劉凌志看來，快手在大模型和視頻領(lǐng)域面對的挑戰(zhàn)歸根到底是大算力的挑戰(zhàn)，包括視頻算力挑戰(zhàn)和大模型算力挑戰(zhàn)兩個(gè)方面。

快手又是如何解決這兩大挑戰(zhàn)中的各類問題？劉凌志表示，快手構(gòu)建了大規(guī)模的基礎(chǔ)設(shè)施，來支撐主站、電商、商業(yè)化、本地生活和海外在內(nèi)的產(chǎn)品矩陣。快手核心技術(shù)包括音視頻、AI和數(shù)據(jù)中心三大類，每一類技術(shù)都需要十分龐大的基礎(chǔ)設(shè)施，比如千萬級(jí)別的CPU核、10萬級(jí)別的GPU和算力、10EB級(jí)別的數(shù)據(jù)存儲(chǔ)，帶寬需求也到了100TB規(guī)模。

為此，快手搭建了大模型架構(gòu)體系。通過AI算力中心、平臺(tái)、數(shù)據(jù)等高性能、高并發(fā)、高算力的大基建，可以支撐快手多模態(tài)大模型，而多模態(tài)大模型通過生成或理解，可以支持快手的搜廣推、AIGC、增長或研發(fā)效能等大應(yīng)用。

更進(jìn)一步來看，快手AI大基建的數(shù)據(jù)已有日均數(shù)千萬的短視頻和數(shù)千萬小時(shí)的直播，一方面是傳輸給用戶，另一方面也是作為輸入持續(xù)不斷的輸送到大模型之中，不斷打磨大模型，達(dá)到更佳的效果。劉凌志強(qiáng)調(diào)，“更重要的是，我們在算力中心里面進(jìn)行了比較深入的開發(fā)，這個(gè)深入開發(fā)最終體現(xiàn)在自研芯片SL200上?！?/p>

首款智能視頻處理芯片，SL200節(jié)省30%碼率，支持8K應(yīng)用

作為快手StreamLake首款自研智能視頻處理芯片，快手SL200芯片具有非常優(yōu)秀的視頻效果。提及該款芯片可以做哪些工作，劉凌志表示，SL200芯片首先是高質(zhì)量、高密度的編解碼器。比如，把快手自研的算法固化到硬件中，作為一個(gè)硬件的視頻處理引擎；高質(zhì)量的編碼器在同樣的質(zhì)量下，可以節(jié)省30%的碼率，在同樣的帶寬下，可以提升相應(yīng)的清晰度。依托SL200芯片，不僅自然場景視頻能夠獲得非常好的效果，較難處理的游戲、數(shù)字人等場景也會(huì)得到非常顯著的清晰度的提升。

同時(shí)，劉凌志指出，SL200也已實(shí)現(xiàn)了智能視頻的處理，這在未來視頻領(lǐng)域尤其重要，在同樣主觀質(zhì)量下，可以繼續(xù)降低20%以上的帶寬。比如把感興趣的區(qū)域找出來，然后對它投入更多的帶寬，而對不感興趣的地方可以降低清晰度以平衡帶寬。傳統(tǒng)視頻的任務(wù)，如去模糊、降噪、去視頻效應(yīng)等，除了可以用自己硬件的傳統(tǒng)算法來做，也可以用AI獲得更好的效果，并且可以二者在流水線上進(jìn)行疊加獲得疊加的效果。SL200芯片在其他智能視頻應(yīng)用中也展示優(yōu)異性能，比如超分，可以實(shí)時(shí)的把一個(gè)小的幅面放大到4K/8K，或者是大的變??；在視頻內(nèi)容識(shí)別和檢測應(yīng)用中，SL200有較高的處理速度，準(zhǔn)確率也是比較高的。

據(jù)悉，具備高質(zhì)量、高性能、智能化特點(diǎn)的快手SL200，已達(dá)到行業(yè)領(lǐng)先的壓縮效率，客觀質(zhì)量相比X265 medium可以節(jié)省30%碼率，單卡可以支持8K120幀/秒的處理或者8路4K60幀/秒的處理，內(nèi)置智能畫質(zhì)處理引擎，支持內(nèi)容自適應(yīng)編碼。

劉凌志認(rèn)為，從芯片設(shè)計(jì)來看，進(jìn)入到智能視頻時(shí)代，需要的是一個(gè)具有多種功能的SOC芯片。這就要求芯片不僅要有高質(zhì)量高密度的編解碼器，還需要有能夠支持實(shí)時(shí)視頻處理的AI引擎。另外，為了支持未來視頻算法的迭代，需要有較強(qiáng)的可編程的能力，所以SL200集成了多核GPGPU和高性能多核CPU，RISC-V處理器，以及數(shù)據(jù)中心里面的功耗檢測、溫度檢測等功能，為了保護(hù)用戶的隱私也需要內(nèi)嵌硬件安全模塊。

SL200芯片也獲得了業(yè)內(nèi)高度認(rèn)可，在今年7月舉辦的MSU2022世界編碼器大賽中，SL200一舉奪得4K和1080P賽道24項(xiàng)指標(biāo)中的16項(xiàng)第一，在全部6個(gè)賽道中獲得5項(xiàng)“最佳ASIC編碼器”。

劉凌志透露，基于SL200芯片，快手自研了板卡、服務(wù)器，也與浪潮等合作開發(fā)了云服務(wù)器，同時(shí)搭建了算力中心，開發(fā)了全套自主軟硬件的生態(tài)系統(tǒng)，已經(jīng)在快手部署了數(shù)萬片，并在各大公有云廠商進(jìn)行測試。快手StreamLake持續(xù)通過成熟的技術(shù)賦能產(chǎn)業(yè)，并與浪潮等生態(tài)伙伴深入合作。

活動(dòng)現(xiàn)場，快手StreamLake還圍繞芯片、快手智播等核心產(chǎn)品進(jìn)行了重點(diǎn)展示，向現(xiàn)場嘉賓展示了產(chǎn)品的廣泛應(yīng)用場景。

據(jù)悉，基于浪潮與快手StreamLake的深度合作，雙方將在硬件生態(tài)等領(lǐng)域攜手發(fā)展，布局算力未來。劉凌志表示，快手StreamLake希望通過卓越的技術(shù)能力，能夠更好地助力各行各業(yè)在智能視頻新時(shí)代、大模型新時(shí)代獲得成功。