隨著電視行業(yè)進入存量市場,超高清視頻顯示產(chǎn)業(yè)面向5G時代的低延時、強交互需求,尋求新的產(chǎn)品形態(tài)與新的應(yīng)用場景。這也意味著,視頻編解碼技術(shù)作為超高清視頻傳輸與存儲的基礎(chǔ)性技術(shù),需要同時滿足超高清與超低延時的需求。3月21日,記者走進廣州柯維新數(shù)碼科技有限公司(以下簡稱“柯維新”)。作為柯維新的總經(jīng)理,曾志華在2022年12月舉辦的“AVS二十周年年會”上,憑借“率領(lǐng)柯維新研發(fā)出第一臺AVS+和AVS2廣播級專業(yè)編碼器并成功應(yīng)用于央視直播等示范工程”的成果,入選“AVS二十周年二十人”。圍繞超高清、超低時延編碼技術(shù)衍生的新業(yè)態(tài),以及該技術(shù)的芯片化、產(chǎn)業(yè)化進展,曾志華向記者分享了他的觀點。
算力與顯示分離 超低延時引領(lǐng)顯示新業(yè)態(tài)
在柯維新的會議室里,記者看到了三塊播放同樣內(nèi)容的電視大屏,雖然屏幕頂端標著精確到毫秒的時間碼,但用肉眼很難比對三塊屏幕的時間和質(zhì)量差異。據(jù)曾志華介紹,三塊大屏與信號傳輸設(shè)備構(gòu)成了兩套超高清、超低延時演示系統(tǒng)。
其中,兩臺通過線纜與信源主機連接的電視,是有線超高清、超低延時應(yīng)用。信源主機播放的4K 60fps視頻通過HDMI分配器發(fā)送到一臺電視上,嵌上毫秒級精度的時間碼。另外一路信號經(jīng)過超低延時編碼器,再通過網(wǎng)絡(luò)交換機傳輸?shù)降诙_電視上,在這種模式下,兩臺電視之間的延時小于一幀,可以達到2ms以內(nèi)。
而獨立放在會議室另一端的電視,是一臺4K120fps的無線分體電視。信源主機的視頻經(jīng)編碼后通過毫米波發(fā)射模組發(fā)送到無線分體電視的接收模塊,經(jīng)過解碼后傳輸?shù)诫娨暺聊簧?。在沒有任何線纜與信源主機連接的情況下,與其他電視的延時同樣在一幀之內(nèi),實現(xiàn)了主機與屏幕的分離。
主機與屏幕的分離,意味著算力與顯示的分離。曾志華向記者表示,傳統(tǒng)電視形態(tài)的市場容量已經(jīng)趨向飽和,需要新的形態(tài)或者新的應(yīng)用。比如無線分體電視將音響、主板集成到一臺主機上,屏幕只需要集成接收解碼芯片,就可以做成超薄形態(tài)。由于不需要用線纜與主機連接,屏幕懸掛的位置也更加靈活,能夠適應(yīng)游戲投屏、廣告和業(yè)務(wù)展示,以及辦公、教育、醫(yī)療等各種應(yīng)用場景。
而超高清、超低延時編解碼技術(shù),也順應(yīng)了超高清視頻顯示產(chǎn)業(yè)在5G時代的發(fā)展需求。2018年,具有我國自主知識產(chǎn)權(quán)的第二代音視頻國家標準AVS2被全球超高清聯(lián)盟采納,柯維新等企業(yè)的廣播級AVS2超高清實時編碼器逐步推向市場。據(jù)曾志華回憶,在完成AVS2超高清實時編碼器之后,5G時代來臨,超低延時、強交互的應(yīng)用,成為超高清視頻顯示產(chǎn)業(yè)的新風(fēng)向??戮S新團隊決定,開展超高清、超低延時編解碼技術(shù)的研發(fā),并與鵬城實驗室在該方向展開了合作。
“超高清、超低延時編解碼能夠發(fā)揮5G的低延時優(yōu)勢,最大程度降低超高清視頻編解碼環(huán)節(jié)產(chǎn)生的延時,為超高清成為5G時代的殺手級應(yīng)用夯實基礎(chǔ)?!痹救A說。
同時,超高清、超低延時的編解碼技術(shù)也是解決元宇宙落地最后10米的關(guān)鍵?,F(xiàn)階段,元宇宙應(yīng)用的主要接入方式為VR頭顯,但難以達到視網(wǎng)膜級別的沉浸式顯示效果,一方面是由于一體機形態(tài)的頭顯算力不足,另一方面是因為分立的頭顯缺乏有效的超高清、超低延時無線鏈接方案。面對VR頭顯的無線化、輕量化需求與元宇宙沉浸式體驗的大算力需求難以兼顧的問題,超高清、超低延時的編解碼技術(shù)或?qū)⑻峁┙鉀Q思路。
“基于超高清、超低延時編解碼這項基礎(chǔ)性技術(shù),算力可以與顯示分開構(gòu)建無線顯示方案,未來桌面、玻璃窗,甚至衣服都能變成屏幕,而手機、電腦、游戲機,電視主機等都可以成為靈活連接的算力端。”曾志華說。
ASIC芯片降低成本 提升產(chǎn)業(yè)參與度
2020年起柯維新采用FPGA進行超高清、超低延時編解碼技術(shù)的芯片化研發(fā),利用FPGA可編程的優(yōu)勢進行方案設(shè)計、技術(shù)驗證和可行性研究。2021年,柯維新推出了第一版FPGA原型,并于2022年迭代了第二版。后續(xù)相關(guān)技術(shù)的量產(chǎn),計劃采用生產(chǎn)成本、能耗更低的ASIC芯片,以更好地推動該技術(shù)的產(chǎn)業(yè)化,預(yù)計在今年年底流片。
“我們將FPGA換成ASIC之后,成本大約是之前的1/10,功耗是1/8。除了芯片本身的成本,功耗也會影響廠商后續(xù)的產(chǎn)品設(shè)計和方案成本,比如是否需要加裝風(fēng)扇等。”曾志華說,“有了芯片之后,相關(guān)企業(yè)可以直接購買芯片進行研發(fā),也可以購買模組或者板卡進行集成,這樣能參與進來的企業(yè)就更多了?!?/p>
對于具備產(chǎn)業(yè)鏈整合能力,希望在主控芯片中集成超高清、超低時延編解碼技術(shù)的企業(yè),柯維新推出了相應(yīng)的IP,可以集成到電視機、VR頭顯的主控芯片或者游戲主機的顯卡上?!氨热珉娨曋餍酒闪宋覀兊腎P,就可以直接發(fā)送超低延時內(nèi)容,再把負責(zé)接收解碼的ASIC芯片放在屏幕上就可以了。也就是通過IP授權(quán)模式解決發(fā)射端的問題,再用ASIC解決終端各種屏幕的接收解碼。對于需要拼接組合的大屏應(yīng)用,則可以編碼端用ASIC,解碼端用IP授權(quán)的模式融合到廠商的大屏處理模塊中”曾志華表示。
接下來,柯維新會向集成度更高、方案成本更低的方向,推動ASIC的迭代。
“再迭代的話,主要是做接口的優(yōu)化。我們第一顆ASIC會做通用的接口,以廣泛支持各種應(yīng)用場景。接下來我們會陸續(xù)把HDMI、MIPI等特定的接口,MCU和無線通信等模塊集成進去,形成針對特定應(yīng)用的SoC,進一步降低成本?!痹救A說。
在超高清、超低時延編解碼技術(shù)芯片化的過程中,柯維新也面臨著技術(shù)目標難以平衡、下游企業(yè)參與度有待提升等挑戰(zhàn)。曾志華表示,超高清、超低時延、低成本和高質(zhì)量的目標“互相牽制”,在平衡這些目標的過程中,需要在算法上不斷優(yōu)化,在技術(shù)路徑和工具上不斷嘗試。
目前,已經(jīng)有國際企業(yè)推出了超高清無線分體電視,這也讓曾志華感受到了超高清、超低時延技術(shù)產(chǎn)品化的緊迫性。他認為,當(dāng)技術(shù)和產(chǎn)品進入無人區(qū),沒有成熟的參照目標,但發(fā)展趨勢和技術(shù)前景比較明晰時,希望下游領(lǐng)軍企業(yè)有率先導(dǎo)入并引領(lǐng)市場的意識,在開拓中把握產(chǎn)業(yè)發(fā)展的主動權(quán)。
- QQ:61149512