多路大場(chǎng)景云渲染低延時(shí)交互系統(tǒng)
一、產(chǎn)品概述
該系統(tǒng)利用云端強(qiáng)大的渲染能力,根據(jù)客戶端所發(fā)送的多任務(wù)指令實(shí)時(shí)對(duì)大場(chǎng)景內(nèi)容渲染,并利用先進(jìn)視頻編碼技術(shù)將渲染內(nèi)容以低延時(shí)高保真方式推送至客戶端,以實(shí)現(xiàn)完美的交互。該技術(shù)支持動(dòng)畫、虛擬現(xiàn)實(shí)等。
二、核心優(yōu)勢(shì)
基于GPU邊緣端實(shí)時(shí)渲染及增強(qiáng)轉(zhuǎn)碼
在邊緣節(jié)點(diǎn)輔助的媒體實(shí)時(shí)處理方面,實(shí)現(xiàn)多通道超高清視頻的增強(qiáng)轉(zhuǎn)碼和渲染計(jì)算。在超高清視頻增強(qiáng)轉(zhuǎn)碼方面,由于視頻源格式、質(zhì)量等參差不齊,為提供一致的高質(zhì)量用戶體驗(yàn),在邊緣節(jié)點(diǎn)進(jìn)行按需轉(zhuǎn)碼時(shí),提供了視頻實(shí)時(shí)增強(qiáng)處理,比如超分辨率重建等功能。
在超高清視頻渲染計(jì)算方面,開(kāi)展面向?qū)崟r(shí)場(chǎng)景的低復(fù)雜度處理與渲染算法研究, 基于視覺(jué)顯著性模型,對(duì)場(chǎng)景進(jìn)行多區(qū)域劃分,構(gòu)建內(nèi)容自適應(yīng)的局部增強(qiáng)處理模型,降低計(jì)算復(fù)雜度;使用基于 GPU或者FPGA 的硬件加速方案,提升處理與渲染的并行度。
低延時(shí)超高清轉(zhuǎn)碼技術(shù)
視頻編碼延時(shí)主要來(lái)源于三個(gè)方面,包括視頻幀參考關(guān)系、編碼流水線設(shè)計(jì)以及編碼模塊的復(fù)雜度,針對(duì)上述三個(gè)主要內(nèi)容系統(tǒng)實(shí)現(xiàn)基于云端低延時(shí)視頻編碼技術(shù):
(1)一種利用輸出延遲管理圖像緩沖區(qū)技術(shù),通過(guò)設(shè)置新的語(yǔ)法元素,用于標(biāo)識(shí)圖像重排延遲和圖像輸出延遲,建立了緩沖區(qū)管理時(shí)圖像頭解析與圖像導(dǎo)出順序(Picture Order Index,POI)的有序關(guān)聯(lián),保障了導(dǎo)出圖像的有序輸出,以及靈活的對(duì)輸出圖像的延時(shí)進(jìn)行有效的控制。
(2)一種新的并行流水線模式,首先通過(guò)幀類型場(chǎng)景檢測(cè)和幀復(fù)雜度估計(jì)來(lái)判斷輸入視頻序列各個(gè)幀的類型,然后進(jìn)行一種通過(guò)切斷反饋回路來(lái)減少等待時(shí)間的幀間并行方法,最后進(jìn)行幀間協(xié)同編碼的工作,包括變換編碼、熵編碼以及去塊濾波等技術(shù)以及碼率控制方案來(lái)實(shí)現(xiàn)完整的,從而提升編碼的速度,以降低系統(tǒng)延時(shí)。
(3)利用深度學(xué)習(xí)的方法可以有效的發(fā)揮作用,擬采用基于深度學(xué)習(xí)預(yù)測(cè)CU劃分和基于統(tǒng)計(jì)學(xué)習(xí)預(yù)測(cè)PU模式組合,替換高復(fù)雜度的遞歸編碼探索,實(shí)現(xiàn)了在性能基本保持不變前提下實(shí)現(xiàn)復(fù)雜度的顯著降低。
三、應(yīng)用場(chǎng)景
系統(tǒng)圖
產(chǎn)品圖
![]()
在線留言
|