聊一聊VR虛擬現實（十三）：進入VR行業需要學習哪些計算機技術？

最近隨著VR知乎(hu)上經常有人問(wen)行業的復蘇(su):我(wo)以后想做。VR，你需要學習什么計(ji)算(suan)機技(ji)術(shu)？本(ben)文(wen)系統介紹(shao)：進(jin)入(ru)VR計(ji)算(suan)機軟件技(ji)術(shu)哪些計(ji)算(suan)機軟件技(ji)術(shu)。

由于篇幅(fu)有限，技術細(xi)節(jie)不會(hui)在術細(xi)節(jie)，主要介(jie)紹某一(yi)方向所需的軟件知識，以(yi)供進入VR行業學生參考。

首先，是(shi)VR與眼鏡平(ping)臺相關的(de)工作包括以下三個部分：

一、顯示技術

目前的(de)VR設(she)備(bei)有(you)(you)三類:外接頭顯(xian)(包括(kuo):PCVR 和 PSVR）、一體機 和 手機盒。這三類VR現(xian)有(you)(you)計算設(she)備(bei)中使用的(de)眼鏡操作系統（Windows、Android 等(deng)等(deng))。因此，從系統層(ceng)面(mian)來看(kan)，沒有(you)(you)新的(de)技術內容。但(dan)在顯(xian)示層(ceng)面(mian)上，它比現(xian)有(you)(you)的(de)計算設(she)備(bei)更復雜。

當游(you)戲(xi)引擎渲染一個時VR畫后，不能像 PC 或者 手機(ji)直(zhi)接上屏，還需(xu)要(yao)反畸變、合成(cheng)、位置預測(ce)等過程才(cai)能貼在屏幕上。這需(xu)要(yao)很多 計算機(ji)圖形學 和(he) 操(cao)作系統 相關知識(shi)。

此外(wai)，為(wei)了進一步提(ti)高渲染效率，還需(xu)(xu)要(yao)引入視(shi)覺渲染技術(shu)。為(wei)了解決這個(ge)問題 VAC (收斂(lian)沖(chong)突)未(wei)來將引入問題 光場(chang)顯(xian)示 這些技術(shu)也需(xu)(xu)要(yao) 計算(suan)機圖形學 相關知識。

二、定位技術

VR圖像的生(sheng)成取(qu)決于定(ding)位的準(zhun)確性(xing)。這(zhe)涉及兩種(zhong)技(ji)術(shu)(shu)：頭部定(ding)位 和 手柄(bing)定(ding)位。定(ding)位技(ji)術(shu)(shu)可(ke)分為(wei)以(yi)下三類：

1. 外(wai)部激(ji)光定位(wei) （Lighthouse）

通過計(ji)算外部激光(guang)發射器(qi)掃描空間 頭盔和手柄(bing) 接收(shou)激光(guang)信號的時差(cha)推導出設備的空間坐標。其特點是:速度快，位置準確，缺(que)點是 成本高。HTC vive 就(jiu)是這樣。

2. 外部視覺定位

攝像頭放(fang)在外面(mian)拍(pai)攝 頭盔/手(shou)柄 計算(suan)設備的(de)位(wei)置，Oculus Rift（紅外線） 和 PSVR (可見光)都是(shi)這樣使用的(de)。要準確高效(xiao)地(di)檢測出光標(biao)點，需要 計算(suan)機視(shi)覺(jue)的(de)圖像處(chu)理知識。

3. 內置視覺定位(wei)（ InsideOut 定位(wei)）

估(gu)計頭盔運動是通(tong)過頭盔上(shang)攝像(xiang)頭拍(pai)攝圖片的(de)(de)變化來估(gu)計的(de)(de)。WMR、Quest使用這種方(fang)法。它的(de)(de)優點是不(bu)需要(yao)額(e)外的(de)(de)架設設備。但定位精(jing)度比激光定位差。

還(huan)需要根據圖片推斷相機的運動(dong) 計(ji)算機視覺 相關知識。

InsideOut 頭(tou)部定(ding)位(wei)對(dui)應的手(shou)(shou)部定(ding)位(wei)有點復雜，分(fen)為 電磁(ci)手(shou)(shou)柄定(ding)位(wei)，超聲(sheng)手(shou)(shou)柄定(ding)位(wei) 和(he) 視覺手(shou)(shou)柄定(ding)位(wei) 三(san)種(zhong)方法。前(qian)兩種(zhong)通(tong)常(chang)是(shi)硬件(jian)直(zhi)接定(ding)位(wei)坐(zuo)標，最后一種(zhong)仍然(ran)是(shi)基(ji)于 計算機視覺，是(shi)攝(she)像頭(tou)從外(wai)置攝(she)像頭(tou)換成(cheng)了(le)頭(tou)盔上的攝(she)像頭(tou)。

三、識別技術

在某些(xie)情況下，為(wei)了更準(zhun)確地(di)反映用(yong)戶(hu)的動作，還需要識別人體的各種狀態。包括：手(shou)(shou)勢識別、身體姿勢識別、表達識別、眼睛跟蹤。手(shou)(shou)勢識別有兩種技術路(lu)線(xian)：一種是戴(dai)手(shou)(shou)套，用(yong)硬件識別，另一種是基于 計算機視覺 識別。前者優勢準(zhun)確，后者使用(yong)方便。

基于視覺的手勢識別

身體姿(zi)勢(shi)識別 類似于(yu)手(shou)勢(shi)識別，也有 佩戴(dai)硬件 和 視覺(jue) 兩套方(fang)案。但現在常(chang)用的是基于(yu)硬件。基于(yu)視覺(jue)的姿(zi)態識別通常(chang)用于(yu)監控場景VR其準確性也比較(jiao)少見 硬件方(fang)案 差很(hen)多。

眼(yan)動追蹤 主要(yao)是計算機視覺方(fang)案，現在(zai)有(you)眼(yan)部肌電信號進行眼(yan)動跟蹤，但只(zhi)(zhi)存在(zai)于(yu)(yu)實驗室。最(zui)后，表情識別(bie) 只(zhi)(zhi)能靠 計算機視覺 來做。所有(you)上述識別(bie)內容(rong)，仍處于(yu)(yu)較前沿狀態，在(zai)實際應(ying)用(yong)(yong)中主要(yao)是B端場(chang)景(jing)，C端使用(yong)(yong)相對較少。Oculus Quest 最(zui)近剛(gang)剛(gang)推(tui)出(chu) 手勢識別(bie) 預計越(yue)來越(yue)多的C端應(ying)用(yong)(yong)將嘗試這種(zhong)新(xin)的交(jiao)互方(fang)式。

搭好VR眼鏡平臺(tai)后，內容需(xu)要根據不同的(de)應(ying)用場景進行(xing)填充。應(ying)用程(cheng)序端(duan)的(de)相關(guan)技術可分為(wei)以下類別：

一、內容開發

首(shou)先是最常見的VR在(zai)技術(shu)層面上，游戲應用開(kai)(kai)發(fa)與普通3D游戲沒有區別，大部分都(dou)是用的。 U3D，Ureal 等待引擎(qing)開(kai)(kai)發(fa)。因(yin)此，我想(xiang)在(zai)未來從(cong)事VR內容開(kai)(kai)發(fa)的學生可(ke)以(yi)直接從(cong)游戲引擎(qing)開(kai)(kai)始。

二、視頻制作

VR目前視頻(pin)制作設備比(bi)較成熟。用戶在使用時，避免了(le)早期(qi)拼接步(bu)驟，直接輸出 360度全景視頻(pin)。

制作簡單，但視(shi)頻(pin)領域仍(reng)有(you)兩種(zhong)新技術需要探索：視(shi)頻(pin)分片編解碼(ma) 和 容(rong)積攝影。

編解(jie)(jie)(jie)碼視頻(pin)分片 可以解(jie)(jie)(jie)決兩個問(wen)題(ti)：帶寬不夠 以及(ji) 芯片解(jie)(jie)(jie)碼限制。未來為了(le)傳輸和播放12K我們需要優化編解(jie)(jie)(jie)碼環節的視頻(pin)。

目前，一些公(gong)司(si)已(yi)經朝著這個方向投(tou)資(zi)。 VR4P、VSBIT、威爾(er)云 等(deng)。

容(rong)積攝影 在(zai)之前的文章中，我們還介紹了技術：

它主要通過多(duo)攝像頭(tou)從多(duo)個角度拍攝相同的(de)場景，最終 “拼” 一(yi)個人可以 “走進去” 的(de)3D視頻場景，很酷。

要(yao)實現這一點，也需(xu)要(yao)一些 圖像處(chu)理 的知(zhi)識(shi)。

三、網絡技術

云(yun)VR會是VR該(gai)領域的(de)一個大趨勢是，它需要在云(yun)服務器輸到本(ben)地(di)。VR可參考(kao)相關內(nei)容(rong)：

下圖是(shi)一種云VR 服務架構。它主要考慮的是(shi) 云內容編碼 及 高(gao)效傳輸。因(yin)此(ci)，一個 計算機(ji)網絡技(ji)術 專家，也可以(yi)快(kuai)速投資(zi)云VR的領域(yu)。

此外，未來流行(xing)的虛(xu)擬社交(jiao)網絡(luo)將對網絡(luo)傳輸有更高的要求。圖像同(tong)步所(suo)需的數據量比(bi)傳統的網絡(luo)游(you)戲大一個量級。目前，最受歡迎的VR社交(jiao)游(you)戲：VRChat，同(tong)時(shi)，在線人數超過2萬。同(tong)時(shi)，單個房間的人數上限只有30人左(zuo)右。想要實現。 還需要對數據同(tong)步做很多研(yan)究。

一般來說，如果(guo)(guo)你想做點什么VR與眼鏡平臺相(xiang)(xiang)(xiang)關的(de)工作(zuo)(zuo)需要 與計(ji)算機(ji)圖(tu)形學、計(ji)算機(ji)視(shi)覺和操作(zuo)(zuo)系(xi)統(tong)(tong)相(xiang)(xiang)(xiang)關的(de)知(zhi)識。如果(guo)(guo)你想VR在(zai)應用(yong)(yong)端做一些工作(zuo)(zuo)，現在(zai)的(de)3D游戲，視(shi)頻娛樂 所需的(de)技術知(zhi)識相(xiang)(xiang)(xiang)似。 ，因(yin)為VR眼鏡公(gong)司也要做上(shang)層系(xi)統(tong)(tong)應用(yong)(yong)，所以(yi)也會(hui)涉及3D開發內容。

希望(wang)以(yi)上(shang)介紹能加(jia)入。VR這個行業的學生(sheng)很有幫(bang)助(zhu)。

更多文章，也可以(yi)關注自己的專欄:逐鹿VR

相關文章：

聊一聊 VR虛擬現(xian)實(1):VR的發(fa)展史

聊一聊 VR虛擬現實(二):VR眼鏡(jing)的分類

聊一聊 VR虛擬現實(shi)(三):VR游戲

聊一聊 VR虛擬現實(4):當前:VR行業的(de)幾大挑戰(zhan)

聊(liao)一聊(liao) VR虛擬現實(shi)(5):我們離科幻電(dian)影有多遠

聊一聊 VR虛擬現實(6):消(xiao)除距(ju)離

聊(liao)(liao)一聊(liao)(liao) VR2019年虛擬(ni)現實(7) VR游戲現狀

聊一聊 VR虛擬現實(8):VR視頻清晰度

聊(liao)一聊(liao) VR虛擬現實(9):5G與云VR

聊(liao)一(yi)聊(liao) VR虛擬現實(十):一(yi)篇(pian)文(wen)章幫助你區分VR與AR

聊一聊 VR 虛擬現(xian)實(十(shi)一):VR 與 AR 誰(shui)主未來？

聊一(yi)聊 VR 虛擬現實(十二):VR 與 AR 誰主未來？-AR篇

聊一聊 VR 虛擬現(xian)實(shi)(十三):進入VR行業需要學習哪些計算機(ji)技術？

聊一聊 VR 虛擬(ni)現實(十四):2020年VR工業將如何發展？

聊一聊 VR 虛擬(ni)現(xian)實(十五):VR遠(yuan)程辦(ban)公離我們有多遠(yuan)？

聊一聊 VR 虛(xu)(xu)擬(ni)現實(十六):VR虛(xu)(xu)擬(ni)影(ying)院會是線下影(ying)院的(de)顛覆者嗎？

聊(liao)一聊(liao) VR 虛擬現實(十七):VR社交(jiao)游戲盤(pan)點

聊一聊 VR 虛擬現實 (十八）：VR社交是什么(me)

上海西陸(lu)信息(xi)科(ke)技(ji)有限公司 承(cheng)接各(ge)類微(wei)信小程序開(kai)(kai)發制作(zuo)、小程序定制、APP 網站 開(kai)(kai)發制作(zuo)，聯系電話 18221533805、15900430334