AR技術概述

顧名思義(yi)，增(zeng)強現(xian)實(shi)(shi)(shi)(shi)是對現(xian)實(shi)(shi)(shi)(shi)的(de)增(zeng)強。從廣(guang)義(yi)上講(jiang)，增(zeng)強現(xian)實(shi)(shi)(shi)(shi)已經涵蓋了(le)生(sheng)活的(de)各(ge)個方面，比如樹干LED燈，創造藝術效果；例(li)如，在鬼屋里放一些聲源，營造一種(zhong)可怕(pa)的(de)氛圍；甚至噴香(xiang)水(shui)，都是為(wei)了(le)增(zeng)強現(xian)實(shi)(shi)(shi)(shi)，增(zeng)強視覺(jue)(jue)(jue)、聽覺(jue)(jue)(jue)、嗅覺(jue)(jue)(jue)等感(gan)官感(gan)覺(jue)(jue)(jue)，當然，這些都是為(wei)了(le)增(zeng)強現(xian)實(shi)(shi)(shi)(shi)，似乎沒有那么(me)科技(ji)的(de)感(gan)覺(jue)(jue)(jue)。

一般來說，增(zeng)強現實是指通過屏幕或投影設備顯示虛擬內容的視覺增(zeng)強。例如，手機(ji)相(xiang)機(ji)預(yu)覽(lan)中常見的顯示3D動畫(如QQ傳火炬)，微軟(ruan)HoloLens，Google的Tango，還有Magic Leap等等。

總體上看(kan)，AR技(ji)術(shu)的(de)(de)關鍵(jian)在于(yu)設備(bei)對周(zhou)圍環境的(de)(de)感知和(he)理解：最基本(ben)的(de)(de)是(shi)確定(ding)設備(bei)本(ben)身的(de)(de)空間位置(zhi)；更(geng)先(xian)進的(de)(de)是(shi)實時重建環境(SLAM)；更(geng)先(xian)進的(de)(de)是(shi)識別、認知和(he)交互。在這(zhe)方面，定(ding)位是(shi)最基本(ben)的(de)(de)。只有準(zhun)確確定(ding)設備(bei)本(ben)身的(de)(de)位置(zhi)（和(he)方向），虛(xu)擬內容才(cai)能(neng)與現實很(hen)好地結(jie)合(he)起來，以達到足夠的(de)(de)現實感，過程(cheng)需要(yao)實時進行。這(zhe)也(ye)是(shi)VR關鍵(jian)技(ji)術(shu)之一。

目前用于(yu)移動設備的AR主(zhu)要有兩(liang)類：基(ji)于(yu)圖片標記的AR和基(ji)于(yu)IMU的AR，

QQ基于圖片標(biao)記的(de)傳火(huo)(huo)炬(ju)(ju)是典型(xing)的(de)AR，用(yong)手機拍攝特定圖像(xiang)(另一個用(yong)戶(hu)手機上顯(xian)示的(de)火(huo)(huo)炬(ju)(ju)圖片)，在預覽圖片中(zhong)疊加(jia)3D動(dong)(dong)畫效果，移(yi)動(dong)(dong)或旋轉手機，3D動(dong)(dong)畫始(shi)終與火(huo)(huo)炬(ju)(ju)圖片保(bao)持固(gu)定的(de)位置關系，從而(er)增強現實體驗。Pokemon Go則(ze)是基于IMU AR典型(xing)的(de)是通過設備本(ben)身的(de)陀螺儀、加(jia)速(su)度計(ji)等傳感器(qi)數(shu)據(ju)進(jin)行定位，通過陀螺儀可以(yi)(yi)測(ce)(ce)量(liang)設備旋轉，通過加(jia)速(su)度計(ji)可以(yi)(yi)測(ce)(ce)量(liang)位移(yi)。基于IMU的(de)AR實現相(xiang)對簡單(dan)，但精度低，drift嚴重(累積誤(wu)差越來越大(da))，適(shi)用(yong)場景有(you)限。

本系(xi)列文章(zhang)主(zhu)要(yao)討(tao)論基(ji)于平面圖記(ji)的文章(zhang)AR技術(shu)實(shi)現可分為兩類(lei)：Marker和Markerless，兩者的區別主(zhu)要(yao)在于圖片標記(ji)是否規則：

與普通(tong)圖片相比，具體編碼Marker識(shi)別和跟(gen)蹤(zong)更簡單(dan)，但應用有限(xian)，所以現在主流AR應用都是Markerless是的(de)，識(shi)別一張普通(tong)的(de)平面(mian)圖，然后在上(shang)面(mian)疊加3D內容，如(ru)QQ傳火炬。

正如前面所說(shuo)，AR關(guan)鍵在于(yu)設備本身的(de)(de)(de)定(ding)位(wei)，基(ji)于(yu)圖(tu)(tu)(tu)(tu)片(pian)(pian)標(biao)記AR，即通過相(xiang)機拍攝已(yi)知(zhi)圖(tu)(tu)(tu)(tu)片(pian)(pian)，根據圖(tu)(tu)(tu)(tu)片(pian)(pian)在相(xiang)機圖(tu)(tu)(tu)(tu)片(pian)(pian)中的(de)(de)(de)位(wei)置(zhi)確定(ding)相(xiang)機的(de)(de)(de)空間位(wei)置(zhi)，即設備的(de)(de)(de)空間位(wei)置(zhi)。下圖(tu)(tu)(tu)(tu)的(de)(de)(de)主要過程(cheng)(cheng)包(bao)括拍攝圖(tu)(tu)(tu)(tu)像、圖(tu)(tu)(tu)(tu)像處(chu)理(li)(li)和(he)更新虛(xu)擬(ni)內容(rong)三個(ge)(ge)階段(duan)，其中圖(tu)(tu)(tu)(tu)像處(chu)理(li)(li)是核(he)心。圖(tu)(tu)(tu)(tu)像處(chu)理(li)(li)完成(cheng)后(hou)，獲得(de)相(xiang)機外參(can)(Extrinsic，相(xiang)機坐標(biao)系(xi)與世界坐標(biao)系(xi)的(de)(de)(de)變換關(guan)系(xi))，然后(hou)應(ying)用于(yu)預覽圖(tu)(tu)(tu)(tu)片(pian)(pian)的(de)(de)(de)疊加層(如OpenGL或3D發動機環境)，更新虛(xu)擬(ni)內容(rong)的(de)(de)(de)位(wei)置(zhi)，完成(cheng)整個(ge)(ge)幀的(de)(de)(de)處(chu)理(li)(li)過程(cheng)(cheng)，然后(hou)不斷重復這(zhe)個(ge)(ge)過程(cheng)(cheng)，使虛(xu)擬(ni)內容(rong)在設備移(yi)動后(hou)始終(zhong)顯示在正確的(de)(de)(de)位(wei)置(zhi)。

以圖像(xiang)處理過(guo)程為(wei)核心，還包括一些(xie)子過(guo)程，如相機(ji)內參標定(ding)、預(yu)覽幀特征(zheng)提取、匹(pi)配、相機(ji)外參標定(ding)等。

1.相機內參標定

相(xiang)機(ji)的成像(xiang)過程可以(yi)看作是將空(kong)間點轉換到(dao)圖(tu)像(xiang)點的過程。如(ru)果忽(hu)略了相(xiang)機(ji)畸變的影響，整個轉換過程是線性的。相(xiang)機(ji)中設定的參數(shu)的目標(biao)是找到(dao)轉換參數(shu)（包(bao)括(kuo)畸變），以(yi)便通(tong)過數(shu)學計算準確地描述(shu)相(xiang)機(ji)的成像(xiang)過程。

不考慮鏡頭畸變，相(xiang)機成(cheng)像的變換模型可以表示如下：

A是相(xiang)(xiang)機(ji)(ji)的內(nei)(nei)參(can)(can)(can)(can)矩陣，包括x、y方向焦(jiao)距(ju)(ju)fx、fy和圖像中心(xin)cx、cy。空間點M首先通過相(xiang)(xiang)機(ji)(ji)外參(can)(can)(can)(can)[R|t]將坐(zuo)標系(xi)轉(zhuan)(zhuan)換為(wei)(wei)設備(相(xiang)(xiang)機(ji)(ji))(DCS)，然后通過相(xiang)(xiang)機(ji)(ji)內(nei)(nei)參(can)(can)(can)(can)A轉(zhuan)(zhuan)換到圖像坐(zuo)標系(xi)(ICS)，成(cheng)像在(zai)(u, v)處(chu)。確定(ding)相(xiang)(xiang)機(ji)(ji)內(nei)(nei)參(can)(can)(can)(can)的過程為(wei)(wei)內(nei)(nei)參(can)(can)(can)(can)標定(ding)，內(nei)(nei)參(can)(can)(can)(can)與相(xiang)(xiang)機(ji)(ji)的焦(jiao)距(ju)(ju)、硬件(jian)工藝通常可以離(li)線(xian)完(wan)成(cheng)。內(nei)(nei)部參(can)(can)(can)(can)考(kao)標定(ding)常采用張正友棋(qi)盤(pan)格(ge)標定(ding)法，操作簡單，精(jing)度高(gao)：只需從不同角度拍攝(she)同一棋(qi)盤(pan)格(ge)的圖片即可完(wan)成(cheng)標定(ding)。詳見此。

2.圖像特征提取(qu)與匹配(pei)

圖(tu)像(xiang)特(te)(te)征(zheng)點(dian)(dian)（Key Point）又稱興趣點(dian)(dian)，可(ke)以(yi)認為是(shi)圖(tu)像(xiang)上具(ju)有(you)特(te)(te)定特(te)(te)征(zheng)的(de)局(ju)部位置標記和特(te)(te)征(zheng)描述（Descriptor）表示該特(te)(te)征(zheng)的(de)特(te)(te)征(zheng)量，可(ke)用(yong)于區分和匹配不同的(de)特(te)(te)征(zheng)點(dian)(dian)。良好的(de)特(te)(te)征(zheng)點(dian)(dian)應具(ju)有(you)以(yi)下(xia)特(te)(te)征(zheng)：

旋轉不變性和尺度不變性是可重復(fu)性的關鍵，SIFT改進算法SURF特征提取算法常用，FAST它以快(kuai)速(su)而聞名，適用于實時場景(jing)。詳情請參考本博客(ke)。

特(te)征(zheng)匹(pi)配(pei)是(shi)指在提取兩張圖的(de)(de)特(te)征(zheng)點后(hou)，根據特(te)征(zheng)點的(de)(de)描述子進行(xing)匹(pi)配(pei)，并獲得匹(pi)配(pei)點對集，用(yong)于(yu)后(hou)續的(de)(de)單應矩陣計算。特(te)征(zheng)匹(pi)配(pei)可以看作(zuo)是(shi)一個分類過程，如簡單的(de)(de)漢(han)明距離匹(pi)配(pei)，或基于(yu)k近(jin)鄰算法通過比率(lv)測試減少(shao)錯誤匹(pi)配(pei)。FLANN匹(pi)配(pei)開源庫的(de)(de)常用(yong)特(te)征(zheng)。

3.相機外參標定

相機外參(can)標(biao)定(ding)在(zai)上述相機成像(xiang)(xiang)(xiang)公(gong)式中(zhong)求取[R|t]，在(zai)已知相機內參(can)的情況下，根據兩(liang)個(ge)圖(tu)像(xiang)(xiang)(xiang)之(zhi)間(jian)(jian)的特征(zheng)點(dian)(dian)(dian)，可(ke)(ke)以(yi)(yi)找到兩(liang)個(ge)圖(tu)像(xiang)(xiang)(xiang)之(zhi)間(jian)(jian)的空間(jian)(jian)位置關系(旋轉(zhuan)R和平(ping)移t)，如果(guo)其中(zhong)一個(ge)圖(tu)像(xiang)(xiang)(xiang)是輸入(ru)的標(biao)記圖(tu)像(xiang)(xiang)(xiang)，則(ze)設置在(zai)世界(jie)坐標(biao)原(yuan)點(dian)(dian)(dian)，則(ze)該過程在(zai)計算機視(shi)覺(jue)中(zhong)PnP(Perspectire-n-Point)問題，也可(ke)(ke)以(yi)(yi)看作是相機的外參(can)標(biao)定(ding)過程。這個(ge)問題可(ke)(ke)以(yi)(yi)基(ji)(ji)于(yu)(yu)直接線(xian)性轉(zhuan)換DLT(Direct Linear Transfor ** tion)結合最小(xiao)二乘(cheng)法求解(jie)(jie)，也可(ke)(ke)以(yi)(yi)通過迭代(dai)方法根據初(chu)始值(zhi)求解(jie)(jie)。這個(ge)問題可(ke)(ke)以(yi)(yi)基(ji)(ji)于(yu)(yu)直接線(xian)性轉(zhuan)換DLT(Direct Linear Transfor ** tion)結合最小(xiao)二乘(cheng)法求解(jie)(jie)，也可(ke)(ke)以(yi)(yi)根據初(chu)始值(zhi)通過迭代(dai)求解(jie)(jie)。外參(can)標(biao)定(ding)過程的重點(dian)(dian)(dian)是去除誤(wu)匹配，常用RANSAC本文(wen)可(ke)(ke)參(can)考(kao)算法。

VR讓(rang)人體(ti)驗不(bu)同(tong)的(de)(de)世界，AR它是(shi)為(wei)了讓(rang)現實世界更美好，有人把它帶(dai)走AR作為(wei)一(yi)個新(xin)的(de)(de)計算平臺，這并不(bu)過分。想象一(yi)下，最早的(de)(de)尋呼機和功(gong)能(neng)(neng)機只提供一(yi)維通(tong)知、電(dian)話或短信(xin)服務(wu)。在智能(neng)(neng)機器時(shi)代，隨著大屏幕的(de)(de)出(chu)現，二維圖像和音頻(pin)和視頻(pin)已(yi)經(jing)成(cheng)為(wei)主(zhu)流。下一(yi)個時(shi)代可能(neng)(neng)是(shi)3D技術(shu)、AR它將是(shi)計算設備的(de)(de)核心能(neng)(neng)力之(zhi)一(yi)。

上(shang)海西陸信息科(ke)技有限公司 承(cheng)接各類微信小程序(xu)開發制(zhi)作、小程序(xu)定制(zhi)、APP 網站 開發制(zhi)作，聯系(xi)電話 18221533805、15900430334