在電影《鋼鐵俠 2》中有這樣一幕：影片主角托尼·斯塔克在一張懸浮的 3D 地圖上輕點手指,，地圖發(fā)生令人眼花繚亂的變化，他過世的父親遺留給他的“信息”——一種新型人造元素的 3D 原子結(jié)構(gòu)模型被提取出來,。
圖1：《鋼鐵俠 2》電影片段 許許多多的科幻電影中的類似場景無不體現(xiàn)出人們對 3D 顯示與交互無限的遐想,。可喜的是,，這樣的遐想或許有望在不遠的將來成為現(xiàn)實,。 近日，北京航空航天大學(xué)王瓊?cè)A教授團隊開發(fā)出一套懸浮真 3D 顯示實時交互系統(tǒng),，展現(xiàn)出了該種 3D 顯示與交互系統(tǒng)的雛形,。該系統(tǒng)能夠動態(tài)地顯示裸眼3D圖像，在 3D 片源分辨率為 4K 下實現(xiàn) 30 幀/秒的實時,、準確的手勢交互,，并且支持通過預(yù)設(shè)的多種手勢實現(xiàn)多手對多物體的獨立交互。該成果以“基于 Leap Motion 手勢識別的懸浮真 3D 顯示實時交互系統(tǒng)”為題發(fā)表于《液晶與顯示》（ESCI,、Scopus收錄,，中文核心期刊）2022 年第 5 期。
圖2：系統(tǒng)結(jié)構(gòu) 圖源：液晶與顯示, 2022, 37(5): 658. Fig. 6 顯示模塊基于集成成像 3D 顯示，這一技術(shù)可追溯到 1908 年 Lippmann G. 提出的集成攝影術(shù),。集成成像 3D 顯示利用光路可逆原理,，使用透鏡陣列將光線在特定的空間點先匯聚再發(fā)散，如同光本就是從匯聚點發(fā)出的一樣,，從而模擬真實物體表面發(fā)光或反射光的情況,，因此被認為是一種裸眼真 3D 顯示。 在此基礎(chǔ)上研究人員應(yīng)用了懸浮器件——二面角反射鏡陣列。從一個點光源出發(fā)出的光經(jīng)過每個二面角反射鏡單元后,，被反射 2 次匯聚成懸浮于空中的像,。因此集成成像 3D 顯示的 3D 圖像將被投射出整個系統(tǒng)之外，帶來更強的視覺沖擊,，也為更自由的交互提供便利,。
圖3：懸浮真 3D 顯示原理圖源：液晶與顯示, 2022, 37(5): 655. Fig. 2 圖4：二面角反射鏡單元圖源：液晶與顯示, 2022, 37(5):655. Fig. 3 交互模塊通過體感控制器 Leap Motion 采集手勢數(shù)據(jù)。Leap Motion 是一款基于雙目計算機視覺的體感控制器,，它通過頂部的透明窗口拍攝圖片,，提取用戶手的關(guān)節(jié)特征，進而反映整個手的手勢和姿態(tài),。Leap Motion 采集到的數(shù)據(jù)將被送入計算機處理,，把用戶手勢反映的信息轉(zhuǎn)化為控制 3D 片源變化的指令，實現(xiàn) 3D 片源隨著手勢動態(tài)變化,，也就能結(jié)合顯示模塊實現(xiàn) 3D 圖像隨著手勢動態(tài)變化,。
由于 Leap Motion 的參考坐標(biāo)系和 3D 圖像的參考坐標(biāo)系原本不存在關(guān)聯(lián)，因此懸浮于用戶身體左側(cè)的物體可能與位于用戶身體右側(cè)的手產(chǎn)生交互,，這就自然而然帶來違和感和交互的不便利性,。 為解決此問題，研究人員通過標(biāo)定以及矩陣變換的方法,，將 Leap Motion 的坐標(biāo)映射到 3D 圖像的參考坐標(biāo)系,；相當(dāng)于在 3D 圖像所在的虛擬空間生成了一個虛擬手來控制 3D 圖像的變化，而這一虛擬手由于現(xiàn)實中用戶的手處在相同的空間位置,，達到了虛擬和現(xiàn)實的統(tǒng)一,。 3. 多手對多物體的獨立交互 目前國內(nèi)外進行了一些懸浮真 3D 顯示手勢交互技術(shù)研究，但多數(shù)僅考慮單個 3D 物體的交互或 3D 場景的整體交互,，未考慮復(fù)雜 3D 場景中多個 3D 物體的獨立交互,。那么如何理解獨立交互呢？想象一下我們?nèi)粘Ｉ钪杏玫降膫€人電腦,，我們新建兩個窗口，只拖動位于上層的窗口,，這一交互操作不會對位于下層的窗口產(chǎn)生影響,，反之亦然，那么我們認為這兩個窗口對象都是可以獨立交互的,。
圖6：2D 顯示鼠標(biāo)交互 在 2D 顯示下的鼠標(biāo)交互,，由于兩窗口重疊的區(qū)域窗口會發(fā)生遮擋，我們能夠交互到的只有上層的窗口,；而且鼠標(biāo)只能單點交互,，不能同時拖動兩個窗口，因此獨立交互較容易實現(xiàn)。而在 3D 顯示,、手勢交互的系統(tǒng)中,，1 和 2 兩個 3D 物體一旦發(fā)生重合，重合區(qū)域既屬于物體 1 又屬于物體 2,。因此有時用戶只需要對 1 進行交互的時候不小心穿過了 2,，就會導(dǎo)致 2 也被交互了，我們稱這種現(xiàn)象為交互串?dāng)_,。當(dāng)系統(tǒng)由單手交互擴展到多手交互,，每只手都需要進行不同的交互，因此在 3D 物體互不干擾的前提下,，還需要能實現(xiàn)不同物體同時響應(yīng)對應(yīng)手的交互,。 為此研究人員提出一種交互通道機制。每個 3D 物體都有一個通道用于連接一只虛擬手,。成功連接的 3D 物體與手建立其交互關(guān)系,，它的交互通道就被這只手的數(shù)據(jù)占用了，那么其他手將無法占據(jù)這一交互通道,，其他的 3D 物體將不會再容許這只手占用交互通道,，使得成功連接的 3D 物體與手成為獨立的交互組合，直到手主動放棄交互,。
圖7：多物體交互的通道機制圖源：液晶與顯示, 2022, 37(5): 657. Fig.5 利用交互通道機制,，可以有效減少多手對多物體之間的交互串?dāng)_，實現(xiàn)獨立交互,；當(dāng)然在特定的手勢下也可以讓 3D 場景全局或局部的幾個物體按照同一交互方式進行交互,。交互通道機制使交互的設(shè)計與實現(xiàn)更加靈活，更加有助于激發(fā)用戶的創(chuàng)造性,。
視頻：懸浮真 3D 顯示實時交互效果
4. 懸浮真 3D 顯示實時交互系統(tǒng)的應(yīng)用前景
懸浮真 3D 顯示與手勢交互結(jié)合,，符合現(xiàn)實世界中人與真實物體交互的自然觀感，因此可以將現(xiàn)實世界和虛擬世界重疊甚至混淆,，實現(xiàn)亦虛亦實的信息交流,；其應(yīng)用于影音娛樂、會議辦公,、文化展覽等場景,，為元宇宙發(fā)展提供一種可能的方向。另一方面,，該系統(tǒng)的交互操作可避免不必要的接觸,，特別有利于減少疾病傳播風(fēng)險，在新冠疫情背景下具有潛在的便利性和安全性優(yōu)勢,。
.jpeg)
