[ARKit]8-对裸眼3D效果一次不太成功的尝试-白红宇

说明

The Parallax View

是个国外开发者开发的好玩的软件,它利用iPhoneX实现了裸眼3D的效果.

其实它是利用了iPhone X的ARKit面部追踪接口和TrueDepth传感器。

通过追踪用户的头部运动，确定眼睛在三维空间中的确切位置。

然后生成实时响应用户位置的影像，从而为用户带来一种3D影像的错觉。

原理特点

通过使用ARKit和iPhone X进行3D头部追踪来获得深度幻象。

为获得最佳效果，应该只打开一只眼睛（该应用允许选择要追踪的眼睛，或者可以尝试自动选择眼睛）

通过跟踪用户头部方向和位置，可以找到3D中的眼睛位置。

应用可以在该显示器上呈现从该位置看到的正确视图。

为了呈现该视图，使用离轴投影（非对称相机平截头体）。

这给人一种错觉，即物体出现在屏幕的前面和后面。

模仿

受此启发,我尝试在非iPhoneX设备上用人脸识别框架来实现低精度的裸眼3D效果. 原理是:

利用人脸识别,检测人脸位置;

将人脸的二维位置转换到3维空间中(z轴固定,xy按比例转换);

将转换后的3D坐标赋值给摄像机;

原本打算,用识别出人脸的大小,做为依据来判断摄像机在z轴上的位置,但测试中发现,人脸识别出的大小变化很大,无规律可转换.

建立模型

自己用SceneKit的编辑器搭建了一个场景,里面有多根高度不同的柱子.

人脸识别

原来以为苹果的新框架Vision会更好,结果在我的iPhone SE上非常卡,而且Vision框架在识别人脸时对方向有要求,需要指定方向.所有最后还是使用了AVFoundation中的metadataObjectTypes来识别.

if session.canAddOutput(metaDataOutput) {       session.addOutput(metaDataOutput)} //7.AVFoundation框架识别类型metaDataOutput.metadataObjectTypes = [.face]复制代码

在代理方法中处理识别到的人脸:

//AV框架人脸识别func metadataOutput(_ output: AVCaptureMetadataOutput, didOutput metadataObjects: [AVMetadataObject], from connection: AVCaptureConnection) {        for obj in metadataObjects {        if obj.type == .face {            print("face---\(obj.bounds)")            // 坐标转换            let oldRect = obj.bounds;            let w = oldRect.size.height * self.previewView.bounds.size.width;            let h = oldRect.size.width * self.previewView.bounds.size.height;            let x = oldRect.origin.y * self.previewView.bounds.size.width;            let y = oldRect.origin.x * self.previewView.bounds.size.height;                        // 添加矩形            rectLayer.frame = CGRect(x: x, y: y, width: w, height: h)            rectLayer.isHidden = false                        //凑出合理的数据            let cameraX = (oldRect.origin.y - 0.3) * 2            let cameraY = (0.4 - oldRect.origin.x) * 2            // 移动摄像机            self.cameraNode.position = SCNVector3(cameraX, cameraY, 20)                    }else {            rectLayer.isHidden = true        }    }}复制代码

效果初步有了:

但是我们还应该看到,我们的3D效果是通过直接移动摄像机的位置来实现,摄像机的视野范围并没有改变,所以看上去像是透过窗户看后面的景物,而不是像The Parallax View那样,3D物体像是与手机屏幕绑在一起.

最主要原因是:The Parallax View使用了离轴投影（非对称相机平截头体）处理摄像机看到的物体范围,如下图,不论如何移动,FOV(Field Of View)都始终对齐了底座的四个角:

投影变换

在SceneKit中,是可以给camera设置自定义的投影变换矩阵的 self.cameraNode.camera?.projectionTransform

苹果也给出了说明,一旦设置该项,则对摄像机设置的 zFar,zNear, 和fieldOfView都会失效,原因是这些值无法从矩阵中得到(数学上不可逆). 另外需要注意的是:ARKit中的ARSCNView类会重写这个投影变换,所以不要在AR应用中修改.

如果有深厚的3D数学功底,只要重写这个投影变换矩阵,就可以得到离轴投影效果,可惜我现在不会,相关配置还需要研究,以后更新.

代码

代码地址