您所在的位置:主页 > 华财之声 > 科技 > 正文

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

2019-09-10 10:54:37 来源: 阅读:1

多视角立体几何(multi-views stereo vision, MVS)是三维重建的重要方法,但传统的方法需要大量的计算来实现立体重建,同时重建结果的精度也有待提高。深度学习的出现为多视角立体视觉提供了新的可能性。

最近来自清华、港科大和UCSD的研究人员们联合提出了Point-MVSNet 模型,基于深度学习的方法直接以点云的形式进行三维重建,与先前构建高分辨率体积的手段不同,这一方法直接将场景作为点云处理,减少了不必要的计算,保留空间连续性,在精度、速度、灵活性上都有了大幅度提升,实现了更为高效、精确的重建结果。

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

Point-MVSNet

新提出的Point可以被分解为初始深度估计迭代深度优化两个部分。首先通过一个计算资源消耗较低的小模型预测出较为粗糙的深度图作为初始深度图,并将基于假设点将其反投影为点云。针对每个点,算法从多视角图像中动态的抽取特征,并利用PointFlow来基于这些特征来增强点云的精度,估计出当前深度图与GT间的残差,不断迭代优化深度图。

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

模型的第一部分是基于多视角的图像预测出场景的粗糙深度结果,研究人员基础先前的MVSNet来实现这一功能。给定多视角图像和对应的相机参数,MVSNet就能构建出基于参考相机的深度图。与MVSNet实现不同的是,本文的研究人员使用了更为精简的结构来降低计算量。

MVSNet中特征图的尺寸是原图的1/4,而本文中则使用了1/8尺寸的特征图;同时参考深度平面的数量从原先的256个缩减成了48~96个,这就使得本文的MVSNet对粗糙深度图预测消耗的内存是原先实现的1/20,大大提高了计算效率。

模型的第二部分需要对初始的深度图进行优化,增强对应的点云质量,研究人员利用了二维图像特征来增强三维点云。首先为了在多个尺度上获得更多的相关信息,并为对应点提供更大的感受野,研究人员使用了三个尺度的卷积金字塔来从输入图像中获取多尺度特征。随后将这些特征动态的赋予不同的点,点云特征与图像特征的匹配衔接使得多尺度的图像特征对点云进行有效的特征增强。

最后,特征增强后的点被送入模型中的核心模块PointFlow中进行优化,通过计算与基准深度间的残差,迭代优化获得最终精确的深度图。

PointFlow是这篇文章中新颖的迭代深度优化方法。在已知相机参数的情况下,可以将深度图反投影成点云。针对每个点,优化的目标是通过对各个视角下邻近点的观察,估计这个点在相机方向与基准点云表面的偏移,并最终迫使点“流向(flow to)”目标位置,这个方法就称为PointFlow。

PointFlow

PointFlow共由四个主要模块构成,分别是假设点生成、边缘卷积、流预测以及上采样迭代优化等。

首先使得模型更好预测点的偏移,研究人员提出了一种假设点生成的方法。在参考相机方向上,为每一个点生成一系列位移量不同的假设点,这个假设点集对于模型预测点的偏移十分重要,可通过空间几何的关系在不同深度上融合邻域的图像特征。

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

上图中是假设点的生成,其中红色点是从粗糙深度图反投影的点,蓝色点是不同的位移步长生成的假设点。随后利用k个领域的点构建出有向图,并用边缘卷积来充分利用领域信息。

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

上图显示了PointFlow的模块构成,特征增强后的点云作为输入并得到深度残差输出。其中利用EdgeConv层来聚合领域不同尺度上的特征信息,跳接层将所有EdgeConv输出作为局域点特征,最后共享MLP转换点特征得到点概率输出,最终的预测位移使用不同假设点的加权平均值得到。

值得注意的是,上面所有的操作都是可差分的,输出的残差通过点云的位移投影到深度图得到,并可与先前初始深度相加获得进一步优化。

由于这一模型架构十分灵活,流预测可以迭代进行,而这对于先前基于三维体素的方法是十分困难的。对于某个深度图,可以先行利用邻域信息来上采样获取高分辨率,随后利用流模型得到新的深度图,从而在每个迭代过程中减小了假设点和反投影点云间的偏移,提高精度的同时使得更多的细节展现出来。

因为有多次迭代过程,所以模型的损失也是多次迭代之和,每次迭代中包含了不同尺度下基准深度图与预测深度图间的L1损失:

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

实验结果

研究人员在DTU数据集上进行了训练和测试,新方法在点云的完整性和整体质量上全面超过了先前的方法:

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

同时,与MVSNet相比更多的细节和边缘被保留,证明这种方法可以有效的重建高频几何特征:

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

此外针对模型中不同的模块,研究人员还进行了消融性分析。其中边缘卷积对于领域相关性及其特征增强有着重要作用。有向图对于邻域信息的处理具有很大的优势,这是因为空间中相邻点可能属于不同物体,直接利用图像空间中的相邻点造成性能下降。此外多尺度的特征金字塔也为模型的稳定性贡献了自己的力量。

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

迭代优化对于点云质量的提升也功不可没。下图显示了不同迭代周期后点云的质量,可以看到迭代带来的显著质量提升:

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

在下表中可以发现,在第二次迭代时本方法的结果已经超过了先前的MVSNet方法了:

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型

此外,这一方法对于初始点云的质量十分鲁棒,对于不同噪声的初始点云结果较为稳定:

清华、港科、UCSD联合提出Point-MVS高精度点云重建模型


推荐阅读:叶紫网