我自己做的网站上有图片宣传食品杭州电信网站备案

当前位置： 首页 > news >正文

我自己做的网站上有图片宣传食品,杭州电信网站备案,化妆品网页设计模板,公司网站开发教程欢迎关注GZH《光场视觉》 摘要#xff1a;在基于光场的一系列应用中#xff0c;目标的三维重建是基础且关键的任务。普通光场只能重建单一视角而无法重建全景#xff0c;并且在纹理特征匮乏的区域也无法生成准确的三维信息。针对以上问题#xff0c;提出一种基于多视点编码…欢迎关注GZH《光场视觉》 摘要在基于光场的一系列应用中目标的三维重建是基础且关键的任务。普通光场只能重建单一视角而无法重建全景并且在纹理特征匮乏的区域也无法生成准确的三维信息。针对以上问题提出一种基于多视点编码光场的全景三维重建方法。首先利用结构光编码向场景投射正弦模板生成像素级的相位码字以丰富场景特征进而在多个角度独立地进行光场采集。然后在各个光场采样视点的内部利用空间信息和角度信息求取深度值。最后在不同的光场采样点之间由位姿引导实现三维信息融合。实验结果表明所提方法能有效恢复物体的全景信息而且对物体纹理特征匮乏区域的重建也更加准确。 关键词图像处理三维重建光场结构光相位编码点云 1引言 三维重建是计算机视觉中的一项重要任务广泛应用于虚拟现实技术1、无人驾驶2、机器人视觉导航3等领域。基于多视图匹配的三维重建技术如structurefrommotionSFM4和simultaneouslocalizationandmappingSLAM5已经被用于大规模场景的稀疏重建。此类方法通过特征点匹配计算特征点的空间坐标进而重建出物体的三维模型。然而它们面临着两方面不足1场景中的特征点分布稀疏导致重建的三维模型也十分稀疏无法描述几何细节2特征点的匹配计算复杂制约三维重建的速度。 四维光场LF6同时记录光线的强度和方向其数据高维度的优点催生了大量应用并且随着Lytro和Raytrix等便携式光场摄像机的普及基于光场的三维重建方法被陆续提出。光场根据数字重聚焦中的最佳剪切值7或极平面图像EPI中的最优斜率8-9来获取场景深度。Tao等10综合度量散焦线索和相关性线索两种代价获取深度值。Williem等11综合度量约束角熵代价和约束自适应离焦代价获取深度值。Peng等12认为在同一视点不同视图中的深度图包含互补信息并提出融合不同视图实现目标重建的方法。此类方法通过精确的深度值估计实现物体重建但深度线索依赖光场的空间和角度信息只能在单一视角重建目标无法恢复目标完整的全景三维信息。 全景三维重建需要从不同的视角获得场景的几何信息再进行融合常见的方法有360°重建和720°重建。360°重建中视点沿水平环形布置720°重建则同时沿着水平和垂直方向环形布局。这一类方法利用场景几何与光场结构之间的关系计算位姿13或者利用高精度的采集设备获取位姿14并由位姿引导实现立体匹配。Chen等15使用双边一致性度量进行可靠的光场立体匹配。Zhang等16在此基础上提出P-SFM结合立体匹配技术和光场光束平差技术计算光场相机位姿和场景几何形状。Vianello等14利用高精度采集设备获取360°环形光场利用Hough变换计算环形EPI获取单视点深度并使用采样过程中得到的位姿实现信息融合。宋征玺等17在此基础上构建三维霍夫空间提取空间点轨迹实现重建。此类方法可以实现物体的全景三维重建然而深度计算和位姿估计均依赖于表面纹理可靠性相对较差。因此通常需要较多的数据利用数据冗余来提高三维重建的可靠性。 针对以上问题本文提出一种基于多视点编码光场融合的全景三维重建方法。使用光场相机环绕物体进行采样利用光场内部的高维数据独立获取各个视点的深度值进而将不同视点的深度值转换为点云并在全局坐标空间中融合实现物体的全景重建。同时在普通光场的基础上引入相位编码光场以丰富场景特征从而提高深度值质量。所提方法具有以下优点1采用编码光场的相位编码代替自然场景解决弱纹理或无纹理区域由于缺乏特征导致的深度估计不准确问题。2采用多视点融合策略解决普通光场只能实现单视角重建的问题实现全景重建。同时在采样过程中获取单视点精确位姿消除位姿计算导致的视点间匹配不准确问题。3采用沿水平和垂直方向进行环形布局的信息采集方法在获取物体全景信息的同时减少视点采集数。 2多视点三维重建算法 所提基于多视点编码光场的精确三维全景重建方法的总体框架如图1a所示采用结构光编码技术赋予场景像素级码字特征使用光场相机获取不同视点的编码光场然后独立计算不同视点的深度值最后将不同视点的信息在三维坐标空间中融合。相对于已有的三维重建方案所提框架具有以下特点1在深度值估计阶段采用一种符合结构光特性的重聚焦方法在提高深度值精度的同时降低复杂度2在视点融合阶段使用采样中的位姿进行点云融合避免重新计算位姿引起的误差3提出一种基于统计的飞行像素去除方法优化重建目标在深度不连续区域的精度。 2.1相位编码光场的获取 在各个视点采用相位编码光场进行深度值估计采用多步相移法进行像素级编码在减小量化误差的同时产生准确连续的码字。具体来说使用N张同时受水平和垂直坐标调制的正弦函数模板其中第i张模板被定义为 式中A表示振幅(st)表示像素的坐标T表示正弦函数周期。这些图像由光场相机采集通过N步相移法获得包裹相位 包裹相位φ(xy)通过arctan函数求出相位值分布在(-π,π)中并在水平和竖直方向上周期性循环。通过多步相移法得到的图像像素值在其邻域内连续且唯一。 2.2改进的重聚焦算法 通过第2.1节得到编码光场后使用重聚焦算法进行深度估计。对于编码光场通过四维剪切对其进行重聚焦 式中φ表示光场图像α表示剪切值φα表示重聚焦之后的光场图像(uv)和(st)表示角度坐标与空间坐标。当重聚焦图像聚焦于一个特定深度值时聚焦平面上的点所处角块的强度一致成像最为清晰而聚焦平面以外的散焦点则变得模糊。剪切值α反映场景的深度值通过代价函数Cost(φα)评估深度线索代价最小的α对应最佳深度值。 传统光场的代价曲线如图2b所示受均匀纹理、复杂光照和遮挡等因素影响场景的强度值相似或相同代价函数出现多个最小值使α无法唯一地收敛导致深度值估计不准确。针对上述问题对传统重聚焦算法在光场采集和代价计算两方面进行改进充分利用编码光场特性在减小计算量的同时提升深度估计的精度。 在光场重采样阶段传统数字重聚焦的精度受光场低分辨率的制约采样像素在多个的剪切值下均保持相同。当剪切值为α0和α1时最邻近的采样像素均为(s0t1)产生量化误差降低视差的精度如图3a所示。为解决这个问题采用双线性插值法重新计算亚像素相位值如图3b所示将剪切值α采样下的亚像素相位值记为 式中φα(st)表示空间坐标(st)处的相位值n和m为亚像素与其左上方整像素点间的水平和垂直距离。普通光场使用强度作为编码信息像素间不具有连续性使用插值法破坏了图像的空间结构编码光场的像素在水平和垂直方向均连续基于双线性插值的亚像素采样方法充分利用这一特性在不破坏光场空间结构的同时提升数字重聚焦的采样精度。 得到重采样的相位后数字重聚焦通过代价最小化计算深度值。Tao等10将散焦线索和相关性线索作为代价计算场景深度。当α重新聚焦到正确的深度时相关性线索要求光场图像中所有与(st)对应的像素构成一个具有最小方差的角块同时散焦线索要求该角块的像素值与中心视图相应的像素值的差异最小。根据Cai等18的研究相位编码光场对散焦线索不敏感而对相关性线索敏感。因此仅使用相关性线索定义代价函数 式中N表示光场的角度分辨率φα(stuv)表示剪切值α下采样像素的相位值。仅使用相关性线索定义代价函数在保持光场深度估计准确性的同时减小了运算量加快了运算速度如式4所示通过计算求取最小化代价Cost(φα)的剪切值α,进一步通过文献10中的方法即可得到场景的深度值。 2.3多视点三维信息融合 为实现物体全景三维重建在相位编码重聚焦求得单视点深度图的基础上还需要融合多视点的三维信息。对测量目标在多个水平和垂直的视点进行采样得到不同视点信息使用数字重聚焦计算各视点的深度图将各视点深度图中的像素投射到三维坐标空间并使用位姿匹配实现信息融合。 对于任意一张深度图通过下式将像素(st)转换为空间坐标(xyz)进而转换为点云 式中z0表示像素(st)处的深度值f表示相机的焦距d表示焦点与旋转中心的距离(s0t0)表示深度图中心像素的坐标dx和dy表示单一像素点在水平和竖直方向上的物理尺寸P表示单视点的点云∪表示空间坐标的集合Npix表示深度图像素个数。 图4a中将物体首次采样的视点作为参考系沿水平和垂直两个方向进行采样。将采样过程中水平和垂直方向的旋转角度定义为θ1、θ2则水平和垂直视点的位姿为 式中Hθ表示水平视点的位姿Vθ表示垂直视点的位姿。 在实际应用中由于光场相机的旋转角度θ1难以测量通常固定光场相机并使用步进电机控制的高精度旋转台对物体进行指定角度的旋转17实现水平视点采集。由于水平方向进行360°采集已经覆盖了目标的大部分区域垂直方向的视点只需覆盖顶部和底部即θ2为90°和270°两个特殊视点即可。 在获得不同视角点云位姿后通过下式将多视点的点云融合如图4b所示 式中Pv表示垂直视点的点云Ph表示水平视点的点云Pm表示主视点的点云∪表示单视点下点云的集合P表示融合后的点云。 在多视点点云融合过程中不同视点的点云存在重叠部分如图5a所示。这些点被视为物体表面的重复采样点使点云重叠区域的密度大于单视点点云密度给物体重建带来了误差。使用一种基于体素的重复点云处理方法来解决此问题如图5b所示对于源点云建立其对应的八叉树并将目标点云和源点云中存在于同一体素的点定义为重叠点。此时两个点云的重复点在同一体素中使用体素下采样或者Laplace平滑19均可有效融合重复点云。处理后的点云重叠区域和不重叠区域的密度保持一致提升了重建物体的质量。 2.4飞行像素移除 为进一步提升三维重建质量提高点云在深度不连续区域的精度提出一种基于统计式的离群点移除策略消除飞行像素。飞行像素的产生原理如图6a所示像素p3同时记录来自多条路径的光当像素看到前景物体的边缘和非遮挡的背景物体时采集的强度/颜色将是前景和背景强度/颜色的混合。飞行像素被视为错误的采样点从而带来了误差。 飞行像素的强度是前景和背景的加权和将深度图转换为点云后飞行像素点与其他点的距离往往更远。利用这一特性提出一种统计式离群点移除策略这些点满足 式中(xpypzp)表示为离点p最近k个点的空间坐标δ为所设的阈值。式13可以有效寻找所有与邻域的其他点距离较大的点通过调整适合的阈值δ索引飞行像素点并移除。具体效果如图6c所示该方法计算量小且在去除离群点的同时提升了物体的边缘质量。 3.实验结果与分析 3.1实验设置 将所提算法与3种三维重建算法进行对比分别为普通光场三维重建10、clusteringviewsformulti-viewstereoCMVS20、multi-viewstereoMVS21。相应地构建了3种数据具体的测试方法和对应的实验数据如表1所示。1针对CMVS和MVS构建水平360°环形光场如图7d所示相机环绕旋转轴1°等间隔均匀采样以获取场景的360°信息一个数据集包含360张普通纹理图像。2针对纹理光场的三维重建10构建720°普通光场如图7c所示该数据包含6个视点在水平和垂直方向分别构成360°环形采集每个视点为图7a所示的普通光场采集的纹理信息。光场相机焦距为43.456mm每个视点包含7×7共49张图像整个数据集包含294张视图。3针对所提编码光场的三维重建构建720°编码光场其采样方式仍如图7c所示但各视点为图7b所示的编码光场22。其光场相机参数和普通光场相同模板使用正弦函数的周期为42整个数据集包含294张视图。 值得注意的是CMVS和MVS需要密集的采样视点建立视点间相关性当视点间距大时无法进行匹配故使用图7c所示的采样方法无法得到重建结果。根据Vianello等14和宋征玺等17的研究使用图7d所示的环形光场并采用1°间隔采样时可取得可接受的重建效果此时需360张采样图像已经高于普通光场和编码光场294张视图的数据量。为在尽可能接近的数据规模上比较性能对环形光场仅进行水平360°重建。 3.2与现有方法的精度比较 从表1可以看出采用4种方法在3组数据集上测试重建效果及生成mesh的误差结果如图8~10所示其中误差图颜色越深代表误差越大。MVS和CMVS在环形光场数据集的实验结果如图8~10a、b所示可见MVS重建结果在边缘处具有较多噪声而CMVS重建点云密度较稀疏。使用泊松表面重建23将点云重建为网格后所得到的重建结果误差较大。同时使用环形光场数据集进行三维重建会丢失顶部和底部信息只能完成水平360°重建。传统光场三维重建方法和所提方法的测试结果如图8~10c、d所示结果表明通过不同视点求取深度值再进行融合所得重建效果整体优于CMVS和MVS利用更少的输入图像生成了更精确的三维信息。同时从图8~10c可以看出普通光场数据集难以对弱纹理或无纹理区域进行有效重建而从图8~10d可以看出使用编码光场可以得到更好的点云网格的重建结果也更加平滑和准确实现了精确的全景三维重建。 为更好呈现全景三维重建效果选取5个随机角度对生成的网格与真实值进行对比结果如图11所示所提方法可以获取物体的全景信息并融合在各个角度均能观测到物体的三维信息。 3.3光场角度分辨率对结果的影响 为分析编码光场的角度分辨率对结果的影响即重建质量随输入数据量的变化测试角度分辨率为3×3、5×5、7×7的普通光场与编码光场所得点云的均方根误差RMSE24结果如表2所示。从表2可以看出随着单视点光场采样角度分辨率的增加普通光场和编码光场的RMSE不断减小表明视点数目的增加提供了更强的约束从而生成更准确的三维信息。同时在相同角度分辨率的情况下编码光场得到的点云质量优于普通光场即光编码提供了更准确的深度线索生成了更准确的深度值。 除了客观指标还比较了重建mesh和真实值的误差结果如图12~14所示。从图中可以看出输入光场的角度分辨率改变时普通算法受角度分辨率的影响更大而所提算法在输入不同尺度的光场情况下均能得到完整的信息和精确的轮廓。此外其结果也表明所提算法的mesh质量优于普通算法重建结果更加准确且平滑从而验证了其有效性。 3.4重建精度影响因素分析 还探索了具体实施中不同因素对重建精度的影响主要包括输入图片空间分辨率、旋转角精度及模板的噪声。重建误差以RMSE衡量结果如表3所示重建mesh的误差如图15所示。输入图像的空间分辨率影响深度值的精确性进而影响重建结果测试并分析了在输入分辨率为512×512、448×448、384×384时的重建效果。随着空间分辨率降低视差和深度值精度降低生成点云的误差增大。视点的旋转角θ1和θ2将影响点云的融合进而降低重建质量测试并分析了旋转角出现1°~5°误差时的重建效果。随着角度误差的增加重建结果的误差也迅速增大。模板噪声降低深度值的准确性降低重建质量对相位模板加入方差为0.01、0.05、0.1的高斯噪声并测试重建效果。随着噪声增强重建结果的RMSE略微增加。 4 结论 针对传统光场重建信息不全在纹理匮乏和重复区域重建结果不精确等问题提出一种基于多视点的编码光场三维重建的方法。通过相位解码、深度估计、多视点融合、飞行像素去除等一系列步骤进行优化实现了物体的精确全景重建。实验结果表明与现有方法相比该方法可以在更少的输入情况下得到更加精确的重建结果同时其在弱纹理或无纹理处重建的结果更加平滑。同时还分析了角度分辨率、空间分辨率、模板噪声等因素对重建质量的影响。 文章来源激光与光电子学进展 第60卷第12期 文章作者王泽宇向森邓慧萍吴谨 相关链接http://www.opticsjournal.net/Articles/OJ46b4470ef4ff0194/Abstract 声明转载此文目的在于传递更多信息仅供读者学习、交流之目的。文章版权归原作者所有如有侵权请联系删除。