如何自己做网站推广淘宝客烟台网站建设哪家服务好

当前位置： 首页 > news >正文

如何自己做网站推广淘宝客,烟台网站建设哪家服务好,中企动力云邮箱,.net做的学校网站6D目标检测工程落地需求的小算力算法#xff0c;本文具有借鉴意义#xff0c;但对于特征点少的目标不太好用。 摘要 在多个实际应用中#xff0c;经常会遇到确定图像中出现的物体姿态的问题。处理这一挑战的最有效策略是按照基于模型的范式进行#xff0c;这涉及构建物体…6D目标检测工程落地需求的小算力算法本文具有借鉴意义但对于特征点少的目标不太好用。 摘要 在多个实际应用中经常会遇到确定图像中出现的物体姿态的问题。处理这一挑战的最有效策略是按照基于模型的范式进行这涉及构建物体的3D模型然后通过检测到的特征将这些模型与新图像进行拟合来确定物体姿态。本文提出了一种基于模型的方法用于从自然点特征中估计已知物体的全姿态。该方法采用了投影成像模型并结合了可靠的自动机制用于姿态初始化和收敛。此外该方法可以扩展到多摄像头系统而无需进行多视图匹配并且依赖稀疏结构从运动技术进行离线的物体模型构建。实验结果证明了其准确性和鲁棒性。 1 introduce 准确定位图像中的物体是应用于机器人操作、跟踪、增强现实、实体接口等领域的视觉系统的主要要求。此类系统应在动态和未知的环境中可靠运行即使物体的外观因视角、光照或遮挡的变化而发生变化也能提供准确的物体位置和姿态估计。物体姿态估计通常在基于模型的匹配和识别的背景下进行【11】对此有大量文献可供参考。根据这一范式首先组装一组几何物体模型及其相关特征。在识别过程中从图像中提取的特征与存储在模型中的特征进行匹配并利用它们之间的映射来确定相应物体的姿态。 本文提出了一个用于估计刚性物体全姿态即六自由度的系统。该系统包括离线阶段和在线阶段。在离线阶段构建一个编码物体3D几何形状和局部外观的模型库在在线阶段进行匹配和姿态估计。存储的模型包括来自物体表面的稀疏3D点集及其图像投影的SIFT描述符【13】。在在线操作中从图像中提取特征及其SIFT描述符并与模型中的特征进行匹配以建立假定的对应关系。由于SIFT的特异性这些对应关系的数量通常为图像中存在特定模型物体提供了强有力的证据。通过使用匹配模型点的3D坐标来估计物体姿态从而验证对应关系是否在几何配置中一致来测试这些假设。 所提出的方法无论物体相对于相机的相对姿态如何都适用具有对遮挡和错误匹配的鲁棒性并且能在保持很少状态信息的情况下轻松恢复失败。它对物体的假设较少假设物体是刚性和有纹理的但可以任意复杂。此外它采用完全投影成像公式具有可靠的姿态初始化和收敛机制可以扩展到多个摄像头而无需进行多视图匹配并依赖于自动结构从运动SfM技术来构建离线模型。相关的现有工作在第2节中回顾所提出方法的组成部分在第3-5节中详细描述来自真实和合成数据集的实验结果在第6节中展示。 2 Related Work 早期的基于模型的匹配方法使用强度边缘作为特征。例如Lowe【11】依赖于感知组织来分组特征并减少匹配时的搜索空间大小然后通过自上而下的空间对应对齐模型与图像并估计其姿态。这项工作仅限于使用直线段并采用近似平行性作为其分组提示。由于在透视下这种性质无法保持因此该方法仅限于透视变形较小的仿射几何图像。后来该方法被扩展为处理具有任意曲面和表示关节或表面变形的内部参数的物体【12】。 之后图像块的协变检测器和描述符的发展【14】被采用来构建局部表示。因此Vacchetti等人【18】结合几何模型和基于特征的匹配对一组参考关键帧进行匹配以在3D中跟踪刚性物体。Rothganger等人【15】使用仿射不变的局部描述符捕捉物体表面块的外观并使用多视图几何约束来表示它们的空间关系。通过强制光度和几何一致性进行匹配实现了物体识别和姿态估计。这种方法假设仿射投影模型并带来了高计算成本。Gordon和Lowe【3】描述了一个基于SIFT特征的系统用于在新图像中识别学习到的模型并解决其姿态。该系统旨在增强现实应用中使用它估计相机相对于其环境中大部分静止物体的姿态而不是相反。因此它强调减少抖动和漂移并且只能处理与被跟踪场景对应的单一模型。Collet等人【1】提出的系统基于自然特征能够估计机器人工作空间中物体的姿态这项工作与本文最相关。我们的工作与【1】的不同之处在于我们的工作在估计姿态之前不需要对模型与真实世界进行对齐采用更准确的姿态初始化对特征点定位错误更具弹性能够容忍姿态估计中的局部极小值并且可以轻松扩展到多个摄像头。 3 Models and Features 物体模型是所提出方法的关键组成部分。为了获得一个完整的、视角无关的物体模型需要使用来自多个视点的图像对物体进行建模。因此每个物体都需要单独拍摄多个图像并使用手持相机绕其周围拍摄然后使用获取的图像来估计帧间相机运动并通过结构光技术SfM【17】恢复相应的3D点云。物体模型由这点云中的一组3D点组成每个点都伴随着一个SIFT图像描述符用于捕捉该点附近的局部表面外观。每个3D点在被看到的每张图像中都具有一个SIFT描述符。我们选择在图像中最正面且离相机足够近的那个描述符作为其最具代表性的描述符。这需要了解表面法线通过收集点的3D邻居并对其进行平面拟合来获得法线。这一过程还识别出孤立的3D点这些点会被从最终模型中过滤掉。 在姿态估计过程中在图像中检测到SIFT关键点然后将其与物体模型中的关键点进行匹配。SIFT的鲁棒性使得能够可靠地识别在图像和模型之间经历了较大仿射变形的特征。建立的对应关系用于将特征位置的2D图像位置与物体表面对应点的3D坐标相关联。我们最初评估的点匹配程序使用了SIFT描述符距离的标准比率测试具体如下。通过在模型中的描述符中找到每个图像描述符的两个最近邻点来确定匹配关系只有当最近邻点的距离小于第二近邻点的距离的固定阈值时才接受匹配。可以通过调整这个阈值来宽松地建立更多匹配或保守地选择最可靠的匹配。实验观察到比率测试产生了大量错误匹配。基于比率测试的【10】中的F2P策略也进行了测试发现其在匹配质量方面是一个可行的选择因此被采用为我们的匹配技术。 SIFT描述符的距离传统上用欧几里得L2范数来量化。SIFT描述符是梯度方向的加权直方图。因此无论匹配标准如何通过用直方图范数如卡方χ2距离替代L2可以提高匹配效果。尽管发现其他计算更复杂的距离如二次卡方族或环状地球移动者距离能产生更好的匹配结果但最终采用了χ2距离因为它在性能和计算成本之间提供了最佳的权衡。 4 姿态估计 姿态估计涉及在给定相机内参数和一组已知3D点及其图像投影之间的n个对应点的情况下确定相机的位置和方向。这个问题也称为Perspective-n-PointPnP问题由于其在各种领域的广泛应用受到了广泛关注。PnP通常使用非迭代方法解决这些方法涉及小型、固定大小的3D-2D对应点集。例如三元组的基本情况P3P最早在[4]中研究而其他解决方案后来在[2,8]中提出。P3P被认为最多允许四个不同的解决方案但在实际操作中通常只有两个。因此实践中使用第四个点来进行消歧。PnP的最小解决方案在鲁棒估计框架中尤为重要因为每个随机样本的基数直接关系到需要抽取的样本总数以便找到具有可接受置信度的解决方案。另一方面由于无法结合超过最小数量的对应点最小解决方案忽略了数据中存在的大量冗余因此精度较低。这通过非线性细化得到补救如下所述。 4.1 单目鲁棒姿态估计与非线性细化 本节详细描述了我们在单个图像中进行姿态估计的方法。从一组2D-3D点对应开始首先计算初步姿态估计然后进行迭代细化。这通过将P3P求解器嵌入RANSAC [2]框架中来实现RANSAC使用MSAC重新下降成本函数进行假设评分。应用于姿态估计问题RANSAC重复抽取随机的四元组点使用P3P求解器的一个三元组和第四个点进行验证以获得姿态估计。保留得分最高的姿态假设作为RANSAC的结果并用于将对应点分类为内点和外点。通过最小化所有内点的重投影误差使用RANSAC计算的姿态接下来进行细化以考虑到超过三个对应点。由于涉及非线性目标函数该最小化通过Levenberg-MarquardtL-M算法迭代进行如下所述。 用K表示3×3的内参数校准矩阵n个对应的3D-2D点表示为Mi和mi用RANSAC计算的姿态通过使用它作为起点来最小化累积图像重投影误差 其中t和R®分别是所求的平移和旋转矩阵参数化使用Rodrigues旋转向量rK · [R® | t] · Mi是齐次点Mi在图像上的预测投影d(x, y)表示重投影误差即由向量x和y表示的图像点之间的欧几里得距离。L-M所需的雅可比矩阵通过符号微分提供。 通过使用M估计器可以使1中的最小化更加抗噪这些噪声由定位错误的图像点引起。前者将残差的平方误差替换为对称的鲁棒成本函数ρ()它的增长速度比平方增长慢并/或对残差误差过大的点进行降权。为了确保ρ()在零处具有唯一的最小值通常选择它为凸函数。然而非凸成本函数在抑制大误差影响方面更有效但不能保证最小值的唯一性。一个有效的策略是以凸成本函数开始过程迭代直到收敛然后应用一些非凸成本函数的迭代以消除大误差的影响。无论所选成本函数的具体形式如何必须强调M估计对由于定位错误引起的离群点具有鲁棒性但对错误匹配即应由其他技术如RANSAC在M估计之前过滤掉的重大错误没有鲁棒性。在我们的工作中M估计应用于姿态细化分为两个阶段。第一阶段采用Fair凸成本函数第二阶段采用Tukey双重加权来抑制离群点。 4.2 姿态细化的全局优化 (1)中的目标函数问题在于它是多模态的。因此从距离真实最小值相对较远的位置开始的非线性细化可能陷入局部最小值而不是收敛到真实姿态。为了解决多重最小值问题我们研究了将全局优化方法应用于姿态估计的情况。处理全局优化问题的一种流行策略是采用多启动程序通过在多个不同点开始的局部优化算法来探索可行区域。更具体地说多启动算法从可行区域中选择有限的样本起点。在每个这些点启动的局部搜索产生一组局部最优点最好的那个被声明为可行区域内的全局最优点。多启动算法可以选择各种局部搜索算法。由于局部搜索是相对昂贵的操作多启动方法寻求最小化执行的局部搜索次数。通过将位于同一局部最优点吸引区内的样本点进行聚类来实现这一目标。因此对同一聚类内的所有点只需进行一次局部搜索从而为多启动方案节省大量计算成本。在各种可用的聚类方法中多层单链接MLSL算法【7】是最好的之一包含有效的机制来确定何时链接样本点以及何时终止。SobolOpt【9】是MLSL的一种高效变体它借助Sobol序列选择起点这些序列是伪随机的低差异序列保证样本的良好空间分布。在这项工作中我们将SobolOpt应用于姿态细化使用L-M算法作为其局部搜索方法。结果使得姿态估计能够逃离局部最小值并收敛到正确的姿态而这一点通过简单的L-M算法是无法实现的。 4.3 双目姿态细化 如4.1节所述使用单个相机进行姿态估计。为了以较少的额外开销提高精度可以使用第二个视点并通过结合两幅图像中的重投影误差来扩展估计到双目情况。更具体地说假设有两个校准好的相机每幅图像都按照4.1节中的方法进行单目姿态估计。一个相机例如右的物体姿态可以通过外部立体校准参数与另一个相机即左的物体姿态关联起来。事实上如果物体在左相机中的姿态由R和t定义其在右相机中的姿态等于RsR和Rst ts其中Rs和ts对应于右相机相对于左相机的姿态。假设刚性立体装置Rs和ts保持不变并可以通过外部校准离线估计。双目重投影误差包括两个加法项每个图像一个。用KL和KR分别表示左图像和右图像的内参数对于左图像中n个对应的2D-3D点和右图像中的m个点双目重投影误差定义为 其中t和R®是所求的平移和旋转KL · [R® | t] · Mi是左图像中齐次点Mi的投影KR · [RsR® | Rst ts] · Mj是右图像中齐次点Mj的投影mL_i和mR_j分别是左图像和右图像中对应于Mi和Mj的2D点。需要注意的是2避免了通过三角测量重建点的误差问题并且不限制两个视图的基线也不需要稀疏特征或3D点匹配。同样地最小化的是重投影误差的M估计而不是其平方欧几里得范数。最小化2只使用两个单目估计的内点并可以从左相机计算的单目姿态开始。由于假设已经非常接近真实最小值因此不必应用4.2节的全局优化方案。然而这种初始化并没有对图像进行对称处理因为它更重视左图像。因此如果左摄像头的姿态有误双目优化也有可能收敛到次优解。为了解决这个问题扩展了优化方案使用右图像作为参考并结合两个摄像头的图像进行姿态优化假设从左摄像头到右摄像头的变换是恒定的。然后选择整体双目重投影误差较小的姿态作为最准确的姿态。

1. 对象检测与识别 假设我们有一组对应于已知对象的模型和一个高度校准的双目摄像系统。从每张图像中独立提取SIFT特征及其对应的描述符。为了提高效率可以选择只在图像的某些感兴趣区域ROI内进行特征检测。这些区域是为了引导系统关注对象可能出现的位置不需要非常准确也不需要与图像中实际包含的对象一一对应。在本研究中ROI由基于颜色的前景提取过程确定【20】。然后将SIFT描述符与模型的描述符进行匹配以建立假定的对应关系。对于每个产生足够多此类对应关系的模型都会形成一个关于该对象在图像中存在的假设。利用匹配模型点的3D坐标来估计对象的姿态并验证模型是否能够以足够的置信度解释观察到的特征排列从而对这些假设进行测试。置信度通过考虑支持假设的姿态估计内点的比例(cp)和数量(cn)来量化认为当cp 90%且cn 40时对象存在于图像中。这个过程的一个副产品是对每个检测到的对象的姿态估计。 对图像中的所有假设进行评估可以识别出其中的所有对象。由于彼此独立每个假设的评估在我们的实现中与其他假设并行运行使用不同的CPU核心。将上述过程应用于每张图像会生成两个集合SL和SR分别包含在每个图像中发现的对象。为了提高准确性系统会尝试对SL和SR交集中对象使用双摄像头进行姿态估计使用第4.3节的方法。对于只在一张图像中发现的剩余对象则使用它们的单目姿态。 6 实验 略