电商网站建设成本外贸网站模版

当前位置： 首页 > news >正文

电商网站建设成本,外贸网站模版,二维码生成短链接,学会建设网站必要性Authors: Haofei Xu, Juyong Zhang Link: https://arxiv.org/abs/2004.09548 Years: 2020 Credit Novelty and Question set up 主流的立体匹配模型的代价聚合操作主要用了3D卷积#xff0c;这部分操作的算力和内存消耗过大#xff0c;因此作者提出一种新的模型AANet#x… Authors: Haofei Xu, Juyong Zhang Link: https://arxiv.org/abs/2004.09548 Years: 2020 Credit Novelty and Question set up 主流的立体匹配模型的代价聚合操作主要用了3D卷积这部分操作的算力和内存消耗过大因此作者提出一种新的模型AANet旨在摒弃所有3D卷积操作。具体来说作者提出多分辨率代价体构建用基于稀疏采样点的尺度内聚合模块解决视差图的edge-fattening问题用跨尺度聚合模块处理弱纹理问题。Solutions and Details 总体架构 与流行的端到端立体匹配方法一样AANet同样包含四部分特征提取、构建代价体、代价聚合和输出视差图。在提取特征部分会输出multi-scale feature map分别对应不同stage的特征输出然后利用这不同尺寸的特征图分别构建各自尺寸的代价体。 作者在这构建的是相关性correlation代价体对第sss个stage的左视图特征FlsF^{s}{l}Fls​和右视图特征FrsF^{s}{r}Frs​计算视差ddd的相关度计算方式如下 Cs(d,h,w)1N⟨Fls(h,w),Frs(h,w−d)⟩C^{s}(d,h,w) \frac{1}{N}\langle F^{s}{l}(h,w),F^{s}{r}(h,w-d)\rangle Cs(d,h,w)N1​⟨Fls​(h,w),Frs​(h,w−d)⟩ 计算出来的代价体是三维的因为特征通道维度上已通过内积操作进行加和而消除掉了。 随后作者设计尺度内聚合模块ISA和跨尺度聚合模块CSA对代价体进行代价聚合并输出对应尺度的视差图。 尺度内聚合模块 作者关注到一个常见的问题在不连续视差中容易出现edge-fattening问题这个问题本质是常规卷积窗口在边缘时容易聚合了较大视差邻域的代价因此提出一个自适应的弹性稀疏采样方案即对特定的视差位置与它语义上关联度更高的位置进行聚合整体思路与deformable convolutionv2一致所以直接采用他们的实现 C(d,p)∑k1K2wk⋅C(d,ppkΔpk)⋅mk\tilde{C}(d,p)\sum_{k1}^{K^{2}}{wk}\cdot{C(d,pp{k}\Delta{p_k})}\cdot{m_k} C(d,p)k1∑K2​wk​⋅C(d,ppk​Δpk​)⋅mk​ 与原始deformable convolution稍有不同的是Δpk\Delta{p_k}Δpk​和mkm_kmk​是对所有channel共享的作者的实现是将视差等分成GGG组每一组使用单独的一套Δpk\Delta{p_k}Δpk​和mkmkmk​。 一个ISA模块即由3个conv和一个残差结构组合而成类似bottleneck的设计三层分别是1×1,3×3,1×1{1}\times{1},{3}\times{3},{1}\times{1}1×1,3×3,1×1卷积而其中的3×3{3}\times{3}3×3卷积即是deformable convolution但与bottleneck不一样的是作者这里三层采用的一样的channel数没有压缩通道和计算量。 跨尺度聚合模块 而立体匹配的另一个问题弱纹理匹配问题比较容易在粗颗粒度的代价体中找到纹理信息因此作者设计了一个跨尺度的聚合模块来解决此类问题。尺度sss的聚合结果可以表示为 C^s∑k1Sfk(C~k),s1,2,…,S\hat{C}^{s}\sum{k1}^{S}{f_k(\tilde{C}^{k})},s1,2,…,S C^sk1∑S​fk​(C~k),s1,2,…,S 这个设计的灵感来源HRNet的跨尺度特征聚合因此函数fkf_kfk​定义为 fk{I,ks(s−k)convs3×3,stride2,ksupsampling⊕conv1×1,ks\begin{equation} fk \begin{cases} \mathcal{I} \text{,ks} \ (s-k)convs{3\times{3},stride2} \text{,ks} \upsampling{\oplus}conv{1\times{1}} \text{,ks} \end{cases} \end{equation} fk​⎩⎨⎧​I(s−k)convs3×3,stride2​upsampling⊕conv1×1​​,ks,ks,ks​​​ 虽然与HRNet结构相似但设计的初衷和作用是不同的AANet主要为了聚合不同尺度下代价体蕴含的几何信息而HRNet是为了学习更丰富的特征。 AANet设计和损失函数设计 上述的ISACSA模块组成最终的AAModuleAdaptive Aggregation Module在AANet中作者采用了6个AAModule进行代价聚合头3个用了普通2d卷积后3个才用了deformable convolution。 在特征提取部分作者采用类似ResNet的结构将其中6个普通2d替换成deformable convolution。然后利用FPN结构分别提取出1/3x1/6x1/12x三个分辨率的特征图。最后利用StereoDRNet提出的refine模块来将1/3x视差图refine到原始输入尺寸。视差图的输出依然是用了softargmin来实现。 KITTI数据集提供的ground truth是稀疏深度因此作者利用GA-Net的估计视差图作为软标签Dpseudo(⋅)D{pseudo}(\cdot)Dpseudo​(⋅)。对每个分辨率输出的视差图首先双线性插值到原始尺寸然后计算损失 Li∑pV(p)⋅L(Dpredi(p),Dgt(p))(1−V(p))⋅L(Dpredi(p),Dpseudo(p))Li \sum{p}{V(p)\cdot{\mathcal{L}(D^{i}{pred}(p),D{gt}(p))}} (1-V(p))\cdot{\mathcal{L}(D^{i}{pred}(p), D{pseudo}{(p)})} Li​p∑​V(p)⋅L(Dpredi​(p),Dgt​(p))(1−V(p))⋅L(Dpredi​(p),Dpseudo​(p)) V(p)V(p)V(p)表示像素位置ppp上是否真实ground truthL\mathcal{L}L表示smooth L1。整个网络的损失则是各分辨率之间的加权平均数 L∑iλi⋅LiL \sumi{\lambda{i}}\cdot{L_i} Li∑​λi​⋅Li​
Results 作者在Sceneflow和KITTI-2012/2015数据集上进行验证和对比实验 首先对比两个提出的主要聚合模块的作用可以看出ISA和CSA都用上效果是最好的 可视化证明ISA的自适应能力在边界处时会选择临近但语义相似位置的特征而在弱纹理区域则倾向于搜索范围更广的区域 在各个使用3d卷积进行代价聚合的模型上使用AAModule进行替换精度-速度均衡会变得更好 与其他SOTA在Sceneflow上进行比较精度-速度均衡基本上能达到最佳AANet*是网络深度更深的改进版本 在KITTI-2012/2015上与其他SOTA比较精度依然能达到较好的水平
Thoughts 作者提出的AAModule包含了尺度内和跨尺度聚合模块针对对应的问题进行特定优化相对比较直观其中ISA使用了deformable convolution设计比较巧妙但在实际落地尤其是端侧上deformable convolution可能对硬件不太友好作者使用相关性构建代价体而非特征拼接因此可以直接使用2d卷积进行代价聚合在参数量和计算量上都有一定优势但引入了deformable convolution则一定程度上抵消了这个优势CSA模块仿照HRNet的操作设计也很巧妙但同样会面临计算并行度问题