当前位置： 首页 > news >正文

济南市建设执业资格注册中心网站,智慧团建密码忘记了怎么办,平台网站建设ppt模板,网易企业邮箱怎么发送文件论文地址#xff1a;官方论文地址 代码地址#xff1a;该代码目前还未开源#xff0c;我根据论文内容进行了复现内容在文章末尾。 一、本文介绍 本文内容给大家带来的DWRSeg中的DWR模块来改进YOLOv8中的C2f和Bottleneck模块#xff0c;主要针对的是小目标检测#xff0c…论文地址官方论文地址 代码地址该代码目前还未开源我根据论文内容进行了复现内容在文章末尾。 一、本文介绍 本文内容给大家带来的DWRSeg中的DWR模块来改进YOLOv8中的C2f和Bottleneck模块主要针对的是小目标检测主要创新点可以总结如下多尺度特征提取机制的深入研究和创新的DWR模块和SIR模块的提出这种方法使得网络能够更灵活地适应不同尺度的特征从而更准确地识别和分割图像中的物体。 通过本文你能够了解到DWRSeg的基本原理和框架并且能够在你自己的网络结构中进行添加(DWRSeg需要增加一定的计算量一个DWR模块大概增加0.4GFLOPs)。 专栏回顾YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备  实验效果对比- 因为资源有限我发的文章都要做对比实验所以本次实验我只用了一百张图片检测的是火灾训练了一百个epoch该结果只能展示出该机制有效但是并不能产生决定性结果因为具体的效果还要看你的数据集和实验环境所影响(这次找的数据集质量好像不太好效果波动很大)。  目录 一、本文介绍 二、DWRSeg的原理介绍 2.1 DWRSeg的主要思想  2.2 多尺度特征提取机制的深入研究 2.3 创新的DWR模块和SIR模块的提出 三、DWR模块代码 3.1 DWR模块复现代码 3.2 修改了DWR模块的C2f和Bottleneck模块  四、手把手教你添加DWR和C2f_DWR模块 4.1 DWR的添加教程 4.2 DWR的yaml文件和训练截图 4.2.1 DWR的yaml文件 4.2.2 DWR的训练过程截图  五、DWR可添加的位置 5.1 推荐DWR可添加的位置  5.2图示DWR可添加的位置  六、本文总结 二、DWRSeg的原理介绍 2.1 DWRSeg的主要思想  DWRSeg的主要创新点可以总结如下 多尺度特征提取机制的深入研究利用深度分离扩张卷积进行多尺度特征提取并设计了一种高效的两步残差特征提取方法区域残差化 – 语义残差化。这种方法显著提高了实时语义分割中捕获多尺度信息的效率。 创新的DWR模块和SIR模块的提出提出了一个新颖的DWR扩张残差模块和SIR简单反向残差模块。这些模块具有精心设计的接收场大小分别用于网络的上层和下层。 DWRSeg网络在实时语义分割领域取得了一定的效果(从论文的结果来看下图)特别是在提高处理速度和减轻模型负担的方面。 2.2 多尺度特征提取机制的深入研究 利用深度分离扩张卷积进行多尺度特征提取。主要内容可以总结如下 两步残差特征提取方法该方法包括区域残差化Region Residualization和语义残差化Semantic Residualization旨在提高实时语义分割中多尺度信息捕获的效率​​。 区域残差化这一步骤中首先将区域特征图分成几组然后对这些组进行不同速率的深度分离扩张卷积。这样做可以智慧地根据第二步中的接收场大小来学习特征图以反向匹配接收场​​。 语义残差化在这一步中仅使用一个具有期望接收场的深度分离扩张卷积对每个简洁的区域形式特征图进行基于语义的形态学过滤。这改变了多速率深度分离扩张卷积在特征提取中的角色从尝试获取尽可能多的复杂语义信息转变为对每个简洁表达的特征图进行简单的形态学过滤​​。 精细化的扩张率和容量设计为了充分利用每个网络阶段可以实现的不同区域大小的特征图需要精心设计扩张率和深度分离卷积的容量以匹配每个网络阶段的不同接收场要求​​。
通过这种多尺度特征提取机制的深入研究和创新设计论文提高了实时语义分割任务中多尺度信息捕获的效率(第一小节的图片)。 2.3 创新的DWR模块和SIR模块的提出 提出的DWR模块和SIR模块的创新点如下 DWRDilation-wise Residual模块(本文复现的就是这个DWR模块) 应用场景DWR模块主要应用于网络的高阶段采用设计的两步特征提取方法​​。特征提取该模块利用两步残差特征提取方法区域残差化 – 语义残差化有效提高实时语义分割中多尺度信息捕获的效率。接收场大小设计DWR模块针对网络的上层设计了精细化的接收场大小。 SIRSimple Inverted Residual模块 应用场景SIR模块专门为网络的低阶段设计以满足小接收场的需求保持高效的特征提取效率​​。结构调整 移除了多分支扩张卷积结构仅保留第一分支以压缩接收场。移除了对提取效果贡献较小的3x3深度分离卷积语义残差化因为输入特征图的大尺寸和弱语义使得单通道卷积收集的信息太少。因此在低阶段单步特征提取比两步特征提取更高效。 总结这两个模块的设计改进对于提高实时语义分割网络的性能至关重要高效处理多尺度上下文信息的能力方面。 三、DWR模块代码 3.1 DWR模块复现代码 使用方法请看章节四 import torch import torch.nn as nnclass Conv(nn.Module):# 包含BN和ReLUdef init(self, in_channels, out_channels, kernel_size, stride1, padding0, dilation1, groups1, biasTrue):super(Conv, self).init()self.conv nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding, dilation, groups, bias)self.bn nn.BatchNorm2d(out_channels)self.relu nn.ReLU(inplaceTrue)def forward(self, x):x self.conv(x)x self.bn(x)x self.relu(x)return xclass DWR(nn.Module):def init(self, c) - None:super().init()self.conv_3x3 Conv(c, c, 3, padding1)self.conv_3x3_d1 Conv(c, c, 3, padding1, dilation1)self.conv_3x3_d3 Conv(c, c, 3, padding3, dilation3)self.conv_3x3_d5 Conv(c, c, 3, padding5, dilation5)self.conv1x1 Conv(c * 3, c, 1)def forward(self, x):x self.conv_3x3(x)x1 self.conv_3x3d1(x)x2 self.conv_3x3d3(x)x3 self.conv_3x3d5(x)x_out torch.cat([x1, x2, x3], dim1)x_out self.conv_1x1(x_out) xreturn x_out3.2 修改了DWR模块的C2f和Bottleneck模块  使用方法请看章节四 class BottleneckDWRSeg(nn.Module):Standard bottleneck.def init(self, c1, c2, shortcutTrue, g1, k(3, 3), e0.5):Initializes a bottleneck module with given input/output channels, shortcut option, group, kernels, andexpansion.super().init()c int(c2 * e) # hidden channelsself.cv1 Conv(c1, c_, k[0], 1)self.cv2 DWRSegConv(c, c2, k[1], 1, groupsg)self.add shortcut and c1 c2def forward(self, x):forward() applies the YOLO FPN to input data.return x self.cv2(self.cv1(x)) if self.add else self.cv2(self.cv1(x))class C2f_DWRSeg(nn.Module):Faster Implementation of CSP Bottleneck with 2 convolutions.def init(self, c1, c2, n1, shortcutFalse, g1, e0.5):Initialize CSP bottleneck layer with two convolutions with arguments ch_in, ch_out, number, shortcut, groups,expansion.super().init()self.c int(c2 * e) # hidden channelsself.cv1 Conv(c1, 2 * self.c, 1, 1)self.cv2 Conv((2 n) * self.c, c2, 1) # optional actFReLU(c2)self.m nn.ModuleList(Bottleneck_DWRSeg(self.c, self.c, shortcut, g, k((3, 3), (3, 3)), e1.0) for _ in range(n))def forward(self, x):Forward pass through C2f layer.y list(self.cv1(x).chunk(2, 1))y.extend(m(y[-1]) for m in self.m)return self.cv2(torch.cat(y, 1))def forward_split(self, x):Forward pass using split() instead of chunk().y list(self.cv1(x).split((self.c, self.c), 1))y.extend(m(y[-1]) for m in self.m)return self.cv2(torch.cat(y, 1)) 四、手把手教你添加DWR和C2f_DWR模块 4.1 DWR的添加教程 添加教程这里不再重复介绍、因为专栏内容有许多添加过程又需要截特别图片会导致文章大家读者也不通顺如果你已经会添加注意力机制了可以跳过本章节如果你还不会大家可以看我下面的文章里面详细的介绍了拿到一个任意机制(C2f、Conv、Bottleneck、Loss、DetectHead)如何添加到你的网络结构中去。 这个卷积也可以放在C2f和Bottleneck中进行使用可以即插即用个人觉得放在Bottleneck中效果比较好。 添加教程-YOLOv8改进 | 如何在网络结构中添加注意力机制、C2f、卷积、Neck、检测头 4.2 DWR的yaml文件和训练截图 4.2.1 DWR的yaml文件 下面的配置文件我修改的地址。 # Ultralytics YOLO , AGPL-3.0 license

YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters

nc: 80 # number of classes scales: # model compound scaling constants, i.e. modelyolov8n.yaml will call yolov8.yaml with scale n# [depth, width, max_channels]n: [0.33, 0.25, 1024] # YOLOv8n summary: 225 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPss: [0.33, 0.50, 1024] # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPsm: [0.67, 0.75, 768] # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPsl: [1.00, 1.00, 512] # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512] # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]] # 9# YOLOv8.0n head head:- [-1, 1, nn.Upsample, [None, 2, nearest]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 3, C2f, [512]] # 12- [-1, 1, nn.Upsample, [None, 2, nearest]]- [[-1, 4], 1, Concat, [1]] # cat backbone P3- [-1, 3, C2f_DWRSeg, [256]] # 15 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]] # cat head P4- [-1, 3, C2f_DWRSeg, [512]] # 18 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]] # cat head P5- [-1, 3, C2f_DWRSeg, [1024]] # 21 (P5/32-large)- [[15, 18, 21], 1, Detect, [nc]] # Detect(P3, P4, P5)4.2.2 DWR的训练过程截图  下面是添加了DWR的训练截图。 下面的是将DWR机制添加到了C2f和Bottleneck。 ​ 五、DWR可添加的位置 5.1 推荐DWR可添加的位置  DWR是一种即插即用的模块其可以添加的位置有很多添加的位置不同效果也不同所以我下面推荐几个添加的位置大家可以进行参考当然不一定要按照我推荐的地方添加。 残差连接中在残差网络的残差连接中加入DWR Neck部分YOLOv8的Neck部分负责特征融合这里添加修改后的C2f_DWR可以帮助模型更有效地融合不同层次的特征。 检测头中的卷积在最终的输出层前加入DWR可以使模型在做出最终预测之前更加集中注意力于最关键的特征。 文字大家可能看我描述不太懂大家可以看下面的网络结构图中我进行了标注。 5.2图示DWR可添加的位置  ​​ 六、本文总结 到此本文的正式分享内容就结束了在这里给大家推荐我的YOLOv8改进有效涨点专栏本专栏目前为新开的平均质量分98分后期我会根据各种最新的前沿顶会进行论文复现也会对一些老的改进机制进行补充目前本专栏免费阅读(暂时大家尽早关注不迷路)如果大家觉得本文帮助到你了订阅本专栏关注后续更多的更新 专栏回顾YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备 ​