合肥网站开发网络公司建设银行 公户 该网站使用过期的

当前位置： 首页 > news >正文

合肥网站开发网络公司,建设银行 公户 该网站使用过期的,中国城乡与建设部网站,dw网页设计教程视频Linux 系统是如何收发⽹络包的#xff1f; ⽹络模型 为了使得多种设备能通过⽹络相互通信#xff0c;和为了解决各种不同设备在⽹络互联中的兼容性问题#xff0c;国际标准化组织制定了开放式系统互联通信参考模型#xff08;Open System Interconnection Reference Mode…Linux 系统是如何收发⽹络包的 ⽹络模型 为了使得多种设备能通过⽹络相互通信和为了解决各种不同设备在⽹络互联中的兼容性问题国际标准化组织制定了开放式系统互联通信参考模型Open System Interconnection Reference Model也就是 OSI ⽹络模型该模型主要有 7 层分别是应⽤层、表示层、 会话层、传输层、⽹络层、数据链路层以及物理层。 OSI模型分析 OSIOpen Systems Interconnection模型是一个理论上的网络通信模型由国际标准化组织ISO提出目的是促进不同系统之间的通信标准化。它将网络通信分成了七个层次 物理层Physical Layer负责通过物理媒体传输原始比特流。这涉及到数据接口、传输媒介如电缆、光纤和信号。数据链路层Data Link Layer在物理层提供的服务上增加了数据帧的封装、物理地址寻址、流量控制等功能。网络层Network Layer负责数据包的路由选择、传输和分片以确保数据可以跨越不同的网络。传输层Transport Layer提供端到端的通信服务包括数据的分段、传输控制如TCP的可靠传输和错误检测。会话层Session Layer管理应用程序之间的会话包括会话的建立、维持和终止。表示层Presentation Layer确保信息的语义以及它的格式在不同系统间能正确交换例如加密、压缩和数据格式转换。应用层Application Layer为最终用户提供网络服务接口如HTTP、FTP和电子邮件服务。 OSI模型的优点在于它提供了一个清晰的网络通信分层框架有助于不同网络技术和协议的开发和标准化。但在实践中由于其复杂性和理论性它并没有被广泛直接实现。 TCP/IP模型分析 TCP/IP模型是一种更实际、基于实际网络协议栈的网络通信模型它简化了OSI模型的七层为四层 应用层Application Layer相当于OSI模型的应用层、表示层和会话层提供各种网络服务给终端用户如HTTP、FTP、DNS等。传输层Transport Layer与OSI模型的传输层类似主要用于提供端到端的通信控制主要协议有TCP提供可靠的字节流服务和UDP提供无连接的数据报服务。网络层Network Layer负责数据包的路由选择和传输主要协议是IPInternet Protocol。网络接口层Network Interface Layer相当于OSI模型的物理层和数据链路层负责数据的物理传输。 TCP/IP模型由于其简化的层次结构和实用性成为了互联网的基础协议栈得到了广泛的应用和发展。 不过我们常说的七层和四层负载均衡是⽤ OSI ⽹络模型来描述的七层对应的是应⽤ 层四层对应的是传输层。 四层负载均衡适合对速度和低延迟有高要求的场景但它无法进行复杂的决策。七层负载均衡适用于需要根据具体应用逻辑进行智能路由的场景尽管它可能比四层负载均衡处理速度慢一些。 Linux ⽹络协议栈 我们可以把⾃⼰的身体⽐作应⽤层中的数据打底⾐服⽐作传输层中的 TCP 头外套⽐作⽹络层中 IP 头帽⼦和鞋⼦分别⽐作⽹络接⼝层的帧头和帧尾。 在冬天这个季节当我们要从家⾥出去玩的时候⾃然要先穿个打底⾐服再套上保暖外套最后穿上帽⼦和鞋⼦才出⻔这个过程就好像我们把 TCP 协议通信的⽹络包发出去的时候会把应⽤层的数据按照⽹络协议栈层层封装和处理。 你从下⾯这张图可以看到应⽤层数据在每⼀层的封装格式。 数据包的封装过程 应用层到传输层当数据从应用层发送时传输层如TCP或UDP会给数据包添加一个头部这个头部包括端口号用于标识发送和接收应用程序、序列号仅TCP用于确保数据的有序和完整性、确认号仅TCP用于确认接收、以及其他控制信息如窗口大小、校验和等。传输层到网络层网络层通常是IP层再给这个已经有了传输层头部的数据包添加它自己的头部这个IP头部包括源IP地址和目的IP地址用于在网络中路由数据包以及其他控制信息如生存时间TTL、协议类型等。网络层到网络接口层最后在网络接口层数据链路层和物理层的组合数据包被进一步封装加上了帧头和帧尾这包括物理地址信息MAC地址、错误检测和校正码等。这个过程准备数据包在物理媒介上的传输如以太网或Wi-Fi。 最大传输单元MTU和分片 MTU是网络层面上可以传输的最大数据包大小。对于以太网标准MTU大小通常是1500字节。如果一个IP数据包的大小超过了网络路径上的MTU那么这个数据包就需要在网络层进行分片以确保每个片段都不会超过MTU大小。分片的过程增加了额外的头部信息因为每个片段都需要被独立地封装为有效的IP数据包并且可能导致接收端需要重组这些片段这一切都会引入额外的处理延迟。 对网络性能的影响 增加开销每层添加的头部信息增加了总的传输数据量。尽管这些协议头是必要的它们占用了传输中的带宽特别是当传输的有效负载较小时这种开销比例会变得更大。分片的处理当数据包需要分片时这不仅增加了传输的总字节数因为每个片段都有自己的IP头部还可能在接收端造成额外的重组开销。此外如果任何一个片段在传输过程中丢失整个数据包可能都需要重新发送从而降低了网络的效率。网络吞吐能力理论上较大的MTU可以提高网络的吞吐能力因为它减少了因为分片所必需的开销和处理时间。然而在实际环境中最优的MTU大小还要考虑网络的特定条件如链路类型、存在的干扰、以及网络拥塞情况。 知道了 TCP/IP ⽹络模型以及⽹络包的封装原理后Linux网络协议栈是一个实现了TCP/IP四层模型的复杂系统负责处理从应用程序到物理网络媒介的所有数据传输。在Linux中这个过程涉及多个组件和层次每一层都有其特定的功能和责任。下面是对Linux网络协议栈的一般分析 应用层与Socket层的交互 应用程序与Socket层应用程序通过系统调用与Socket层进行交互。Socket API提供了一组函数允许应用程序创建套接字socket这些套接字用于发送和接收数据。在应用层开发人员不需要关心数据是如何在网络中传输的他们只需要使用标准的Socket接口比如send()和recv()函数以及更高级的API如HTTP库或数据库连接库这些库在内部使用Socket进行通信。 Linux网络协议栈的核心层 传输层位于Socket层之下主要处理端到端的数据传输包括TCP和UDP协议的实现。TCP负责提供可靠的、有序的和基于字节流的连接而UDP提供了一个简单的、不可靠的消息传递服务。网络层负责数据包的路由和寻址。在这一层IP协议是核心它负责将数据包从源主机传输到目的主机无论它们在网络中的位置如何。IP层也处理数据包分片和重组以及错误报告通过ICMP。网络接口层这一层包括数据链路层和物理层的功能负责数据包的实际传输。在Linux中这通常意味着与网络设备驱动程序的交互网络设备驱动程序负责将数据包发送到物理媒体例如以太网上以及从物理媒体接收数据包。 网卡驱动程序和硬件网卡设备 网卡驱动程序和硬件网卡这是Linux网络协议栈的最底层。网卡驱动程序负责与硬件网卡设备通信执行如初始化设备、处理中断、发送和接收数据包等操作。硬件网卡是物理设备负责电信号的发送和接收。 Linux 接收⽹络包的流程 Linux系统接收网络包的流程是一个精心设计的机制旨在有效管理网络流量和CPU资源。这个流程利用了硬件网卡和软件操作系统内核之间的协作确保在高性能网络环境下系统能够高效地处理大量网络数据包而不会过度占用CPU资源。以下是对该流程的详细分析 网络包的接收 网卡接收网络包当网卡接收到一个网络包时它使用直接内存访问DMA技术将网络包直接写入到预先分配的内存区域通常是一个环形缓冲区Ring Buffer。这个过程不需要CPU的直接干预提高了数据传输的效率。中断触发接收到网络包后网卡会触发一个硬件中断通知CPU有新的数据到达。在传统的处理机制中每接收一个网络包就会触发一次中断这在网络流量较低时是可行的但在高流量环境下会导致大量的中断严重影响系统性能。 NAPINew API机制 为了解决上述问题Linux内核引入了NAPI机制它是一种混合使用中断和轮询的方法来处理网络数据包的接收。NAPI的工作流程如下 初次中断当第一个网络包到达并通过DMA写入内存后网卡会触发一个硬件中断。中断处理函数CPU响应硬件中断并执行注册的中断处理函数。这个函数的首要任务是暂时禁用进一步的中断。这意味着在这个阶段即使有新的网络包到达也不会触发新的硬件中断。启用软中断中断处理函数随后会触发一个软中断或者称为“下半部”处理并重新启用硬件中断。软中断负责实际的数据包处理工作如从环形缓冲区中读取数据包并进行进一步处理。轮询模式在软中断处理期间系统进入轮询模式这时系统会主动检查环形缓冲区中是否有新的数据包到达而不是依赖硬件中断。这种方式显著减少了中断的次数降低了CPU的负载。恢复中断模式当环形缓冲区中没有更多的数据包需要处理时系统会退出轮询模式并恢复到正常的中断驱动模式。这样下一个到达的网络包会再次触发硬件中断重启整个流程。 效率提升 通过NAPI机制Linux能够在保持高吞吐量的同时显著减少CPU的中断负载。在高性能网络环境中这种机制可以有效地平衡网络包处理速度和系统资源使用提高了系统的整体性能和稳定性。NAPI通过减少在高流量情况下不必要的中断使CPU可以更好地执行其他任务从而优化了多任务处理环境下的资源分配。 ksoftirqd线程处理软中断 ksoftirqd线程Linux内核中的ksoftirqd线程负责处理软中断。每个CPU都有一个对应的ksoftirqd线程。当网络流量较高时软中断处理会从硬件中断上下文转移到这些线程中以减少硬件中断处理对系统性能的影响。数据处理ksoftirqd线程会轮询处理环形缓冲区Ring Buffer中的数据。这些数据以数据帧的形式存储通常使用sk_buffsocket buffer结构来表示它是一个关键的数据结构用于在Linux网络栈中传递网络包。 网络协议栈处理 网络接口层处理开始于网络接口层这里会进行报文的基本检查如合法性检查。对于合法的报文根据帧头信息确定上层协议类型例如IPv4或IPv6然后移除帧头和帧尾将剩余内容传递到网络层。网络层在网络层IP包被进一步处理。这一层负责判断网络包的目的地是直接上交给上层处理如TCP或UDP处理还是需要路由转发。传输层到达传输层时会根据IP头中指定的协议TCP或UDP去掉IP头再根据包头信息如TCP头或UDP头处理数据。此层利用源IP、源端口、目标IP和目标端口这四元组唯一标识找到对应的Socket并将数据放入Socket的接收缓冲区。应用层应用层程序通过调用Socket API如recv()将数据从内核的Socket接收缓冲区拷贝到应用层的缓冲区并处理数据。完成这一步骤后数据包的接收过程就结束了。 ⾄此⼀个⽹络包的接收过程就已经结束了你也可以从下图左边部分看到⽹络包接收的流 程右边部分刚好反过来它是⽹络包发送的流程。 Linux 发送⽹络包的流程 Linux发送网络包的过程是一个从应用层数据到物理传输的完整路径涉及数据在协议栈各层的处理和转换。这个过程确保了数据按照TCP/IP模型的要求被正确封装、路由、发送最后通过物理网络到达目标。下面是对这个过程的分析

1. 应用层到内核态的数据传输 Socket发送数据包接口应用程序通过调用Socket API如send或write函数发起数据传输请求。这个操作会使得进程从用户态陷入到内核态。 sk_buff结构体内核为了处理这些待发送的数据会申请一个sk_buffsocket buffer结构体的内存空间这个结构是Linux网络子系统中一个关键的数据结构用于在内核中表示网络数据包。应用层的数据会被拷贝到这个sk_buff中并加入到发送缓冲区。
   
2. 网络协议栈处理 TCP/IP协议栈处理从Socket发送缓冲区中取出sk_buff后数据包会按照TCP/IP协议栈从上到下逐层进行处理。 TCP传输与sk_buff副本如果是TCP传输因为TCP支持数据的丢失重传所以会创建一个sk_buff的副本。原始sk_buff用于实际发送而副本在收到对方的ACK确认前用于可能的重传。
   
3. 数据包的封装 填充协议头在向下传递的过程中每一层都会向sk_buff中添加相应的协议头如TCP头、IP头和以太网帧头。这⾥提⼀下sk_buff 可以表示各个层的数据包在应⽤层数据包叫 data在 TCP 层我们称为 segment在 IP 层我们叫 packet在数据链路层称为frame。 sk_buff指针调整通过调整sk_buff中的data指针的方法避免了在层与层之间传递数据时发生的多次拷贝提高了CPU效率。 当接收报⽂时从⽹卡驱动开始通过协议栈层层往上传送数据报通过增加 skb-data 的值来逐步剥离协议⾸部。 当要发送报⽂时创建 sk_buff 结构体数据缓存区的头部预留⾜够的空间⽤来填充各 层⾸部在经过各下层协议时通过减少 skb-data 的值来增加协议⾸部。
   
4. 数据发送准备 网络层处理在网络层会进行路由选择确认下⼀跳的 IP、IP头填充、netfilter过滤、对大于MTU的数据包进行分片等处理。 网络接口层处理在这一层会通过ARP协议确定下一跳的MAC地址并填充帧头帧尾将sk_buff放入网卡的发送队列。
   
5. 数据包的物理发送 触发软中断软中断被触发来通知网卡驱动程序有新的网络包待发送。 网卡驱动处理网卡驱动从发送队列中读取sk_buff将数据映射到网卡的DMA区域并触发物理发送。
   
6. 发送完成与内存清理 发送完成中断数据发送完成后网卡设备会触发一个硬件中断来通知CPU主要任务是释放sk_buff内存和清理环形缓冲区。 确认ACK与释放资源对于TCP传输一旦收到对方的ACK确认传输层就会释放掉原始的sk_buff副本。
   这个过程展现了Linux内核如何高效、有序地处理网络数据包的发送从应用层数据的准备到最终的物理传输每一步都经过精心设计确保数据的正确传输和系统资源的有效利用。 发送⽹络数据的时候涉及⼏次内存拷⻉操作 从用户空间到内核空间的拷贝
   当应用程序调用发送数据的系统调用如send或write时数据需要从用户空间传输到内核空间。此时内核会为这些待发送的数据申请一个sk_buff结构体的内存并将用户空间的数据拷贝到这个sk_buff内存中。这个sk_buff随后被加入到发送缓冲区。这是第一次内存拷贝操作。 TCP协议的sk_buff克隆
   对于使用TCP传输协议的情况为了实现TCP的可靠传输即支持数据的重传机制在从传输层向网络层转发数据时会克隆一个新的sk_buff副本。这个副本是实际被发送到网络层的而原始的sk_buff保留在传输层用于在需要时重新发送数据如未收到对方的ACK确认。这个副本在发送完成后会被释放而原始的sk_buff在收到对方的ACK确认后才会被释放。这是第二次内存拷贝操作。 处理大于MTU的sk_buff
   当网络层发现一个sk_buff的大小超过了MTU最大传输单元时会进行分片处理。这意味着原始的sk_buff会被分割成多个小的sk_buff每个都小于或等于MTU的大小。为了分片内核会为每个片段申请新的sk_buff内存并将原始sk_buff的相应部分数据拷贝到这些新的sk_buff中。这是第三次内存拷贝操作。 因此在发送网络数据的过程中涉及到的内存拷贝操作主要有三次一次是从用户空间到内核空间的拷贝第二次是TCP协议的sk_buff克隆操作第三次是处理超过MTU大小需要分片的情况。需要注意的是第三次拷贝操作只在原始sk_buff大于MTU时才会发生。这些内存拷贝操作确保了数据的正确处理和传输同时支持了TCP的可靠传输机制。