当前位置： 首页 > news >正文

环保推广哪个网站好,河北最近发生了什么事,常见电子商务网站基本模式,免费咨询网站一、概述 Ftrace有剖析器和跟踪器。剖析器提供统计摘要#xff0c;如激素胡和直方图#xff1b;而跟踪器提供每一个事件的细节。 Ftrace剖析器列表#xff1a; 剖析器描述function内核函数统计分析kprobe profiler启用的kprobe计数器uprobe profiler启用的uprobe计数器hi…一、概述 Ftrace有剖析器和跟踪器。剖析器提供统计摘要如激素胡和直方图而跟踪器提供每一个事件的细节。 Ftrace剖析器列表 剖析器描述function内核函数统计分析kprobe profiler启用的kprobe计数器uprobe profiler启用的uprobe计数器hist trigger时间的自定义直方图 Ftrace事件跟踪器 跟踪器描述function内核函数调用跟踪器tracepoints内核静态检测时间跟踪器kprobes内核动态检测时间跟踪器uprobes用户级动态检测时间跟踪器function_graph内核函数跟踪通过自调用的层次图展示wakeup测量CPU调度最大延迟wakeup_rt测量实时RT任务的最大CPU调度延迟irqsoff用代码位置和延迟跟踪IRQ关闭时间中断禁用延迟preetmptoff跟踪有代码路径和延迟事件preetmptirgsoff一个结合了irqoff和preemptoff的跟踪器blk块IO跟踪器hwlat硬件延迟跟踪器可以检测外部扰动虚拟化导致的延迟mmiotrace跟踪一个模块对硬件的调用nop一个特殊的跟踪器可以禁用其他跟踪器通过下面的方法可以查看目前你的内核版本可用的ftrace跟踪器 rootjian:~# cat /sys/kernel/tracing/available_tracers hwlat blk mmiotrace function_graph wakeup_dl wakeup_rt wakeup function nop二、tracefs Ftrace最初是debugfs文件系统的一部分知道它被拆分成自己的tracefs。使用Ftrace功能的接口是tracefs文件系统它应该被挂载在/sys/kernel/tracing上。例如用过以下方式可以使用 mount -t tracefs tracefs /sys/kernel/tracing请注意如果tracefs 挂载失败可能是由于你的内核在构建时没有配置Ftrace选项CONFIG_FTRACE等。 一旦挂载了tracefs 可以从目录中看到控制文件和输出文件 rootjian:/sys/kernel/tracing# ls available_events max_graph_depth stack_max_size available_filter_functions options stack_trace available_tracers per_cpu stack_trace_filter buffer_percent printk_formats synthetic_events buffer_size_kb README timestamp_mode buffer_total_size_kb saved_cmdlines trace current_tracer saved_cmdlines_size trace_clock dynamic_events saved_tgids trace_marker dyn_ftrace_total_info set_event trace_marker_raw enabled_functions set_event_notrace_pid trace_options error_log set_event_pid trace_pipe events set_ftrace_filter trace_stat free_buffer set_ftrace_notrace tracing_cpumask function_profile_enabled set_ftrace_notrace_pid tracing_max_latency hwlat_detector set_ftrace_pid tracing_on instances set_graph_function tracing_thresh kprobe_events set_graph_notrace uprobe_events kprobe_profile snapshot uprobe_profile下面列表标明了关键文件和目录的作用 跟踪器读写描述available_events只读列出了当前内核中可用的跟踪事件available_filter_functions只读列出当前内核中可用于函数过滤的函数用于设置过滤器available_tracers只读列出了当前内核中可用的跟踪器buffer_size_kb读写查看和修改每个CPU缓冲区的大小buffer_total_size_kb只读查看内核跟踪缓冲区的总大小只读current_tracer读写显示出当前正在使用的跟踪器dynamic_events读写在运行时动态管理内核跟踪事件可以添加、移除或查看跟踪事件enabled_functions读写用于查看当前启用的函数跟踪事件error_log只读查看内核跟踪中的错误日志和警告信息。当进行内核跟踪时可能会发生一些问题或警告记录在此events/目录事件跟踪器的控制文件tracepoint、kprobe、uprobefree_buffer只写用于清空内核跟踪缓冲区释放已使用的跟踪数据。function_profile_enabled读写开启和关闭函数剖析器用于性能分析。0未启用1启用hwlat_detector/目录内核中的一个硬件延迟检测器的设置目录kprobe_events读写创建/追加/删除/显示内核动态事件kprobe_profile只读用于读取Kprobe事件的统计结果max_graph_depth读写用于设置函数图跟踪的最大深度options/目录用于设置和配置跟踪选项。该目录下包含了一系列的文件这些文件代表了不同的跟踪选项可以通过读写这些文件来启用、禁用或调整相应的跟踪功能和参数。per_cpu/目录在Linux内核中用于存储和管理每个CPU的跟踪信息set_event读写在这个文件中你可以为特定事件设置跟踪选项set_event_notrace_pid读写设置指定事件的不跟踪进程PIDset_event_pid读写在这个文件中你可以为特定事件设置跟踪的进程ID掩码set_ftrace_filter读写允许你设置一个过滤器只跟踪符合特定条件的事件。set_ftrace_notrace读写通过写入特定函数名到这个文件可以阻止这些函数被跟踪。set_ftrace_notrace_pid读写用于设置指定进程PID的Ftrace非跟踪。set_ftrace_pid读写用于设置需要进行Ftrace跟踪的进程PIDset_graph_function读写用于配置函数图跟踪允许你跟踪函数之间的调用关系set_graph_notrace读写通过写入特定函数名到这个文件可以阻止这些函数被图跟踪timestamp_mode只读用于设置事件跟踪的时间戳模式trace读写用于读取当前跟踪信息。trace_clock读写用于设置跟踪事件的时钟类型trace_options读写用于设置 Ftrace 的全局跟踪选项trace_pipe只读通过读取这个文件你可以获得连续的跟踪输出而无需轮询trace文件。trace_stat/目录函数剖析器的结果输出该目录下每一个文件记录着一个cputracing_cpumask读写设置 Ftrace 的 CPU 跟踪掩码即选择在哪些 CPU 上进行跟踪。tracing_max_latency读写用于设置 Ftrace 的最大跟踪延迟如果跟踪的延迟超过该值会被丢弃保持系统性能tracing_on读写控制内核跟踪是否启用tracing_thresh读写用于设置 Ftrace 的事件过滤阈值用于过滤那些执行时间短于该阈值的函数调用从而减少跟踪数据的量。uprobe_events读写创建/追加/删除/显示用户动态事件uprobe_profile只读用于读取uprobe事件的统计结果 option目录下文件介绍 选项描述annotate用于设置是否在跟踪时显示函数的注释信息。bin二进制文件用于设置跟踪选项。blk_cgname用于设置是否在块层级上跟踪 cgroup 名称。blk_cgroup用于设置是否跟踪块层级的 cgroup 信息。blk_classic用于设置是否使用经典的块跟踪方式。block用于设置是否跟踪块层级事件。context-info用于设置是否显示上下文信息。disable_on_free用于设置是否在释放内存时禁用跟踪。display-graph用于设置是否显示图形跟踪。event-fork用于设置是否在 fork 时跟踪事件。funcgraph-abstime用于设置函数图形跟踪的时间戳是否使用绝对时间。funcgraph-cpu用于设置函数图形跟踪的 CPU 属于哪个组。funcgraph-duration用于设置函数图形跟踪的显示时长。funcgraph-irqs用于设置是否跟踪中断服务例程。funcgraph-overhead用于设置是否显示函数图形跟踪的开销信息。funcgraph-overrun用于设置当跟踪缓冲区溢出时是否报告。funcgraph-proc用于设置是否在 /proc/pid/call_graph 文件中输出函数图形跟踪信息。funcgraph-tail用于设置函数图形跟踪的尾部显示。func-no-repeats用于设置是否在跟踪时避免函数重复跟踪。func_stack_trace用于设置是否在跟踪时显示函数调用栈信息。function-fork用于设置是否在 fork 时跟踪函数调用。function-trace用于设置是否跟踪指定的函数。graph-time用于设置显示函数图形跟踪时是否显示时间信息。hash-ptr用于设置是否显示哈希指针跟踪信息。hex用于设置是否显示十六进制跟踪信息。irq-info用于设置是否显示中断信息。latency-format用于设置跟踪延迟格式。markers用于设置是否启用内核标记跟踪。overwrite用于设置是否覆盖现有的跟踪缓冲区。pause-on-trace用于设置是否在跟踪时暂停运行。printk-msg-only用于设置是否只跟踪 printk 消息。print-parent用于设置是否显示父函数。raw用于设置是否显示原始跟踪信息。record-cmd用于设置记录跟踪信息的命令。record-tgid用于设置是否以线程组ID标识记录跟踪信息。sleep-time用于设置休眠时间。stacktrace用于设置是否显示堆栈跟踪。sym-addr用于设置符号地址的显示方式。sym-offset用于设置符号偏移的显示方式。sym-userobj用于设置是否显示用户定义的符号对象。test_nop_accept用于设置是否接受测试命令 nop。test_nop_refuse用于设置是否拒绝测试命令 nop。trace_printk用于设置是否启用 trace_printk() 输出。userstacktrace用于设置是否跟踪用户堆栈信息。verbose用于设置是否显示详细的跟踪信息。 Ftrace控制和输出文件都可以通过echo和cat来使用。这意味着ftrace的使用几乎没有外部的依赖。最初ftrace并不支持并发用户current_tracer文件一次只能被设置为一个跟踪器后来增加了对并发用户的支持形式是可以在instances目录中使用mkdir创建实例。每一个实例都有独立的current_tracer和输出文件这样子他就可以独立进行跟踪了。并发实例参考 rootjian:/sys/kernel/tracing/instances# mkdir foo rootjian:/sys/kernel/tracing/instances# cd foo/ rootjian:/sys/kernel/tracing/instances/foo# ls available_tracers set_event trace_clock buffer_percent set_event_notrace_pid trace_marker buffer_size_kb set_event_pid trace_marker_raw buffer_total_size_kb set_ftrace_filter trace_options current_tracer set_ftrace_notrace trace_pipe error_log set_ftrace_notrace_pid tracing_cpumask events set_ftrace_pid tracing_max_latency free_buffer snapshot tracing_on options timestamp_mode per_cpu trace 三、Ftrace函数剖析器 函数剖析器提供了关于内核函数调用的统计数据适合于研究哪些内核函数正在被使用并确定哪些是最慢的。我经常使用函数剖析器将它作为了解工作负载的内核代码执行情况的起点主要是因为他很高效开销相对较低。使用它我可以使用更加昂贵的与独立事件跟踪来分析函数。他需要配置CONFIG_FUNCTION_PROFILERy。 函数剖析器的工作原理是在每个函数的开头使用编译后的剖析调用。这种方法是基于编译器剖析器的工作方式的。比如gcc4.6版本的-pg选项他插入了fentry为每一个函数调价调用在不使用的使用这些调用会被快速的nop指令代替只有需要的时候才切换到fentry调用。 1.查看剖析器启用状态 rootjian:/sys/kernel/tracing# cat set_ftrace_filter

all functions enabled

rootjian:/sys/kernel/tracing# cat function_profile_enabled 0这种情况表示函数剖析器还没有启用。 2.使用函数剖析器统计ext4开头的内核函数并且查看cpu0的统计结果 rootjian:/sys/kernel/tracing# echo ext4* set_ftrace_filter rootjian:/sys/kernel/tracing# echo 1 function_profile_enabled rootjian:/sys/kernel/tracing# sleep 2 rootjian:/sys/kernel/tracing# echo 0 function_profile_enabled rootjian:/sys/kernel/tracing# cat trace_stat/function0 Function Hit Time Avg s^2——– — —- — —ext4_bmap 3 7.970 us 2.656 us 4.980 us ext4_file_getattr 3 4.212 us 1.404 us 0.007 us ext4_iomap_begin 3 3.910 us 1.303 us 1.162 us ext4_map_blocks 3 1.704 us 0.568 us 0.226 us ext4_journal_commit_callback 1 0.961 us 0.961 us 0.000 us ext4_getattr 3 0.862 us 0.287 us 0.001 us ext4_set_iomap 3 0.675 us 0.225 us 0.015 us ext4_es_lookup_extent 3 0.588 us 0.196 us 0.016 us ext4_iomap_end 3 0.330 us 0.110 us 0.010 us ext4_process_freed_data 1 0.321 us 0.321 us 0.000 us 从trace_stat目录中读取配置文件的统计数据改目录为每一个CPU保存了function文件。从function0读取到cpu0的统计数据。列中显示了函数名称、调用次数、函数总时间、平均时间和标准差。 在剖析过程中会有少量的开销被添加到剖析函数中。如果set_ftrace_filter 为设置任何值所有的内核函数都会被剖析在使用剖析器前尽量使用函数过滤来限制开销。 四、Ftrace function跟踪器 函数跟踪器打印内核函数调用的每个事件的详细信息并使用前面描述的函数剖析工具。这可以显示各种函数的顺序基于时间戳的模式以及可能对应的CPU上的进程名称和PID。函数跟踪的开销比函数剖析搞因此跟踪是和与对调用不频繁的函数每秒少于1000个调用进行。我们可以在函数剖析的结果中找到调用函数的频率。 1.查看函数跟踪器启用状态 rootjian:/sys/kernel/tracing# cat current_tracer nop rootjian:/sys/kernel/tracing# 我们可以看到当前的跟踪器是nop一开始我们就提到了这是一个特殊的跟踪器可以禁用其他跟踪器。 2.使用function跟踪器跟踪vfs开头的函数 rootjian:/sys/kernel/tracing# echo 0 tracing_on rootjian:/sys/kernel/tracing# echo vfs* set_ftrace_filter rootjian:/sys/kernel/tracing# echo function current_tracer rootjian:/sys/kernel/tracing# echo 1 tracing_on rootjian:/sys/kernel/tracing# sleep 2 rootjian:/sys/kernel/tracing# echo 0 tracing_on rootjian:/sys/kernel/tracing# cat trace /tmp/vfs_trace.log rootjian:/sys/kernel/tracing# echo nop current_tracer rootjian:/sys/kernel/tracing# cat /tmp/vfs_trace.log

tracer: function

#

entries-in-buffer/entries-written: ⁶¹⁵⁰⁄₆₁₅₀ #P:4

#

_—– irqs-off/BH-disabled

/ _—- need-resched

| / _— hardirq/softirq

|| / _– preempt-depth

||| / _- migrate-disable

|||| / delay

TASK-PID CPU# ||||| TIMESTAMP FUNCTION

| | | ||||| | |bash-2163 [002] …2. 29204.893294: vfs_write -ksys_writebash-2163 [002] …2. 29204.893312: vfs_write -ksys_writesudo-2161 [002] …2. 29204.893339: vfs_read -ksys_readsudo-2161 [002] …2. 29204.893347: vfs_write -ksys_writegnome-terminal–2137 [000] …2. 29204.893590: vfs_write -ksys_writegnome-terminal–2137 [000] …2. 29204.893595: vfs_read -ksys_readgnome-terminal–2137 [000] …2. 29204.893598: vfs_read -ksys_readgnome-terminal–2137 [000] …2. 29204.893599: vfs_write -ksys_writegnome-terminal–2137 [000] …2. 29204.893606: vfs_read -ksys_readgnome-shell-1322 [003] …2. 29204.894071: vfs_write -ksys_write

我们可以看到跟踪vfs开头函数的结果。输出包括字段头和跟踪元数据。第一行的例子显示了一个名为bashPID为2163的进程在cpu2上运行调用了vfs_write函数后面的ksys_write是调用来源。“ …2.”是irq-info带来的输出表示中断相关的信息。 五、Ftrace function_graph跟踪器 function_graph跟踪器课打印出函数的调用图器揭示了代码的流程。 下面对vfs_open函数使用function_graph跟踪器显示其子函数的调用 rootjian:/sys/kernel/tracing# echo vfs_open set_graph_function rootjian:/sys/kernel/tracing# echo function_graph current_tracer rootjian:/sys/kernel/tracing# cat trace_pipe rootjian:/sys/kernel/tracing# sleep 1 rootjian:/sys/kernel/tracing# cat trace /tmp/vfs_open_trace.log rootjian:/sys/kernel/tracing# echo nop current_tracer rootjian:/sys/kernel/tracing# cat /tmp/vfs_open_trace.log

tracer: function_graph

#

CPU DURATION FUNCTION CALLS

| | | | | | |3) | vfs_open() {3) | do_dentry_open() {3) | path_get() {3) 0.091 us | mntget();3) 0.246 us | }3) 0.076 us | try_module_get();3) | security_file_open() {3) 0.081 us | hook_file_open();3) 0.084 us | apparmor_file_open();3) 0.080 us | __fsnotify_parent();3) 0.078 us | __fsnotify_parent();3) 0.738 us | }3) | ext4_file_open() {3) 0.077 us | ext4_sample_last_mounted();3) | fscrypt_file_open() {3) | dget_parent() {3) 0.071 us | __rcu_read_lock();3) 0.071 us | __rcu_read_unlock();3) 0.356 us | }3) | dput() {3) 0.068 us | __cond_resched();3) 0.069 us | __rcu_read_lock();3) 0.070 us | __rcu_read_unlock();3) 0.489 us | }3) 1.344 us | }3) 0.070 us | fsverity_file_open();3) | dquot_file_open() {3) 0.071 us | generic_file_open();3) 0.212 us | }3) 2.086 us | }3) | file_ra_state_init() {3) 0.070 us | inode_to_bdi();3) 0.218 us | }3) 3.902 us | }3) 4.116 us | }六、ftrace hwlat

硬件延迟检测器hwlat是特殊用途跟踪器。它可以检测到外部硬件时间对CPU性能的干扰否则内核和其他工具是看不到这些事件的。例如系统管理中断SMI事件和虚拟机管理程序扰动包括那些油吵闹的邻居引起的扰动。 其工作原理是在禁用中断的情况下运行一个代码循环作为实验测量循环每一个迭代所消耗的时间。这个循环每次在一个CPU上执行并在它们之间轮换。每个CPU上最慢的循环会被打印出来说明它超过了阈值10微秒可以通过tracing_thresh文件配置。我们尝试一下 rootjian:/sys/kernel/tracing# echo hwlat current_tracer rootjian:/sys/kernel/tracing# rootjian:/sys/kernel/tracing# cat trace

tracer: hwlat

#

entries-in-buffer/entries-written: ⁶⁄₆ #P:4

#

_—– irqs-off/BH-disabled

/ _—- need-resched

| / _— hardirq/softirq

|| / _– preempt-depth

||| / _- migrate-disable

|||| / delay

TASK-PID CPU# ||||| TIMESTAMP FUNCTION

| | | ||||| | |…-3439 [001] d…. 47106.432688: #1 inner/outer(us): ⁶⁸⁄₄₈ ts:1690510991.980173202 count:1612…-3439 [002] d…. 47107.444798: #2 inner/outer(us): ⁶⁵⁄₄₈ ts:1690510992.990531284 count:1312…-3439 [003] d…. 47108.468134: #3 inner/outer(us): ⁸²⁄₉₃ ts:1690510994.014977964 count:1929…-3439 [000] d…. 47109.493436: #4 inner/outer(us): ⁵⁹⁄₇₃ ts:1690510995.039183943 count:1480…-3439 [001] d…. 47110.515790: #5 inner/outer(us): ⁵⁷⁄₆₀ ts:1690510996.063654968 count:1664…-3439 [002] d…. 47111.539715: #6 inner/outer(us): ¹⁰⁸⁄₅₅ ts:1690510997.087995749 count:1654

jianjian:~$ ps -aux |grep 3439 root 3439 49.1 0.0 0 0 ? S 10:23 0:58 [hwlatd] 前面的进程名称、PIDCPU和时间戳就不细讲了时间错后面有一个序号#1、#2然后是“inner/outer(us)”的数字以及最后的时间戳。inner/outer的数字显示了循环内部的时间和到下一个循环迭代的代码逻辑时间外部。第一行显示一次迭代消耗了68微秒内部和48微秒外部。这远远超过了10微秒的阈值并且是由于外部的扰动造成的。 hwlat具有可以配置的参数循环运行的时间段称为宽度运行一个宽度实验的时间称为窗口。在每个宽度期间超过阈值10微秒的最慢迭代会被记录下来。这些参数可以通过/sys/kernel/tracing/hwlat_detector中的文件修改宽度和窗口文件他们使用微秒作为单位。 hwlat其实是一种微基准测试工具而不是可观测工具因为它执行的实验本身就会扰乱系统他将使一个cpu在整个宽度期间处于繁忙状态并且禁用中断。 七、ftrace hist hist触发器允许在事件上创建自定义的直方图这是另一种形式的统计摘要允许计数按照一个或者多个组成部分进行分解。 我们试试使用hist触发器通过raw_syscalls:sys_enter跟踪点来计数系统调用数量并提供按进程ID分类的直方图 rootjian:/sys/kernel/tracing# echo hist:keycommon_pid events/raw_syscalls/sys_enter/trigger rootjian:/sys/kernel/tracing# sleep 2 rootjian:/sys/kernel/tracing# cat events/raw_syscalls/sys_enter/hist

event histogram

#

trigger info: hist:keyscommon_pid:valshitcount:sorthitcount:size2048 [active]

#。。。 { common_pid: 1857 } hitcount: 440 { common_pid: 764 } hitcount: 591 { common_pid: 2130 } hitcount: 615 { common_pid: 1950 } hitcount: 682 { common_pid: 1423 } hitcount: 840 { common_pid: 1738 } hitcount: 1145 { common_pid: 745 } hitcount: 1213 { common_pid: 1767 } hitcount: 1566 { common_pid: 1363 } hitcount: 1819 { common_pid: 3978 } hitcount: 121650 { common_pid: 3977 } hitcount: 187630Totals:Hits: 320268Entries: 36Dropped: 0 rootjian:/sys/kernel/tracing# echo !hist:keycommon_pid events/raw_syscalls/sys_enter/trigger 输出显示PID为3977的进程在跟踪期间执行了187630次系统调用也列出了其他PID的计数。最后几行显示了统计信息写到哈希的次数Hits哈希中的条目Entries当前条目超过哈希大小时写操作被丢弃的次数Dropped。如果发生了丢弃可以在声明哈希表时增加它的大小它的默认值是2048。 上面的例子使用的是common_pid这个字段我们可以查看他的格式使用其他字段作为他的哈希键值甚至使用多关键字段 rootjian:/sys/kernel/tracing# cat events/raw_syscalls/sys_enter/format name: sys_enter ID: 349 format:field:unsigned short common_type; offset:0; size:2; signed:0;field:unsigned char common_flags; offset:2; size:1; signed:0;field:unsigned char common_preempt_count; offset:3; size:1;signed:0;field:int common_pid; offset:4; size:4; signed:1;field:long id; offset:8; size:8; signed:1;field:unsigned long args[6]; offset:16; size:48; signed:0;print fmt: NR %ld (%lx, %lx, %lx, %lx, %lx, %lx), REC-id, REC-args[0], REC-args[1], REC-args[2], REC-args[3], REC-args[4], REC-args[5]rootjian:/sys/kernel/tracing# echo hist:keycommon_pid,id events/raw_syscalls/sys_enter/trigger有时候结果太多为了让测量的结果更加直观可以为系统调用ID创建一个直方图然后使用一个过滤器来匹配PID还使用.syscall修饰器修饰系统调用ID结果会很直观 rootjian:/sys/kernel/tracing# echo hist:keyid.syscall if common_pid2477 events/raw_syscalls/sys_enter/trigger rootjian:/sys/kernel/tracing# cat events/raw_syscalls/sys_enter/hist

event histogram

#

trigger info: hist:keysid.syscall:valshitcount:sorthitcount:size2048 if common_pid2477 [active]

#{ id: sys_pipe2 [293] } hitcount: 1 { id: sys_setpgid [109] } hitcount: 1 { id: sys_clone [ 56] } hitcount: 1 { id: sys_fcntl [ 72] } hitcount: 1 { id: sys_rt_sigreturn [ 15] } hitcount: 1 { id: sys_wait4 [ 61] } hitcount: 2 { id: sys_close [ 3] } hitcount: 2 { id: sys_write [ 1] } hitcount: 6 { id: sys_read [ 0] } hitcount: 7 { id: sys_pselect6 [270] } hitcount: 7 { id: sys_ioctl [ 16] } hitcount: 15 { id: sys_rt_sigprocmask [ 14] } hitcount: 15 { id: sys_rt_sigaction [ 13] } hitcount: 23Totals:Hits: 82Entries: 13Dropped: 0直方图现在显示了一个PID的系统调用.syscall修饰器已经包括了系统调用的函数名。我们还可以使用栈踪迹关键字来了解事件发生的代码路径例如 rootjian:/sys/kernel/tracing# echo hist:keystacktrace events/raw_syscalls/sys_enter/trigger这样子可以查看函数的堆栈。