网站建设开发合同范本精准引流的网络推广

当前位置： 首页 > news >正文

网站建设开发合同范本,精准引流的网络推广,外国域名注册很多网站,网页制作技术基础教程Yarn 资源调度器#xff1a;资源调度平台#xff0c;负责为运算程序提供服务器运算资源 1 Yarn 基础架构 YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。 MR 程序提交到客户端所在的节点。YarnRunner 向 ResourceManager 申请一个…Yarn 资源调度器资源调度平台负责为运算程序提供服务器运算资源 1 Yarn 基础架构 YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。 MR 程序提交到客户端所在的节点。YarnRunner 向 ResourceManager 申请一个 Application。ResourceManager 将该应用程序的资源路径返回给 YarnRunner。该程序将运行所需资源提交到 HDFS 上。程序资源提交完毕后申请运行 MRAppmaster。ResourceManager 将用户的请求初始化成一个 Task。其中一个 NodeManager 领取到 Task 任务。该 NodeManager 创建容器 Container并产生 MRAppmaster。Container 从 HDFS 上拷贝资源到本地。MRAppmaster 向 ResourceManager 申请运行 MapTask 资源。ResourceManager 将运行 MapTask 任务分配给另外两个 NodeManager另两个 NodeManager 分别领取任务并创建容器。MR 向两个接收到任务的 NodeManager 发送程序启动脚本这两个 NodeManager分别启动 MapTaskMapTask 对数据分区排序。MRAppMaster 等待所有 MapTask 运行完毕后向 ResourceManager 申请容器运行ReduceTask。ReduceTask 向 MapTask 获取相应分区的数据。程序运行完毕后MR 会向 RM 申请注销自己。 2 作业提交全过程 HDFS、YARN、MapReduce三者关系 作业提交过程之YARN 作业提交过程之HDFS MapReduce 作业提交 第 1 步Client 调用 job.waitForCompletion 方法向整个集群提交 MapReduce 作业。 第 2 步Client 向 RM 申请一个作业 id。 第 3 步RM 给 Client 返回该 job 资源的提交路径和作业 id。 第 4 步Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。 第 5 步Client 提交完资源后向 RM 申请运行 MrAppMaster。 作业初始化 第 6 步当 RM 收到 Client 的请求后将该 job 添加到容量调度器中。 第 7 步某一个空闲的 NM 领取到该 Job。 第 8 步该 NM 创建 Container并产生 MRAppmaster。 第 9 步下载 Client 提交的资源到本地。 任务分配 第 10 步MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。 第 11 步RM 将运行 MapTask 任务分配给另外两个 NodeManager另两个NodeManager分别领取任务并创建容器。 任务运行 第 12 步MR 向两个接收到任务的 NodeManager 发送程序启动脚本这两个NodeManager 分别启动 MapTaskMapTask 对数据分区排序。 第 13 步MrAppMaster 等待所有 MapTask 运行完毕后向 RM 申请容器运行ReduceTask。 第 14 步ReduceTask 向 MapTask 获取相应分区的数据。 第 15 步程序运行完毕后MR 会向 RM 申请注销自己。 进度和状态更新 YARN 中的任务将其进度和状态返回给应用管理器 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval 设置)向应用管理器请求进度更新, 展示给用户。 作业完成 除了向应用管理器请求作业进度外, 客户端每 5 秒都会通过调用 waitForCompletion()来检查作业是否完成。 时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。 作业完成之后, 应用管理器和 Container 会清理工作状态。 作业的信息会被作业历史服务器存储以备之后用户核查。
3 Yarn 调度器和调度算法 Hadoop 作业调度器主要有三种FIFO、容量Capacity Scheduler和公平Fair SchedulerApache Hadoop 3.3 默认的资源调度器是 Capacity Scheduler。CDH 框架默认调度器是 Fair Scheduler。 3.1 先进先出调度器FIFO 3.2 容量调度器Capacity Scheduler 多队列每个队列可配置一定的资源量每个队列采用FIFO调度策略。容量保证管理员可为每个队列设置资源最低保证和资源使用上限灵活性 如果一个队列中的资源有剩余可以暂时共享给那些需要资源的队列一旦该队列有新的应用程序提交则其他队列借调的资源会归还给该队列。 多租户支持多用户共享集群和多应用程序同时运行。 为了防止同一个用户的作业独占队列中的资源该调度器会对同一用户提交的作业所占资源量进行限定。
容量调度器资源分配算法 队列资源分配 从root开始使用深度优先算法优先选择资源占用率最低的队列分配资源。 作业资源分配 默认按照提交作业的优先级和提交时间顺序分配资源。 容器资源分配 按照容器的优先级分配资源 如果优先级相同按照数据本地性原则 1任务和数据在同一节点 2任务和数据在同一机架 3任务和数据不在同一节点也不在同一机架
3.3 公平调度器Fair Scheduler 与容量调度器相同点 多队列支持多队列多作业容量保证管理员可为每个队列设置资源最低保证和资源使用上线灵活性如果一个队列中的资源有剩余可以暂时共享给那些需要资源的队列而一旦该队列有新的应用程序提交则其他队列借调的资源会归还给该队列。多租户支持多用户共享集群和多应用程序同时运行为了防止同一个用户的作业独占队列中的资源该调度器会对同一用户提交的作业所占资源量进行限定。
不同点公平调度器容量调度器核心调度策略优先选择对资源的缺额比例大的优先选择资源利用率低的队列资源分配方式每个队列可以单独设置资源分配方式FIFO、FAIR、DRFFIFO、DRF公平调度器设计目标是在时间尺度上所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”调度器会优先为缺额大的作业分配资源 公平调度器队列资源分配方式 FIFO策略 此时公平调度器相当于容量调度器。 Fair策略 Fair 策略默认是一种基于最大最小公平算法实现的资源多路复用方式。 具体资源分配流程和容量调度器一致 1选择队列 2选择作业 3选择容器 以上三步每一步都是按照公平策略分配资源 如果一个队列中有两个应用程序同时运行则每个应用程序可得到1/2的资源 如果三个应用程序同时运行则每个应用程序可得到1/3的资源。 公平调度器队列资源分配方式DRF策略 在YARN中我们用DRFDominant Resource Fairness来决定如何调度资源 假设集群一共有100 CPU和10T 内存 而应用A需要2 CPU, 300GB应用B需要6 CPU100GB。 则两个应用分别需要A2%CPU, 3%内存和B6%CPU, 1%内存的资源 这就意味着A是内存主导的, B是CPU主导的 针对这种情况我们可以选择DRF策略对不同应用进行不同资源CPU和内存的一个不同比例的限制。 5 Yarn 生产环境核心参数 ResourceManager相关 yarn.resourcemanager.scheduler.class 配置调度器默认容量 yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量 NodeManager相关 yarn.nodemanager.resource.detect-hardware-capabilities 是否让yarn自己检测硬件进行配置默认false yarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作CPU核数默认false yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数例如4核8线程参数就应设为2默认0 yarn.nodemanager.resource.memory-mb NodeManager使用内存默认8G yarn.nodemanager.resource.system-reserved-memory-mb NodeManager为系统保留多少内存 以上二个参数配置一个即可 yarn.nodemanager.resource.cpu-vcores NodeManager使用CPU核数默认8个 yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制container默认打开 yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制container默认打开 yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例默认2.1 Container相关 yarn.scheduler.minimum-allocation-mb 容器最最小内存默认1G yarn.scheduler.maximum-allocation-mb 容器最最大内存默认8G yarn.scheduler.minimum-allocation-vcores 容器最小CPU核数默认1个 pmem-ratio 虚拟内存物理内存比例默认2.1 Container相关 yarn.scheduler.minimum-allocation-mb 容器最最小内存默认1G yarn.scheduler.maximum-allocation-mb 容器最最大内存默认8G yarn.scheduler.minimum-allocation-vcores 容器最小CPU核数默认1个 yarn.scheduler.maximum-allocation-vcores 容器最大CPU核数默认4个