网站建设分析从哪几个方面黄冈网站制作

当前位置： 首页 > news >正文

网站建设分析从哪几个方面,黄冈网站制作,专门做音效的网站,17网店货源网论文#xff1a;Learning Robust and Agile Legged Locomotion Using Adversarial Motion Priors 进一步学习#xff1a;AMP#xff0c;baseline方法#xff0c;TO 摘要#xff1a; 介绍了一种新颖的系统#xff0c;通过使用对抗性运动先验 (AMP) 使四足机器人在复杂地…论文Learning Robust and Agile Legged Locomotion Using Adversarial Motion Priors 进一步学习AMPbaseline方法TO 摘要 介绍了一种新颖的系统通过使用对抗性运动先验 (AMP) 使四足机器人在复杂地形上实现稳健和敏捷的行走。主要贡献包括为机器人生成AMP数据集并提出一种教师-学生训练框架来学习稳健和敏捷的运动技能。该系统在现实世界应用中显示出前景克服了先前依赖广泛环境感应或手工设计模型的方法的限制。 方法 Privileged learning 由于地形信息不完全可观察没有外部感应器盲行过程被建模为部分可观察的马尔可夫决策过程。 因此借助Privileged learning即特权学习。 特权学习中教师策略在模拟中训练利用只有在模拟中才有的特权状态。然后学生策略学习模仿教师的特权状态编码和相应的行为。首先训练一个能够观察到机器人和环境动态属性的教师策略。然后将教师策略提炼到学生策略中通过监督学习从一系列的观察中推断这些属性。 动作空间 对于教师策略状态空间 x teacher t x_{\text{teacher}}^t xteachert​包含以下部分 本体感知观察 o p t op^t opt​包括重力矢量的方向、基座的角速度、关节位置和速度、由当前策略选择的前一个动作 a t − 1 a{t-1} at−1​以及期望的基座速度命令向量。 特权状态 s p t s_p^t spt​由于基座的线速度计算来自状态估算算法且含噪声因此将其作为特权状态的一部分同时还包括地面摩擦系数、地面恢复系数、接触力、外部力及其在机器人上的位置以及碰撞状态包括躯干、大腿和小腿部分。 地形信息 i e t i_e^t iet​包含从机器人基座周围的网格中采样的地形点的187项测量数据代表从采样点到机器人基座的垂直距离。
学生策略只能访问本体感知观察 o p t o_p^t opt​而无法访问特权状态 s p t s_p^t spt​和地形信息 i e t i_e^t iet​。学生策略需要通过监督学习来模仿教师策略并从历史观察中推断那些它无法直接观察到的动态属性。 行动空间策略行动 a t a_t at​是一个12维向量被解释为目标关节位置的偏移量这个偏移量被加到时间不变的名义关节位置上以指定每个关节的目标电机位置。然后关节的PD控制器使用这些目标电机位置和固定增益 K p 20 , K d 0.5 K_p 20, K_d 0.5 Kp​20,Kd​0.5计算扭矩命令。 Reward Terms Design 在这项工作中奖励函数由任务组成部分 r t g r_t^g rtg​、风格组成部分 r t s r_t^s rts​和正则化组成部分 r t l r_t^l rtl​构成即 r t r t g r t s r t l r_t r_t^g r_t^s rt^l rt​rtg​rts​rtl​。任务奖励项包括线性和角速度追踪功能。 风格奖励引入强化学习的监督项 风格奖励用于评估示范者行为和智能体行为之间的相似性意味着它们越相似智能体就能获得更多的风格奖励。由于我们期望我们的机器人在穿越平坦或不平坦的地形时获得自然平滑的小跑步态我们使用基于AMP的风格奖励函数鼓励我们的机器人产生与参考数据集D中的相同步态风格的行为。 定义了一个由神经网络参数 ϕ 表示的鉴别器 D ϕ D\phi Dϕ​来预测状态转换 ( s t , s t 1 ) (st, s{t1}) (st​,st1​)是来自数据集D的真实样本还是由智能体A生成的伪样本。每个状态 s A M P t ∈ R 31 s{AMP}^t \in \mathbb{R}^{31} sAMPt​∈R31​ 包含关节位置、关节速度、基座线速度、基座角速度和相对于地形的基座高度。 鉴别器的训练目标定义为 arg min ϕ E ( s t , s t 1 ) ∼ D [ ( D ϕ ( s t , s t 1 ) − 1 ) 2 ] E ( s t , s t 1 ) ∼ A [ ( D ϕ ( s t , s t 1 ) 1 ) 2 ] α g p 2 E ( s t , s t 1 ) ∼ D [ ∣ ∣ ∇ ϕ D ϕ ( s t , s t 1 ) ∣ ∣ 2 ] , \underset{\phi}{\text{arg min}} \ \mathbb{E}{(st, s{t1}) \sim D} \left[ (D_\phi (st, s{t1}) - 1)^2 \right] \mathbb{E}_{(st, s{t1}) \sim A} \left[ (D_\phi (st, s{t1}) 1)^2 \right] \frac{\alpha{gp}}{2} \mathbb{E}{(st, s{t1}) \sim D} \left[ ||\nabla\phi D\phi (st, s{t1})||^2 \right], ϕarg min​ E(st​,st1​)∼D​[(Dϕ​(st​,st1​)−1)2]E(st​,st1​)∼A​[(Dϕ​(st​,st1​)1)2]2αgp​​E(st​,st1​)∼D​[∣∣∇ϕ​Dϕ​(st​,st1​)∣∣2],其中前两项是最小二乘GAN公式鼓励鉴别器区分给定的输入状态转换是来自智能体A还是参考数据集D。公式中的最后一项是梯度惩罚项用于减少鉴别器在真实数据样本的流形上分配非零梯度的倾向。 α g p \alpha{gp} αgp​是手动指定的系数我们使用 α g p 10 \alpha{gp} 10 αgp​10。然后风格奖励定义为 r t s [ ( s t , s t 1 ) ∼ A ] max ⁡ [ 0 , 1 − 0.25 ( d score t − 1 ) 2 ] , r_t^s [(st, s{t1}) \sim A] \max \left[ 0, 1 - 0.25 (d{\text{score}}^t - 1)^2 \right], rts​[(st​,st1​)∼A]max[0,1−0.25(dscoret​−1)2],其中 d score t D ϕ ( s t , s t 1 ) d{\text{score}}^t D_\phi(st, s{t1}) dscoret​Dϕ​(st​,st1​)且风格奖励缩放到范围 [0, 1]。 所有奖励项 术语方程权重作用任务奖励 r t g rt^g rtg​ exp ⁡ ( − ∣ v t , d e s , x y − v t , x y ∣ 2 0.15 ) \exp\left(-\frac{|v{t,des,xy} - v_{t,xy}|2}{0.15}\right) exp(−0.15∣vt,des,xy​−vt,xy​∣2​​)1.0鼓励匹配目标线速度 exp ⁡ ( − ∣ ω t , d e s , z − ω t , z ∣ 2 0.15 ) \exp\left(-\frac{|\omega{t,des,z} - \omega_{t,z}|_2}{0.15}\right) exp(−0.15∣ωt,des,z​−ωt,z​∣2​​)0.5鼓励匹配目标角速度平滑性奖励 r t l r_t^l rtl​ ∣ τ t ∣ 2 |\tau_t|_2 ∣τt​∣2​ 1 × 1 0 − 4 1 \times 10^{-4} 1×10−4最小化扭矩 ∣ q ¨ t ∣ 2 |\ddot{q}_t|2 ∣q¨​t​∣2​ 2.5 × 1 0 − 7 2.5 \times 10^{-7} 2.5×10−7鼓励维持低关节速度 ∣ q t − 1 − q t ∣ 2 |q{t-1} - q_t|2 ∣qt−1​−qt​∣2​0.1鼓励机器人的关节位置变化更平滑 ∑ i 0 5 min ⁡ ( τ i , t − 0.5 , 0 ) \sum{i0}^5 \min(\tau_{i,t} - 0.5, 0) ∑i05​min(τi,t​−0.5,0)1.0惩罚大扭矩鼓励机器人使用较小的扭矩安全性奖励 r t l rt^l rtl​ − n c o l l i s o n -n{collison} −ncollison​0.1惩罚碰撞风格奖励 r t s rt^s rts​ max ⁡ [ 0 , 1 − 0.25 ( d score t − 1 ) 2 ] \max \left[ 0, 1 - 0.25 (d{\text{score}}^t - 1)^2 \right] max[0,1−0.25(dscoret​−1)2]0.5鼓励机器人产生与参考数据集D中的相同步态风格的行为 Motion Dataset Generation 那么如何得到监督数据集D 由于只需要状态转换来构建运动数据集 D采用了之前工作中的单一 TO轨迹优化公式来在平坦地面上生成具有小跑步态的四足动物的运动。机器人首先使用简化的质心动力学模型来降低计算复杂性然后转换成一个具有摩擦锥约束和运动学约束的非线性规划问题。为了加快优化速度并避免调整程序使用 TOWR来解决 TO 问题这不需要成本函数。数据集 D 包括前进、后退、向左横移、向右横移、左转向、右转向和组合运动轨迹总持续时间为30秒。使用 TO 生成运动数据集的好处是它们可以完全匹配模拟代理和示范者的状态空间避免使用其他运动重定向技术。 训练 模拟在不同类型的地形上使用 IsaacGym 训练了4096个并行智能体。教师策略和学生策略分别在4亿和2亿模拟时间步骤中进行训练。两个阶段的总训练时间为实际时间七小时。每个 episode 最多持续1000步相当于20秒如果达到终止标准则提前终止。策略的控制频率在模拟中为50Hz。 所有训练都在单个NVIDIA RTX 3090Ti GPU上进行。 终止当机器人达到终止标准时我们终止一个 episode 并开始下一个这些标准包括机身与地面的碰撞、剧烈身体倾斜以及被困很长一段时间。 动态随机化为了提高我们策略的鲁棒性并促进从模拟到真实世界的转移我们随机化了躯干和腿部的质量、施加在机器人身体上的负载的质量和位置、地面摩擦和恢复系数、电机强度、关节级PD增益以及每个 episode 中的初始关节位置。这些动态参数中的一些被视为特权状态 s p t sp^t spt​以帮助教师策略训练。另外在模拟训练阶段同样的观察噪声被加入。 Training Curriculum 在这项工作中我们创建了五种类型的程序生成地形包括粗糙平地、斜坡、波浪、楼梯和离散台阶。 由于早期阶段强化学习的不稳定性直接在非常复杂的地形上训练机器人是困难的。我们采用并改进了中的自动化地形课程。我们创建了一个高度场地图包含20×10网格排列的100种地形。每行都有同类型的地形按难度递增排列而每种地形的长度和宽度为8米。粗糙平地通过增加的噪声构建从±1厘米增加到±8厘米。斜坡的倾斜度从0度增加到30度。波浪是由贯穿地形长度的三个正弦波构成这些波的振幅从20厘米增加到50厘米。楼梯宽度固定为30厘米台阶高度从5厘米增加到23厘米。离散障碍物只有从±5厘米增加到±15厘米的两个高度等级。训练开始时所有机器人都平等地被分配到所有类型的最低难度地形。只有当机器人适应了当前地形的难度后才会被移动到更难的地形。当机器人能够以超过85的平均线速度跟踪奖励离开当前地形时就获得了这种适应性。相反如果它们在一个episode 结束时未能至少走完指令线速度所要求的一半距离则重置到更容易的地形。为了避免技能遗忘解决最难地形的机器人将被循环返回到当前地形类型的随机选定难度。 我们的机器人试图通过在训练过程中跟踪不同的速度指令来学习一个条件命令的策略策略变量包括状态和操作员的速度指令。在episode 开始时给机器人一个要跟随的期望指令这是一个随机生成的向量 v t d e s ( v x , v y , ω z ) ∈ R 3 v{t_{des}} (v_x, v_y, \omegaz) \in \mathbb{R}^3 vtdes​​(vx​,vy​,ωz​)∈R3​代表基座框架中的纵向速度、横向速度和偏航速度。在地形课程阶段偏航速度指令是根据当前航向方向与目标航向方向之间的误差计算出来的这使我们的机器人能够有效地离开地形。目标航向方向是从[−180°, 180°]均匀采样的。我们在地形课程阶段分别从小范围[−1米/秒1米/秒]中采样纵向速度指令和横向速度指令。 Teacher Policy Training and Architecture 在第一阶段的训练中我们使用邻近策略优化PPO训练教师策略。教师策略和鉴别器的训练过程是同步的。教师在环境中执行推演生成状态转换 ( s A M P t , s A M P t 1 ) (s{AMP}^t, s{AMP}^{t1}) (sAMPt​,sAMPt1​)。然后将这个状态转换提供给鉴别器 D ϕ D\phi Dϕ​以获得 d s c o r e t d_{score}^t dscoret​该分数用于根据公式(4)计算小跑步态风格奖励 r t s rt^s rts​并加到教师获得的其他奖励中。收集推演数据后我们优化教师策略 π θ t e a c h e r \pi\theta^{teacher} πθteacher​的参数 θ \theta θ以最大化公式(1)的总折扣回报以及每个训练步骤中优化鉴别器 D ϕ D\phi Dϕ​的参数 ϕ \phi ϕ以最小化公式(3)中呈现的目标。 教师策略 π θ t e a c h e r \pi\theta^{teacher} πθteacher​包含三个多层感知器MLP组件地形编码器 E θ e E{\theta}^e Eθe​特权编码器 E θ p E{\theta}^p Eθp​和低级网络如图2所示。 E θ e E{\theta}^e Eθe​和 E θ p E{\theta}^p Eθp​将地形信息 i e t ∈ R 187 i_e^t \in \mathbb{R}^{187} iet​∈R187和特权状态 s p t ∈ R 30 s_p^t \in \mathbb{R}^{30} spt​∈R30压缩成低维潜在表示 l e t ∈ R 16 l_e^t \in \mathbb{R}^{16} let​∈R16和 l p t ∈ R 8 l_p^t \in \mathbb{R}^{8} lpt​∈R8。虽然这种压缩丢失了一些信息但它保留了最需要的信息这有助于学生重建潜在表示。 l e t l_e^t let​和 l p t lp^t lpt​首先被合并成一个完整的潜在表示 l t e a c h e r t ∈ R 24 l{teacher}^t \in \mathbb{R}^{24} lteachert​∈R24。然后将 l t e a c h e r t l_{teacher}^t lteachert​和本体感知观察 o p t ∈ R 45 op^t \in \mathbb{R}^{45} opt​∈R45提供给低级网络并带有一个tanh输出层以输出高斯分布 a t e a c h e r t ∼ N ( μ t , σ ) a{teacher}^t \sim \mathcal{N}(\mu_t, \sigma) ateachert​∼N(μt​,σ)的均值 μ t ∈ R 12 \mu_t \in \mathbb{R}^{12} μt​∈R12其中 σ ∈ R 12 \sigma \in \mathbb{R}^{12} σ∈R12表示由PPO确定的动作的方差。教师策略还有一个由MLP提供的评价网络包含三个隐藏层以提供广义优势估计的目标值 V t Vt Vt​。鉴别器 D ϕ D\phi Dϕ​是一个单一的MLP带有两个隐藏层和一个线性单元输出层。 Student Policy Training and Architecture 学生策略的训练目的是在不使用特权状态 s p t s_p^t spt​和地形信息 i e t i_e^t iet​的情况下复现教师策略的行为。因此学生的动态被视为一个部分可观测的马尔可夫决策过程学生需要考虑观察 o p t op^t opt​的历史来估计不可观测的状态。我们为学生使用一个记忆编码器来编码历史之间的时序关联。 在学生训练期间我们通过最小化两个损失来利用监督方式包括一个模仿损失和一个重构损失如图2所示。模仿损失使学生能够模仿教师的动作 a t e a c h e r t a{teacher}^t ateachert​。重构损失鼓励学生的记忆编码器重现教师的潜在表示 l t e a c h e r t l_{teacher}^t lteachert​。我们使用数据集聚合策略DAgger通过推演学生策略来生成样本以增加鲁棒性。与教师训练相同的课程也应用于学生训练而不训练鉴别器。 学生策略由一个记忆编码器和一个与教师的低级MLP相同结构的网络组成。记忆编码器通常通过将一系列历史观测堆叠到MLP的输入中来实现或者使用可以捕捉过去信息的架构如递归神经网络RNN或时间卷积神经网络TCN。然而对于MLP和TCN这样的架构需要留出一部分记忆空间来存储历史观测这给机载资源使用带来了很大压力。因此与其存储完整的历史观测更有效的方式是使用RNN这可以在隐藏状态中嵌入过去的历史信息。我们使用长短期记忆LSTM作为我们的RNN架构。首先本体感知观测 o p t op^t opt​与LSTM的过去隐藏状态 h t − 1 h{t-1} ht−1​和细胞状态 c t − 1 c_{t-1} ct−1​被编码到LSTM模块的当前隐藏状态 h t ∈ R 256 ht \in \mathbb{R}^{256} ht​∈R256然后传递给 E θ m E{\theta}^m Eθm​来输出学生的潜在表示 l t s t u d e n t l_t^{student} ltstudent​。我们重用教师低级网络的学习权重来初始化学生的低级网络以加速训练。为了使我们的控制器学习稳健的盲行我们训练学生策略使用50个 o p t o_p^t opt​的序列对应1秒的记忆。 实验 硬件控制器部署在 Unitree Go1 Edu 机器人上该机器人站立高度为28厘米重13公斤。机器人上使用的传感器包括关节位置编码器和一个惯性测量单元IMU。通过使用 MNN 框架优化的训练后的学生策略以提高推理速度并在机载计算机Jetson TX2 NX上运行。在部署时控制频率为50Hz。 奖励项的消融实验
为了评估不同奖励项对步态运动的影响我们额外训练了两个消融策略考虑了两种类型奖励的组合 r t g r t s r_t^g r_t^s rtg​rts​和 r t g r l t r_t^g r_l^t rtg​rlt​。所有三个策略都有相同的训练时间和随机种子。图3显示了在模拟中在平坦地面上给定0.6米/秒向前移动指令时前右腿大腿和小腿的位置和速度。使用全部奖励项 r t g r l t r t s r_t^g r_l^t r_t^s rtg​rlt​rts​训练的策略的关节状态紫色线条更接近于轨迹优化TO生成的关节状态红色线条而不是其他两种。只使用两种奖励 r t g r t s r_t^g r_t^s rtg​rts​和 r t g r l t r_t^g r_l^t rtg​rlt​训练的策略产生了急促的速度和位置橙色和蓝色线条。更重要的是使用全部奖励项 r t g r l t r t s r_t^g r_l^t r_t^s rtg​rlt​rts​训练的策略表现出自然而平稳的步态风格如附件视频所示。这表明使用基于AMP的预定义步态先验确实可以让机器人学习自然步态而不限制克服复杂地形的能力。 鲁棒运动的评价 和几个baselines进行比较 RMA一个类似的教师-学生训练框架其中学生策略包含一个一维CNN卷积神经网络适应模块和从教师策略复制的低级网络。 Concurrent策略与显式估计身体状态的状态估计网络一起并发训练。考虑到策略的最终收敛性在训练过程中没有提供地形信息。 域随机化策略直接训练没有任何特权状态或地形信息。 内置MPCMPC模型预测控制控制器内置于Unitree Go1 Edu中。
在每次测试中机器人被给予了一个10秒钟的0.4米/秒的前进命令。如果机器人能够用前后腿越过台阶则测试成功并通过。我们对每个台阶高度进行了10次测试并计算了成功率。如图5所示我们的方法在上下台阶方面胜过了所有其他方法能够成功地越过高达25厘米的所有台阶。教师-学生训练框架oursRMA因其能够隐式估计地形信息而有效穿越大台阶而没有地形信息访问权限的控制器Concurrent域随机化内置MPC在台阶高度超过13厘米时经常导致跌落。然而当台阶高度超过15厘米时RMA的性能迅速下降。这种性能差异很可能是由于在训练期间对学生策略的低级网络的不同处理。我们的学生策略重用了教师低级网络的学习权重并继续使用教师的动作对其进行训练而RMA则冻结了学生的低级网络。随着地形变得更加困难 l e t l_e^t let​的重构误差会变大且从教师那里复制的固定权重的学生低级网络的输出会不稳定。 我们进一步评估了在多样化环境中所呈现控制器的鲁棒性如图1和附件视频所示。这些环境包括大型路缘、密集植被、中度岩石、松散瓦砾和草地。其中一些地形可以变形和破碎表面上的材料属性有着显著的变化。然而该策略基于本体感知观察的历史学习了鲁棒的运动并展示了从模拟到在训练期间从未经历过的特征地形的 zero-shot泛化。 敏捷运动的评价 快见视频。 总结 通过强化学习RL训练的单一策略可以使用简洁的奖励函数和并行训练程序获得既稳健又敏捷的运动。从AMP学习的步态风格展示了从平坦地形的运动数据集到现实世界中的具有挑战性地形的zero-shot泛化。