网站备案vpn注销孝感网站建设

当前位置： 首页 > news >正文

网站备案vpn注销,孝感网站建设,腾讯云服务器多少钱一个月,音乐 wordpress这篇文章是谷歌发表在 2023 ACM transaction on Graphic 上的一篇文章#xff0c;介绍如何在手机摄影中实现长曝光的一些拍摄效果。 Abstract 长曝光摄影能拍出令人惊叹的影像#xff0c;用运动模糊来呈现场景中的移动元素。它通常有两种模式#xff0c;分别产生前景模糊或…这篇文章是谷歌发表在 2023 ACM transaction on Graphic 上的一篇文章介绍如何在手机摄影中实现长曝光的一些拍摄效果。 Abstract 长曝光摄影能拍出令人惊叹的影像用运动模糊来呈现场景中的移动元素。它通常有两种模式分别产生前景模糊或背景模糊效果。前景模糊图像通常是用安装在三脚架上的相机拍摄的描绘的是移动的前景元素如丝般的流水或光轨呈现出模糊效果而背景景观则非常清晰。背景模糊图像也称为平移摄影是在相机追踪移动主体时拍摄的从而得到主体清晰而背景因相对运动而模糊的图像。这两种技术都极具挑战性并且需要额外的设备和高超的技巧。 本文介绍了一种计算式连拍摄影系统它运行在手拿式智能手机的相机应用程序中只需按下快门按钮就能全自动地实现这些效果。我们的方法首先检测并分割出显著主体。我们对多帧画面中的场景运动进行追踪并对齐图像以保持所需的清晰度并产生具有美感的运动拖影。我们拍摄一组曝光不足的连拍照片并选择输入帧的子集无论场景或相机的运动速度如何这些子集都能产生长度可控的模糊拖影。我们预测帧间运动并合成运动模糊来填补输入帧之间的时间间隙。最后我们将模糊图像与正常曝光的清晰图像合成以保证面部或场景中几乎没有移动的区域的清晰度并生成最终的高分辨率和高动态范围HDR照片。我们的系统使原本只有专业人士才能掌握的能力得以普及让大多数普通摄影爱好者也能使用这种创意风格。 文章太长分成两部分第一部分 Computational Long Exposure Mobile Photography (一) Frame Selection 我们的系统使用一种帧选择机制该机制计算运动模糊轨迹长度的估计值以决定增量帧处理外循环何时应该停止。首先我们利用对齐求解器计算出的变换将运动特征轨迹转换到基准帧的参考空间在该空间中它们在空间上与输出图像中相应被跟踪特征的运动模糊轨迹对齐。然后可以计算出每条对齐轨迹的长度并且我们使用轨迹长度分布的高百分位数作为整体模糊轨迹长度的估计值。最后将这个估计值与一个恒定的目标设置进行比较以决定是否满足帧选择标准。 我们以图像对角线的百分比来测量轨迹长度这种度量在很大程度上对图像分辨率或宽高比不敏感。在前景模糊的情况下我们的标准是第 98 百分位数达到 30% 的目标为移动最快的物体产生相对较长且平滑的模糊轨迹。在背景模糊的情况下我们采用第 80 百分位数和 2.8% 的目标为背景的较大区域产生短模糊轨迹目的是保持主体清晰度并避免丢失周围场景的背景信息。这些设置是通过对大量输入连拍进行反复试验得出的经验值。 Motion Prediction 一旦输入的低分辨率图像完成对齐我们就将它们输入到一个运动模糊核预测神经网络中每次输入一帧对每次迭代预测一对线条和权重核图。低分辨率核图用于以半分辨率合成运动模糊片段跨越相应的输入帧。 运动预测模型负责预测沿线段的两个空间积分的参数这两个空间积分近似于定义在相应时间间隔内通过每个运动模糊输出像素看到的颜色平均的时间积分。我们使用基于 [Brooks 和 Barron 2019] 的模型并进行了进一步修改改善了性能和图像质量之间的权衡使我们能够在移动设备上适应合理的内存和计算预算。 他们的数学公式可预测给定图像对 k 中每个输入帧 i 的权重图 W i W_i Wi​ W i Wi Wi​ 有 N 17 个通道这些通道用于对沿预测线段的每个相应纹理样本进行加权。我们通过仅预测单个通道来简化该模型该通道用于对来自每个输入帧的积分结果进行加权。图 2 展示了一个灰度图示例显示出网络预测在输入图像的各处权重大致相等除了在遮挡区域在这些区域权重偏向于两个输入之一的结果。这种简化显著降低了系统复杂性和内存使用量并使网络能够将更多的能力用于预测线段。 图 6 运动预测模型斜坡函数消融。a从单个输入图像对合成的运动模糊移动火车的渲染图。火车前部的运动模糊特写以及相应的输入图像对上面覆盖了表示预测线段的向量场可视化分别在b和c中使用模型 “我们的消融Ours-abl.” 和 “我们的Ours”即分别在没有和有斜坡函数的情况下。在图像b- 左图中蓝色箭头表示运动模糊轨迹的整个跨度红色箭头展示了在模糊轨迹中间最明显的间隙不连续性。 此外我们消除了由于预测线段端点误差 [Zhang 等人2016] 所导致的伪影这些伪影会使线段在跨越的时间间隔末端无法完美衔接从而在模糊轨迹中间产生非常明显的伪影如图 6 所示。为避免这一问题我们通过一个归一化的递减线性斜坡函数 wn 进一步对输入图像纹理样本进行缩放该函数更倾向于靠近输出像素的样本并沿着每条预测线段逐渐降低较远样本的权重。对于输入帧对 k输出像素 (x,y) 的强度为 I k ( x , y ) ∑ i ∈ k , k 1 W i ( x , y ) ∑ n 0 N − 1 w n ∑ n 0 N − 1 w n I i ( x i n , y i n ) (6) I{k}(x, y) \sum_{i\in{k,k1}} \frac{Wi(x,y)}{\sum{n0}^{N-1} wn} \sum{n0}^{N-1} wn I{i}(x{in}, y{in}) \tag{6} Ik​(x,y)i∈k,k1∑​∑n0N−1​wn​Wi​(x,y)​n0∑N−1​wn​Ii​(xin​,yin​)(6) 其中 w n 1 − n / N wn 1 - n/N wn​1−n/N, 采样位置定义如下 x i n x ( n N − 1 ) Δ i x ( x , y ) , y i n y ( n N − 1 ) Δ i y ( x , y ) x{in} x (\frac{n}{N-1}) \Delta{i}^{x}(x, y), \quad y{in} y (\frac{n}{N-1}) \Delta_{i}^{y}(x, y) xin​x(N−1n​)Δix​(x,y),yin​y(N−1n​)Δiy​(x,y) 我们还对网络架构进行了如下修改。首先我们将各处的带泄漏修正线性单元Leaky ReLU卷积激活函数全部替换为参数化的修正线性单元ReLU[He 等人2015]其中斜率系数是可学习的。接下来为了避免常见的棋盘格伪影 [Odena 等人2016]我们将 2 倍重采样层替换为使用平均池化进行下采样以及双线性上采样后接一个 2×2 卷积。这就得到了在后面分析的标记为 “Ours - large” 的模型。此外为了改善浮点运算次数、参数数量和感受野之间的平衡我们进一步将 U - Net 模型拓扑结构减少到仅 3 层其中每层都使用 1×1 卷积接着是一个包含 4 个 3×3 卷积层的残差网络ResNet块 [He 等人2016]。这样就得到了一个标记为 “Ours” 的模型其可学习参数显著减少。 如图 6 所示斜坡函数 w n w_n wn​ 对我们所学习的单权重模型有显著益处因为它使得预测线段在每个输入图像中跨越空间等同于对整个时间间隔进行积分。当我们的模型在去掉这个项的情况下进行训练得到 “Ours - abl.” 模型时网络预测的线段在每一侧大约跨越时间间隔的一半导致在模糊轨迹中间出现明显的不连续性。更多示例可在后面章节提供的模型比较分析中找到。 Rendering 运动预测网络输出的线条和权重核图由渲染器使用以合成运动模糊图像。渲染器在 OpenCL 内核中实现它在移动设备的 GPU 上运行效率非常高在自适应地对半分辨率输入图像进行纹理采样时利用了硬件纹理单元纹理样本数量 N 与预测线向量的长度成比例调整。运动预测和渲染迭代可以每次针对一对输入帧进行从而产生分段线性运动模糊轨迹。通过使用双线性纹理查找核图从低分辨率上采样到半分辨率。 样条插值。分段线性运动插值可能会在运动轨迹中引入锯齿状的视觉伪影。为了更平滑地对运动进行插值我们使用三次埃尔米特样条对帧间推断出的瞬时流 Δ 进行插值。 通过构建一个与Δ⁺ Δ⁻平行的向量(Δ⁺, Δ⁻) 来推断每个像素处的瞬时流量其大小等于 |Δ⁺| 和 |Δ⁻| 的调和平均数。上标 “⁺” 和 “⁻” 分别表示时间方向。如果 Δ⁺和 Δ⁻与直线路径偏离一个角度对于较小的角度偏差90°该向量会进一步按/sin的比例进行缩放对于较大的偏差路径急剧折回的地方这种调整会逐渐回归到零以避免出现奇异点。这些校正因子减少了过冲并使参数样条曲线在中等曲率区域的速度更加稳定。 δ i H ( Δ i , Δ i − ) ( θ / sin ⁡ ( θ ) ) × { 1 θ ≤ π / 2 1 − ( 2 θ / π − 1 ) 4 θ π / 2 (7) \deltai H(\Delta{i}^{}, \Delta_i^{-})(\theta / \sin(\theta)) \times \left{\begin{matrix} 1 \theta \leq \pi/2 \ 1 - (2\theta/\pi - 1)^{4} \theta \pi/2 \end{matrix}\right. \tag{7} δi​H(Δi​,Δi−​)(θ/sin(θ))×{11−(2θ/π−1)4​θ≤π/2θπ/2​(7) 对于输出位置xy处图像 I k I_k Ik​ 在区间 [k…k1] 上的累积模糊我们求解一个满足四个约束条件的参数化二维三次样条路径 ρ ( x , y , t ) \rho(x,y,t) ρ(x,y,t) ρ ( x , y , 0 ) ( x , y ) \rho(x, y, 0) (x, y) ρ(x,y,0)(x,y) ρ ( x , y , 1 ) ( x , y ) Δ i ( x , y ) \rho(x, y, 1) (x, y) \Delta_i^{}(x, y) ρ(x,y,1)(x,y)Δi​(x,y) ρ ′ ( x , y , 0 ) δ i ( ρ ( x , y , 0 ) ) \rho(x, y, 0) \deltai(\rho(x, y, 0)) ρ′(x,y,0)δi​(ρ(x,y,0)) ρ ′ ( x , y , 1 ) δ i 1 ( ρ ( x , y , 1 ) ) \rho(x, y, 1) \delta{i1}(\rho(x, y, 1)) ρ′(x,y,1)δi1​(ρ(x,y,1)) 然后我们通过在参数空间中均匀采样来沿着这条路径累积模糊并对每个样本的权重进行归一化以补偿图像空间中的非均匀空间采样从而确保沿着运动轨迹的空间亮度均匀。在突发序列的端点处我们通过尝试保持流经这些端点的流的曲率来外推第一帧和最后一帧之外的流。如图 7 所示如果 “C” 表示突发序列中的最后一帧那么在 “下一” 帧 D 处的运动轨迹位置是通过将 A 点关于平分 BC 的直线进行反射构造出 A’来外推的然后将 CA’ 的大小限制为 | BC | 以形成 CD。接着从点 {BCD} 推断出 C 处的流。 帧累积, 在实际中模糊是通过多次遍历进行累积的每对帧进行两次遍历其权重在一帧和下一帧之间呈线性下降。对于在帧 I i I{i} Ii​ 中位置为 p 的输出像素通过使用上述的流样条来确定在相对时间 t 下帧 I i I{i} Ii​ 中的投影位置 p’从而累积帧 I i I{i} Ii​ 和 I i 1 I{i1} Ii1​ 之间的模糊。对于突发序列中的 K 对帧计算 2K 次这样的遍历K 次向前K 次向后并求和以得到最终的模糊结果。对于每个时间方向: I ( x , y ) ∑ i 0 K − 1 ∑ n 0 N − 1 I i ( ρ i ( x , y , t n ) ) ∣ ρ i ′ ( x , y , t n ) w n ∣ (8) I(x, y) \sum{i0}^{K-1}\sum{n0}^{N-1} I_{i}(\rho_i(x,y,t_n)) \left | \rho_i^{}(x,y,t_n) w_n \right| \tag{8} I(x,y)i0∑K−1​n0∑N−1​Ii​(ρi​(x,y,tn​)) ​ρi′​(x,y,tn​)wn​ ​(8) 软伽马色彩空间。非常明亮的高光例如汽车前灯往往会使相机传感器饱和即使在线性色彩空间中进行处理其模糊的运动轨迹也会变得不真实地暗淡。这种截断是由于输入传感器的有限范围造成的并且当被截断的输入高光能量分布即合成地进行运动模糊在许多输出像素上时亮度损失会变得明显。 为了解决这个限制我们在一个有意的非线性色彩空间中处理模糊在区间 [0…1] 上使用一个可逆的类似伽马的 “软伽马” 函数 这会朝着与线性到 sRGB 色彩转换相反的方向调整亮度曲线强调高光而不压暗阴影使得非线性帧能够以可用的保真度存储在 16 位缓冲区中。在创建时使用 k 3.0 k3.0 k3.0 的值将该函数应用于扭曲下采样的 2 倍缓冲区并且在累积所有帧的模糊后通过再次应用 k 1.0 / 3.0 k1.0/3.0 k1.0/3.0进行反转。 γ s ( v ) v v ( 1 − v ) k ≈ v k (9) \gamma_s(v) \frac{v}{v (1-v)k} \approx v^{k} \tag{9} γs​(v)v(1−v)kv​≈vk(9) Compositing 合成的模糊图像以半分辨率计算以满足设备内存和延迟约束。因此即使模糊图像中完全对齐的零运动区域由于以半分辨率计算的结果进行上采样也会丢失细节。为了保留细节我们将模糊图像与最大锐度的常规曝光图像进行合成在我们期望物体清晰的地方。有两类内容需要这种保护1静止的场景内容2语义上重要且几乎没有移动的主体。 对于第一类我们生成一个在整个帧对集合中运动非常小的像素的掩码。 1计算所有帧对中每个像素的最大运动幅度 ||。2计算一个参考运动幅度 ||ref它实际上是 || 中所有像素的稳健最大值即第 99 百分位数。3重新缩放并截断每个像素的运动幅度使得任何低于||ref 的值被映射为 0任何高于||ref 的值被映射为 1。我们分别使用 0.16 和 0.32 作为和的值。 M f l o w ∣ F ∣ − α ∣ F ∣ r e f β ∣ F ∣ r e f − α ∣ F ∣ r e f M{flow} \frac{|F| - \alpha |F|{ref}}{\beta |F|{ref} - \alpha |F|{ref}} Mflow​β∣F∣ref​−α∣F∣ref​∣F∣−α∣F∣ref​​ (4) 使用清晰图像作为引导应用双边模糊以确保在 M f l o w M{flow} Mflow​ 中的任何边缘对应于真实边缘并在流场不可靠的地方例如像天空这样的均匀或无纹理区域最小化伪影 第二类更加复杂它背离了光学运动模糊的物理行为而倾向于美学。例如如果一个场景中有两个主体以不同的轨迹移动那么就不可能同时在两者上都清晰对齐。即使是单个主体由于主体内部的运动例如面部表情的变化等也可能无法对齐。一个主体面部模糊的图像是不好的模糊图像。我们的解决方案是重用前面描述的语义面部信号修改为只包括在对齐的参考帧中具有低平均特征运动的面部。 最终的效果图例