云服务器怎么建网站番禺建设银行网站

当前位置： 首页 > news >正文

云服务器怎么建网站,番禺建设银行网站,apache网站开启gzip,邢台网络问政论文题目: Building height estimation from street-view imagery using deep learning, image processing and automated geospatial analysis 中文题目: 基于深度学习、图像处理和自动地理空间分析的街景图像建筑高度估算 作者: Ala’a Al-Habashna, Ryan Murdoch 作者单位: … 论文题目: Building height estimation from street-view imagery using deep learning, image processing and automated geospatial analysis 中文题目: 基于深度学习、图像处理和自动地理空间分析的街景图像建筑高度估算 作者: Ala’a Al-Habashna, Ryan Murdoch 作者单位: 加拿大统计局特别业务项目中心数据探索和集成实验室加拿大渥太华 投稿时间2023年5月16日 修改时间2023年8月24日 接受时间2023年9月28日 在线发表时间2023年11月11日 期刊: Multimedia Tools and Applications 中国科学院SCI期刊分区的四区 摘要 近年来许多研究致力于从街景图像中提取有关建筑和基础设施、交通与移动性、步行性以及健康与福祉的有价值数据 本文提出了两种算法及其实现方法用于利用深度学习DL和高级图像与地理空间数据处理算法从街景图像中自动估算建筑高度 BHEDC算法基础算法用于估算建筑高度。iBHEDC算法改进版算法增加了新的组件和优化步骤。 本文旨在通过改进现有算法 (BHEDC)提出一种新的方法iBHEDC以提高建筑高度估算的精度和效率 点击查看BHEDC论文解析: https://tancer.blog.csdn.net/article/details/144121336 背景 建筑高度是城市建模与规划、城市与经济分析等领域的重要数据。传统方法依赖于昂贵的测量设备或高分辨率遥感图像而街景图像提供了一种低成本、高可用性的替代方案。尽管街景图像在地理空间数据提取中具有潜力但如何从中准确估算建筑高度仍然是一个挑战尤其是在复杂的城市环境中 相关研究 步行性分析Smith等人提出了一种方法通过街景图像提取人行道的存在及质量数据用于设计步行友好型城市。道路表面分类Marianingsih和Utaminingrum使用街景图像训练分类器将道路表面分类为多种类型如沥青、砾石视觉定位通过与地理标记图像的比较预测图像的地理位置Zhao等人提出了一种基于语义分割和边缘检测的建筑高度估算方法。Al-Habashna提出了BHEDC算法利用街景图像和建筑轮廓数据进行高度估算。 方法 iBHEDC算法概述 预处理与语义分割对输入图像进行预处理使用CNN生成语义分割图像提取建筑物区域。建筑维度提取通过颜色变换和单应性变换提取建筑物在图像中的高度。轮廓与顶部点提取使用Ramer-Douglas-Peucker算法提取建筑轮廓并确定建筑顶部点。高度估算结合相机投影模型和校正因子估算实际建筑高度。 相关处理技术概览: 颜色变换对图像像素进行颜色变换以避免语义分割输出中的问题。单应性变换将图像归一化为零俯仰角图像。语义分割使用训练好的CNN生成语义分割图像阈值处理提取建筑物像素区域并通过提取最大连通区域消除无关子区域。轮廓提取使用Ramer-Douglas-Peucker算法对轮廓进行近似提取建筑物的顶部点。相机投影模型结合图像中的建筑维度和相机元数据估算实际建筑高度 数据集和评价指标 数据集 数据集包含400个建筑物的街景图像及其对应的建筑轮廓数据。 数据来源包括多个平台如Open Street Map和其他地理空间数据平台。 评价指标 高度估算精度通过与真实建筑高度的对比评估算法的准确性。 算法鲁棒性在复杂场景如遮挡、光照变化下测试算法的表现 iBHEDC 算法改进版建筑高度估算算法高层次工作流程的框架图 整个工作流程从获取街景图像开始通过数据预处理、深度学习相关处理、地理空间数据分析和图像处理一步步实现建筑高度的估算 获取测试图像 步骤从Google Street-View Static API中获取街景图像。 目的为算法的后续分析提供原始测试数据确保街景图像具有良好的质量并附带元数据信息如图像的地理位置、相机信息等。图像预处理 步骤对图像实施必要的预处理操作。 内容可能包括图像的裁剪、去噪、颜色校正以及对元数据的验证和标准化处理。 作用提高图像质量确保后续深度学习和图像处理步骤的结果准确性和可靠性。基于深度学习的语义分割 步骤利用深度学习模型如卷积神经网络CNNs对图像进行语义分割以识别建筑物区域。 功能通过像素级分割为后续的建筑物轮廓提取和高度估算提供信息。下载建筑轮廓数据 步骤从地图数据平台如 Open Street Map下载与图像相关的建筑轮廓数据building footprint data。 作用获取建筑物的基本地理轮廓为估算实际建筑高度提供地理空间信息支持。地理空间处理与建筑与相机距离计算 步骤结合地理空间数据和图像元数据计算建筑物与相机的位置和距离。 方法包括图像与地理位置的对应以及基于透视技术的距离计算。 目的通过相机与目标建筑物的空间关系完善建筑高度的估算公式。提取建筑物图像维度 步骤应用图像处理技术提取建筑物在图像中的高度如顶部点到底部点的像素距离。 技术使用边缘检测、形状提取以及轮廓拟合等技术从语义分割图像提取建筑物的主要维度。估算建筑高度 步骤通过相机投影模型结合上述提取的建筑维度和相机-建筑距离估算实际建筑高度。 方法使用几何关系和透视变换技术将图像中以像素表示的建筑物高度转换为实际物理高度。 在 iBHEDC 算法中提取建筑图像维度详细流程 该图主要描述了如何从语义分割后的图像中提取建筑物在图像中的高度 流程主要三大部分: 语义分割与图像预处理对图像进行强度变换Intensity Transformation、变换校正Plane-to-Plane Homography和语义分割等处理。 应用强度变换Apply Intensity Transformation on the Image 作用通过调整像素值分布提高图像的对比度从而增强建筑物的清晰度。 方法可能包括直方图均衡化或伽马校正。应用平面到平面单应性变换Apply Plane-to-Plane Homography if Needed 作用校正由于相机角度造成的建筑物倾斜问题使得图像中的建筑物呈现直立状态。 方法将非垂直平面的像素校正到同一视角垂直平面。使用语义分割识别图像中的建筑物Use Semantic Segmentation to Identify Buildings in the Image 作用通过卷积神经网络CNN等深度学习方法将建筑物区域从图像中精准分割出来标记背景和建筑物像素区域。 建筑轮廓提取通过阈值和连通性分析提取建筑物的连通区域以及轮廓 应用搜索区域算法确定建筑区域Apply the Search-Region Algorithm to Determine the Building’s Region 作用通过分析建筑物的位置和大小划定建筑物的感兴趣区域Region of Interest。应用图像阈值处理获取建筑像素Apply Image Thresholding to Obtain Pixels of Buildings 作用根据像素强度将图像二值化提取与建筑物相关的像素区域。提取最大的连通区域Extract the Biggest Connected Component 作用分析连通像素区域Connected Components保留覆盖面积最大的区域排除无关或背景噪声。 高度计算找到建筑轮廓的最高点根据校正获取建筑在图像中的大致高度 提取轮廓Extract the Contour 作用通过边界检测提取建筑物像素区域的边缘轮廓形成精确的建筑物形状信息。轮廓拟合Approximate the Contour 方法使用 Ramer-Douglas-Peucker 算法对轮廓进行多边形拟合从而去除冗余复杂信息保留重要的轮廓特征。在拟合轮廓中获取最高点Get the Highest Point in the Approximated Contour 功能通过分析轮廓顶点确定建筑物在图像中的最高位置为后续高度计算提供基础数据。计算大致的建筑图像高度Calculate the Approximate Building-Image Height 方法计算建筑物最高点和最低点在图像中的像素间距得出建筑在图片中的高度。应用建筑图像高度校正Apply Building-Image Height Correction 功能通过结合图像元数据如相机和建筑距离、视角参数进行校正得到更准确的图像高度。 预处理步骤对输入图像的影响 左图a原始街景图像体现了捕获数据的初始状态但可能包含一些不利影响比如色彩不均、光照问题、视角偏差等。 右图b经过强度变换Intensity Transformation和图像校正Plane-to-Plane Homography后的图像处理后建筑物呈现更好的可见性同时减小了因拍摄角度引起的倾斜和失真问题 强度变换Intensity Transformation 目的增强图像的对比度为后续任务提供更清晰的边缘与物体分界线。 直方图均衡化Histogram Equalization均衡像素的分布突出重要视觉特征。伽马校正Gamma Correction调整图像的亮度修复过暗或过亮区域。 单应性变换Plane-to-Plane Homography 目的校正因相机拍摄角度引起的图像倾斜和投影变形问题。 利用地面平面和垂直建筑平面的几何特性对图像进行投影变换。将带有倾斜感的建筑物拉直使其在图像中看起来更加正立。
视觉改进从左图到右图光照和建筑物边界的清晰度明显提高图像大部分噪声消除例如色彩均衡和锐化效果。 建筑形状拉直预处理后的图像中建筑物看上去更加对齐并且轮廓如建筑的边缘和顶部点更易于识别 预处理步骤对语义分割的影响 左图a未经处理的原始街景图像来自 Google Street View。 右图b未经预处理情况下的语义分割结果展示了算法在分割建筑物区域时的失败案例 左图 (a)显示经过伽马校正Gamma Correction后的预处理图像目的是改善图像亮度和对比度。 右图 (b)展示了在应用预处理后语义分割的改进结果。图示中不同颜色代表语义分割后的分类结果例如建筑物、草地、天空等。 定义感兴趣的区域 图6中的分割是令人满意的然而相邻的建筑被组合成一个单一的连接组件都是同一个连接子区域的一部分 高度估计的下一步是识别建筑物子区域中的最高点。然而当相邻的建筑组合成一个连接的组件时最高点可能属于错误的建筑。为了帮助避免选择属于不正确建筑物的点开发了以下水平搜索区域识别算法。 红色闭合线 代表建筑物的实际轮廓的俯视投影提供了与视线方向相关的边界信息。 所有分割点显示了建筑边缘在该坐标系下的表现是高度提取过程中最核心的数据来源 绿色直线 代表了摄像机视线方向直接与目标建筑进行对准。 用于定义建筑物的中心线对应建筑投影区域的主要方向。 蓝色虚线三角形 表示建筑物的感兴趣区域投影范围可根据相机视角范围Field of View, FOV定义。 角度范围为 θ m i n \theta{min} θmin​ ~ θ m a x \theta{max} θmax​分别为感兴趣区域的两侧边界 (a) 语义分割结果显示经过语义分割模型处理后的街景图像图像中使用不同颜色表示各语义类别如建筑物、道路、天空等。 (b) 提取的搜索区域表示从语义分割结果中提取的感兴趣区域搜索区域主要聚焦于与建筑物相关的部分为后续建筑高度估算奠定基础。 建筑物轮廓提取和顶点检测 (a) 最大连通区域 (Largest connected component)提取了被语义分割所得的建筑物区域中最大的连通区域排除了无关区域。 白色区域代表建筑物黑色区域则为背景或被过滤掉的小连通区域。 只保留覆盖面积最大的连通区域以确保目标区域的完整性同时消除语义分割时可能的误分类噪声 (b) 建筑轮廓与顶部点 (Building contour and top points)基于最大连通区域进一步提取建筑轮廓并标注建筑的顶部点为后续的高度计算提供关键数据。 黑色线条显示建筑物的轮廓线是通过对最大连通区域进行边缘检测获取的。 图中标注了两个点 红色点建筑物的一个参考顶点可能是初步提取的最高点。 黄色点最终确定的建筑物最高点用于估算建筑高度。 建筑高度估算的两步关键流程 (a) 搜索区域与顶点标注 背景 输入图像经过语义分割后在图中使用不同颜色表示不同区域如道路、天空、建筑等。 黄色和紫色垂直线 界定了感兴趣的搜索区域表示专业算法关注的建筑物宽度范围。 黑色轮廓 表示算法识别出的建筑物边界线用于高度估算的基础。 浅蓝圆点 标记了建筑物的最高点用于估算高度的顶部点位置。 (b) 高度估算结果 绿色水平线 对应建筑物的顶部轮廓线用于估算高度的上界。 红色水平线 表示建筑物的底部线通常与地面或一层的标准高度对齐。 黄色和紫色垂直线 对应搜索区域的左右边界与左图 (a) 保持一致。 数字“7.596” 表示算法根据顶部和底部线的位置结合摄像机参数估算出的建筑物实际高度。 流程如下: 语义分割与目标区域提取 输入的街景图像首先经过语义分割标注出建筑、天空、地面等不同类别并生成分割掩模如(a) 图所示。 检测感兴趣区域的关键部分定义上边界和下边界排除非建筑部分如天空和道路。搜索区域划分与轮廓标记 垂直方向上通过黄色和紫色线划定建筑物的搜索范围确保建筑物的完整性。 利用轮廓检测技术提取建筑物的边界并标记建筑物的最高点蓝色圆点。实际高度估算 在右图(b) 对应的实际图像中绘制顶部线绿色和底部线红色。 借助建筑物在图像中的位置、高度像素差异以及摄像机参数利用几何投影关系计算建筑物的实际高度。 最终结果以数值形式显示如“7.596” 平面单应性变换和校正 (a) 原始输入图像未经任何处理的街景视图 (b) 经平面单应性变换plane-to-plane homography和校正后的图像解决了建筑物倾斜和畸变的问题 通过平面映射算法plane-to-plane homography解决由于相机视角产生的透视失真问题, 建筑物得以“拉直”变得垂直于图像。 校正后消除了由于拍摄角度导致的透视变形。 整体图像的框架和比例更规则为后续的语义分割奠定了良好基础。 (c ) 基于校正图像生成的语义分割结果显示了不同语义类别标记的像素区域 通俗解释平面单应性变换Homography Matrix及应用 在建筑高度估算中原始图像通常会因为相机的拍摄角度pitch值不同而发生透视失真。 例如拍摄高楼时街景相机通常会向上倾斜。这会导致建筑看起来像是“向后倾斜”的样子使图像中的线条并非垂直。为了计算建筑高度我们需要把这些倾斜的图像矫正为“正视图”就好像是在建筑正前方以零角度拍摄的一样 什么是平面单应性 (Homography)? 单应性是描述同一平面上两幅图像之间几何关系的数学模型。 假设你从两个不同角度拍摄同一平面例如建筑正面图像会因拍摄角度不同而呈现变化透视失真。单应性变换可以调整一幅图像将它“对齐”到另一幅图像使两幅图像的内容匹配同步。 如何实现单应性变换? 单应性用 3×3的矩阵 H H H 表示它将一个图像的点映射到另一个图像中对应的点 p ′ H ⋅ p p H \cdot p p′H⋅p p p p在原图像中的一点用坐标 x , y x, y x,y 表示 p ′ p p′在变换后新图像中的对应点 H H H单应性矩阵描述两幅图像之间的几何关系。 过程解释: 原始问题相机倾斜的影响 在街景图像中建筑由于相机的拍摄角度可能会产生倾斜或畸变这会破坏建筑的真实比例和高度。 例如当相机仰视拍摄时建筑上部会显得比下部更小这种失真会导致高度估算不准确。如何校正使用单应性变换 首先我们需要两幅图像 一个初始倾斜角度有pitch的图像一个假设为零倾斜角度无pitch的标准图像。然后我们选取两幅图像中对应的点对例如同一个窗户的角点。只需选取至少 4 对点这些点经过计算可以生成一个单应性变换矩阵 H H H使用矩阵 H H H可以将倾斜图像的所有像素点“投影”为零倾斜角度的标准视图就像是从建筑的正面直接拍下来的效果 使用校正模型对建筑物实际高度估算结果的影响 (a) 搜索区域的分割结果通过语义分割模型标注出建筑物的相关区域 (b) 使用校正模型的高度估算结果考虑透视失真的校正后计算出较为准确的建筑物高度 (47.772) (c ) 未使用校正模型的高度估算结果未考虑透视失真仅通过简单像素高度计算出的高度值 (28.273) 校正模型作用 修复拍摄角度如仰视拍摄导致的建筑顶部“远小近大”的透视失真问题。使用基于校正因子的数学模型 (关于校正模型的详细请查看论文)将图像中的像素高度正确映射到实际高度。 自动选择相机仰视角度 (pitch) 自动选取合适的仰视角度是为了使建筑物的顶部能够完全出现在图像中同时去除冗余部分如天空 流程开始 设置初始 pitch 值为 0 初始化相机的仰视角度 0°并将此角度作为初始输入。图像捕获与分割 在当前 pitch 值下获取图像并进行语义分割以识别建筑物区域以及判断建筑物是否完全显示。判断顶端连通区域是否出现在图像顶部 如果分割结果表明建筑物的连通区域延伸到顶部说明当前视角适合拍摄。流程结束。 如果没有延伸到顶部说明相机的视角需要调整。增加 pitch 值 以一定的步长增加 pitch 值通常为固定的角度例如 5° 或 10°重新获取图像并重复前述检查。最高 pitch 值限制 如果 pitch 增加到最大值时仍无法满足要求说明无法获取到完整的建筑物顶部区域。流程停止并显示“No pitch value found”。使用已有图片 若未找到顶端对应的 pitch 值可以选择使用最接近的下载图像进行后续处理 从OpenStreetMap (OSM) 数据中提取建筑的边界轮廓以及节点信息 (a) 建筑边界在 OSM 中的整体视图 (b) 建筑边界上的一个具体节点作为后续分析的关键地理参考点 相机到建筑物水平距离的几何模型 Camera (相机位置) 表示相机在拍摄场景中的位置作为坐标原点。使用相机参数如焦距结合几何关系估算建筑物的相对距离和高度。 Building建筑物 建筑物是目标对象其底部靠近地面被投影到不同的距离平面。 虚线框黄色矩形框 表示建筑物在相机视场中的投影视图模拟建筑在二维图像空间的数据表示。 关键距离 红色箭头 d m d_m dm​表示 实际测量的相机到建筑物的距离通过平面测量或 GPS 数据获得。 蓝色箭头 d ′ d d′表示 相机到建筑物的投影距离是一个在计算中应用的几何约束距离。 绿色箭头垂直方向上的辅助距离用于连通不同设施或几何关系 高度补正 通过蓝色箭头 d ′ d d′ 代替红色箭头 d m d_m dm​ 参与计算消除相机角度对建筑高度估算的误差 高度计算 公式: h ^ b h u ⋅ d ′ / f h c \hat{h}_bh_u\cdot d^{\prime}/fh_c h^b​hu​⋅d′/fhc​ h ^ b \hat{h}_b h^b​: 估算的建筑高度 (Estimated Building Height)。 h u h_u hu​: 建筑最高点相对于图像的中线水平中线所占的 像素高度表示为像素单位的垂直距离 d ′ d d′: 相机到建筑的水平距离 (Projected Distance to the Building) f f f: 相机的焦距 (Focal Length) h c h_c hc​: 相机距地面的高度, 表示相机安装点到地面的固定高度即相机本身的基础高度通常由相机持有者如人或车辆的高度决定为一个常量 效果 展示了针对不同类型住宅建筑的高度估算结果示例 (a) 与 (b)高层公寓建筑 (apartment buildings) 在每张图片顶部显示了估算出的建筑高度值分别为 44.451 米和 35.401 米。 两栋建筑均为城市中常见的高层公寓楼模型通过远程拍摄图像对其高度完成了估计。 (c ) 与 (d)低层住宅 (houses) 图片展示了独立式住宅的高度估算值分别为 9.152 米和 9.154 米。 这些建筑大多为二层普通民用住宅是常见的低矮建筑。 针对不同类型的 非住宅建筑Non-residential Buildings 的高度估算结果可视化示例 (a) 办公楼 (Office Building) 估算高度为 21.683 米属于较高类型的建筑。 (b) 小型办公建筑 (Small Office Building) 估算高度为 8.714 米是一种相对较低的办公场所建筑。 (c ) 零售店 (Retail Store) 估算高度为 12.069 米为常见的中型商业建筑高度。 (d) 餐厅 (Restaurant) 估算高度为 6.315 米为低矮的单层小型商业建筑 两种算法BHEDC 和 iBHEDC 在建筑高度估算任务中的 绝对误差分析结果: iBHEDC 显著优于 BHEDC iBHEDC改进后的建筑高度估算算法 中各项改进对估算性能提升的贡献 Image preprocessing图像预处理 对误差减少的贡献为 0.13 米。 通过改进图像预处理步骤优化了输入数据质量对误差减少的贡献较小。 Search region identification搜索区域识别 对误差减少的贡献为 1.27 米。 这是贡献最大的改进模块表明通过更精确地定位建筑的搜索区域显著提高了高度估算的准确性。 Post-homography height correction单应性后高度校正 对误差减少的贡献为 0.81 米。 单应性Homography变换后进行校正有效修正了几何偏差显著减少了误差。 Projected camera-building distance投影相机-建筑距离校正 对误差减少的贡献为 0.34 米。 通过精确估算相机与建筑之间的投影距离纠正了距离测量误差带来了适度的性能提升 挑战 该图说明由于相机到建筑物的距离测量错误可能导致建筑高度估算出现偏差的问题 两条测量线 红色线错误的距离测量线 表示从相机到建筑“入口”的距离这是假设中的错误测量路径。 绿色线正确的距离测量线 表示从相机到建筑主体的基底最靠近主结构的点的距离这是准确的测量路径 质疑 数据集是否足够多样化以涵盖不同类型的建筑和城市环境数据集中是否包含足够多的复杂场景如遮挡、光照变化以验证算法的鲁棒性在实际应用中街景图像的质量和分辨率可能会影响算法的表现这一点是否被充分考虑系统在实时应用中的表现如何例如在动态城市环境中的部署