半全局约束下的多基线立体影像MVLL匹配方法 MVLL Match Method for Multi-baseline Stereo Imagery Based on Semi-global Constraint 1 first-author 纪松，博士，副教授，主要从事多基线立体影像匹配理论与方法研究。jisong_chxy@163.com 纪松，博士，副教授，主要从事多基线立体影像匹配理论与方法研究。jisong_chxy@163.com jisong_chxy@163.com 1 corresp 张永生，博士，教授。yszhang2001@vip.163.com 张永生，博士，教授。yszhang2001@vip.163.com yszhang2001@vip.163.com 2 1 信息工程大学地理空间信息学院，河南 郑州，450001 信息工程大学地理空间信息学院，河南 郑州，450001 Institute of Surveying and Mapping, Information Engineering University, Zhengzhou 450001, China Institute of Surveying and Mapping, Information Engineering University, Zhengzhou 450001, China 西安测绘研究所，陕西 西安，710054 西安测绘研究所，陕西 西安，710054 Xi'an Research Institute of Surveying and Mapping, Xi'an 710054, China Xi'an Research Institute of Surveying and Mapping, Xi'an 710054, China 多视铅垂线轨迹法（multi-view vertical line locus，MVLL）能够以物方地面铅垂线为几何约束，匹配获取物方空间点的最佳高程，是一种实用的多基线立体影像匹配方法。针对MVLL匹配方法中的物方空间点独立匹配、缺少整体性约束问题，将物方空间局部光滑特性应用至匹配过程，提出了一种半全局约束下的多基线立体影像MVLL匹配方法。首先，将物方空间点沿地面铅垂线上的准确高程搜索，等效至像方空间沿核线方向上的准确视差搜索；其次，采用MVLL匹配方法计算物方空间点在多张影像上的等效像方匹配测度；然后，采用半全局匹配法（semi⁃global matching, SGM）对匹配测度进行多路径聚合分析，得到物方空间局部光滑约束下的等效视差图；最后，将等效视差图转化为物方空间点匹配高程，并对多基线立体影像进行多分辨率匹配处理，实现整体最优条件下的MVLL匹配。采用多类型地形特征与局部区域影像进行匹配实验与对比分析，实验结果表明，所提方法能够对多类型地形特征的物方空间匹配测度进行优化，获取更加可靠的匹配结果，具有更高的影像匹配性能。 Objectives 2 Multi-view vertical line locus (MVLL) is a practical multi-baseline stereo image matching method, which can match and obtain the best elevation of ground points with the ground plumb line as geometric constraint. Aiming at solving the problem of independent ground point matching and lacking integrity constraint in MVLL matching method, the local smooth property of object space is applied to the matching process, and the MVLL matching method for multi-baseline stereo imagery based on semi-global constraint is proposed. Methods 2 Firstly, the accurate elevation of ground points is searched along the ground plumb line, which can be equivalent to the accurate parallax search along the epipolar image space. Secondly, the MVLL matching method is used to calculate the equivalent image matching measure of ground points on multiple images. Then, the semi⁃global matching (SGM) method is used to aggregate and analyze the matching measure through multi-path, and the equivalent disparity map under the local smooth constraint of the object space is obtained. Finally, the equivalent parallax map is converted to matching elevation of the ground points. And through multi-resolution matching of the multi-baseline stereo imagery, MVLL matching is realized under the overall optimal conditions and greatly integrated with SGM matching method. Results 2 The effectiveness of the proposed method is verified by experiments and analysis of various terrain features, including uneven surface feature, similar texture feature and occlusive feature. Comparative experiments are also conducted on local image areas. Conclusions 2 The experimental results show that the proposed method can optimize the object space matching measure of different terrain features, obtain more reliable matching results, and have higher image matching performance. 半全局约束 多基线 多视铅垂线轨迹法 物方空间 semi⁃global constraint multi⁃baseline multi-view vertical line locus object space 多基线立体影像匹配方法是计算机视觉和摄影测量中三维场景恢复的重要技术方法，它能够利用多视角影像提供的冗余信息，覆盖信息盲区，生成与激光雷达（light detection and ranging，LiDAR）相媲美的点云数据，近年来得到了广泛的研究与应用。 按照处理单元的不同，多基线立体影像匹配方法可以分为单立体像对匹配融合方法、多立体像对整体匹配方法两大类 ［ 1 1 ］ 。单立体像对匹配融合方法的核心思想是对多度重叠影像两两匹配，获取多个匹配视差图（深度图），通过视差图融合来获取多基线立体匹配结果，该方法主要研究内容包括单立体像对匹配与视差图获取、视差图融合等，典型应用系统有SURE（surface reconstruction）、像素工厂等 ［ 2 2 ］ 。为了提高匹配结果的可靠性，单立体像对匹配融合方法通常采用全局匹配算法，如动态规划法、图割法、置信传播法及半全局匹配法（semi⁃global matching，SGM）等 ［ 3 3 - 5 5 3-5 ］ ，进行优化处理。 多立体像对整体匹配方法采用影像之间固有的几何约束关系，在像方空间基准或者物方空间基准下，通过匹配测度的整体性计算与分析来获取匹配结果，主要包括几何约束互相关（geometrically constrained cross correlation， GC 3 ） ［ 6 6 ］ 、多视铅垂线轨迹法（multi-view vertical line locus，MVLL） ［ 7 7 ］ 、PMVS（patch based multi-view stereopesis） ［ 8 8 ］ 以及MicMac ［ 9 9 ］ 等匹配方法。其中，GC 3 和MVLL匹配方法采用影像间的准核线、铅垂线几何约束，计算局部匹配窗口在多张影像中的归一化互相关均值（sum of normalized cross correlation， SNCC）匹配测度 ［ 10 10 ］ ，分析并获取多基线立体影像匹配结果；PMVS和MicMac匹配方法则根据构像模型，计算匹配面元与影像像素的对应关系及其归一化互相关（normalized cross correlation， NCC）匹配测度 ［ 7 7 ］ ，分析并获取多基线立体影像匹配结果。在匹配测度的计算过程中，GC 3 、MVLL、PMVS和MicMac匹配方法均使用了局部影像匹配窗口中的灰度信息，且匹配窗口灰度信息相互独立，属于局部影像匹配方法。 与全局影像匹配方法相比，局部影像匹配方法的匹配基准是相互独立的，且匹配过程没有考虑局部影像场景的光滑性、整体影像场景的一致性和最优性等问题，匹配结果中往往存在着较多的误匹配和粗差。为此，GC 3 、MVLL、PMVS等多立体像对整体匹配方法虽然能够利用多视影像提供的冗余信息，在一定程度上提高影像匹配可靠性，但是误匹配结果和匹配粗差依然广泛存在，需要进一步优化处理 ［ 11 11 - 13 13 11-13 ］ 。 本文提出了一种半全局约束下的多基线立体影像MVLL匹配方法，该方法通过立体像对之间固有的物方几何关系，在MVLL匹配方法的基础上，采用半全局影像匹配思想，对物方匹配单元实施高程一致性约束，将匹配方法的局部最优调整至整体最优，得到优化条件下的影像匹配结果，具有较高的匹配可靠性。 1　MVLL匹配方法的半全局约束策略及方法步骤 1 1.1　MVLL匹配方法及其特点 2 MVLL是一种物方多基线立体匹配方法，该方法从多基线角度对传统的铅垂线轨迹法（vertical line locus，VLL） ［ 7 7 ］ 进行了改进，在利用多张影像信息的同时，从地面铅垂线的投影辐射线方向对影像匹配的搜索范围进行约束，以获取精确、可靠的立体匹配结果，该方法的详细匹配过程参见文献［ 7 7 ］。与单立体影像匹配方法相比，MVLL匹配方法的可靠性得到了较大的提高，但是在影像匹配过程中，该方法的各个待匹配地面点相互独立，没有使用邻近地面点的匹配信息，难免发生匹配错误，仍然具有一定的改进空间。 1.2　SGM影像匹配方法 2 SGM是一种基于像方的单立体影像匹配方法，该方法通常用于经过核线纠正后的两张重叠影像，通过视差代价函数的构造和多路径聚合寻找全局最优值，获取密集同名像点 ［ 14 14 - 15 15 14-15 ］ 。SGM方法中，相邻的待匹配像点不再是相互独立关系，而且互为约束、相互预测。该方法的最大特点是通过多个方向（通常为8方向或者16方向）的一维平滑约束来近似二维平滑约束，极大地简化了全局最优解的寻找过程，因而在地物形状的保持上具有一定的优势；该方法还可以与金字塔影像匹配方法相结合，利用金字塔影像匹配结果提供匹配初值，减少视差搜索范围，提高匹配效率，具体匹配过程参见文献［ 16 16 ］。 1.3　MVLL匹配方法中的半全局约束策略 2 本文借鉴SGM方法思路，对MVLL方法进行调整 ［ 16 16 ］ ，使其既能采用局部铅垂线约束，又能进行全局性约束，进一步提高MVLL方法的匹配性能。调整后的方法称为多分辨率半全局多视铅垂线轨迹法（SGM-MVLL），其匹配模型如 图1 图1 所示。 图1 图1 给出了同一航带上的3张三线阵影像，原始影像分别记为 I <math id="M1"><msubsup><mrow/><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115573&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115564&type= 1.18533325 4.31799984 、 I <math id="M2"><msubsup><mrow/><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115575&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115588&type= 1.18533325 4.31799984 和 I <math id="M3"><msubsup><mrow/><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115583&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115592&type= 1.18533325 4.31799984 ，其金字塔影像分别记为 I <math id="M4"><msubsup><mrow/><mrow><mn mathvariant="normal">0</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115602&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115598&type= 1.18533325 4.31799984 、 I <math id="M5"><msubsup><mrow/><mrow><mn mathvariant="normal">1</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115623&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115620&type= 1.18533325 4.31799984 和 I <math id="M6"><msubsup><mrow/><mrow><mn mathvariant="normal">2</mn></mrow><mrow><mi>i</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115615&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115612&type= 1.18533325 4.31799984 （ i =1，2，…， n ），其中 i 为金字塔影像的层次； P 0 为待匹配的地面点； Z 0 和 Z true 分别为 P 0 点的高程初值和高程真值；Δ Z 为 P 0 点的高程误差，且 P 0 点的高程取值范围为［ Z 0 -Δ Z ， Z 0 + <math id="M7"><mi mathvariant="normal">Δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115648&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=45115637&type= 2.53999996 2.79399991 Z ］； L i 为 P 0 在第 i 层金字塔影像上的SNCC匹配测度曲线； x 轴、 y 轴和 d 轴构成的三维空间为 L i 对应的高程搜索空间。在金字塔影像 L i 分析过程中，本文采用物方虚拟至像方约束、物方半全局多路径聚合约束策略，实现MVLL匹配方法半全局优化。 1.3.1　物方虚拟至像方约束 3 MVLL匹配方法的物方虚拟至像方约束策略如 图2 图2 所示。该策略将MVLL匹配测度的计算过程等价于SGM匹配测度的计算过程，实现MVLL方法匹配测度计算过程的物方向像方虚拟。 图2 图2 中，地面点 P 0 的平面坐标（ X p ， Y p ）已知且为固定值； P 0 点的准确高程坐标 Z p 未知，需要通过影像匹配来获取； P 0 点的地面铅垂线向 n 张匹配影像投影，投影辐射线上的像点为（ x i ， y i ）。通过 图2 图2 所示的虚拟方法，本文将MVLL方法的多像匹配测度计算过程等价于SGM方法的两张核线影像匹配测度计算过程，采用的两种等价手段如下： 1）以地面点 P 0 的平面坐标（ X p ， Y p ）作为固定的物方约束，将其等价于SGM匹配方法中的基准像点，如 图2 图2 中的（ X p ， Y p ）与（ x p ， y p ）的对应关系。 2）根据地面点 P 0 的高程变化区间所对应的投影辐射线上的像点（ x i ， y i ），选取其中一张影像作为基准影像，其余影像作为搜索影像，计算多张影像在投影辐射线上的SNCC匹配测度（通过NCC匹配测度来获取），并将该匹配测度等价于等效核线影像获取的匹配测度，实现地面高程点变化区间与核线影像像点搜索区间的等价，如 图2 图2 中的地面点 P 0 与等效核线影像上的点①、②、…、⑧的对应关系。 物方虚拟至像方约束策略的意义在于借用MVLL方法的多像综合处理能力，解决了SGM匹配方法只能两两影像匹配的难题，实现了任意多张影像的整体性SGM匹配测度的统一计算，为SGM匹配方法的多基线立体匹配处理提供了一种新的技术途径，也为MVLL匹配方法的物方半全局多路径聚合约束提供了基础。 1.3.2　物方半全局多路径聚合约束 3 本文将匹配测度的SGM像方多路径聚合转换为MVLL的物方多路径聚合，以8路径为例，将像点 p 0 （ x 0 ， y 0 ）的八邻域像点（（ x 0 -1， y 0 -1），（ x 0 ， y 0 -1），（ x 0 -1， y 0 ），…，（ x 0 +1， y 0 +1））等价于物点 P 0 （ X 0 ， Y 0 ， Z 0 ）的八邻域物点（（ X 0 -Δ X ， Y 0 +Δ Y ， Z 1 ），（ X 0 ， Y 0 +Δ Y ， Z 2 ），（ X 0 +Δ X ， Y 0 +Δ Y ， Z 3 ），…，（ X 0 +Δ X ， Y 0 -Δ Y ， Z 8 ），其中Δ X 和Δ Y 为物方规则格网间隔），在物方空间上进行匹配测度的半全局多路径聚合如 图3 图3 所示。具体等价方法是将SGM的像方相邻点等价为MVLL的物方相邻点，采用8路径或者16路径实现MVLL匹配测度的聚合分析，如 图3 图3 中的点①、②、…、⑧及其箭头所示的8条聚合路径的对应关系。 1.4　半全局约束下的MVLL匹配方法及步骤 2 根据上述分析，在物方虚拟至像方和物方半全局多路径聚合的约束下，多基线立体影像MVLL匹配方法的主要步骤如下： 1）选用多张覆盖有同一地面场景的影像，通过影像成像模型、定位参数以及平均高程，计算地面场景的平面坐标范围；按照匹配结果精度要求来设定坐标间距，划分地面场景，得到规则平面格网及其坐标点｛（ X o +c× Δ X ， Y o +r× Δ Y ） | c= 1，2，…， h ； r= 1，2，…， w ｝，其中（ X o ， Y o ）为格网左下角点平面坐标，Δ X 和Δ Y 为坐标间距， h 和 w 为格网的行、列数量。 2）选择成像视角与地面铅垂线夹角最小的影像作为基准影像 I 0 ，其余影像作为待匹配影像 I j （ j =1，2， …，k ），其中 k 为待匹配影像数量；通过 I 0 与 I j 的特征点匹配，计算匹配影像的视差均值及其方差；随后根据同名特征点交会高程，计算地 面场景的高程均值 Z mean 和高程误差Δ Z ，并设置高程变化参数 Z d ，其大小通常为影像分辨率的1/2。 3）在最顶层影像金字塔的视差均值低于阈值参数的条件下（通常为10像素），对影像 I 0 和 I j 进行金字塔处理，并通过 Z d 计算各层金字塔影像对应的高程变化比例参数 P Z 。 4）顺序选取规则格网点（ X c ， Y r ），给定点位高程 Z cr ，对于最顶层金字塔影像， Z cr = Z mean ；对于其他金字塔影像层次， Z cr 由上一层匹配结果传递得到。根据影像成像模型以及定位参数，计算格网点（ X c ， Y r ）在影像 I 0 和 I j 上的像点并映射至对应金字塔层次，得到像点 p 0 和 p j ；随后计算像点 p 0 与 p j 之间的SNCC匹配测度。 5）对于选取的格网点（ X c ， Y r ），按照对应金字塔层次的 P Z 大小，在高程取值区间［ Z mean -Δ Z ， Z mean +Δ Z ］内，从低到高逐步变化格网点高程并重复步骤4），得到多个SNCC测度并构成SNCC匹配测度曲线；随后获取所有格网点｛（ X o +c× Δ X ， Y o +r× Δ Y ） |c= 1，2，…， h ； r= 1，2，…， w ｝的SNCC曲线。 6）采用物方虚拟至像方和物方半全局多路径聚合策略，将高程取值区间等效为视差取值范围，将SNCC曲线等效为匹配代价，在整个地面场景规则格网点的SNCC曲线上进行匹配代价聚合，计算最优等效视差图，转换得到所有规则格网点的匹配高程。 7）对于地面场景中每一个规则格网点，从影像的最顶层金字塔开始，重复步骤4）~6），直至最底层金字塔影像（即原始分辨率影像），得到半全局约束的多基线立体影像MVLL匹配结果。 2　实验与分析 1 2.1　实验数据 2 实验采用登封地区的天绘一号卫星三线阵全色影像数据，数据获取时间为2015-07-01，影像的地面分辨率为5.0 m，影像的定位文件为有理多项式参数文件，分别利用了前视、下视与后视全色影像。为了对实验结果进行精度分析与评价，实验中还采用了登封地区的中国（嵩山）卫星遥感定标场高精度地形数据，由2015年4月获取的0.10 m分辨率航空无人机影像处理生成，数据的整体高程精度为0.5 m。 2.2　实验与分析 2 实验参数设置包括给定前视影像、下视影像上的同名点，计算同名点的地面坐标，并将其设置为初始地面点坐标；将地面范围划分为5 m间距的规则平面格网，计算初始地面点的八邻域地面点；初始地面点表示为（0，0），其八邻域地面点分别表示为（-1，-1），（-1，0），（-1，1），（0，1），（1，1），（1，0），（1，-1），（0，-1）；高程值变化范围为205 m，即在初始高程的基础上分别降低100 m和升高105 m，根据影像的地面分辨率，设置高程变化值为5 m，即高程迭代次数为41次；在（105，310］ m高程区间内，第 i 次迭代的高程为（105+5× i ） m，称为第 i 迭代高程（ i =1，2，…，41）；SGM匹配测度采用8路径聚合，且对于某一特定点，以该点为中心，采用100×100像素范围的影像进行匹配测度聚合；SGM匹配测度聚合时，将SNCC匹配测度进行了放大（×100），并用100减去该匹配测度，确保每一点的匹配测度位于［0，200］之间（数值越小，匹配越可靠），避免多路径聚合时出现负值，造成聚合错误；考虑到卫星影像的地表连续性较强，SGM匹配测度聚合时，地表光滑约束分别取经验值为6和20（等效于SNCC匹配测度最大值的6%和20%），分别代表相邻地表、非相邻地表的不光滑惩罚系数 ［ 14 14 - 16 16 14-16 ］ ；在其他影像处理中，相应参数可根据需要进行变化。 2.2.1　MVLL匹配测度像方虚拟与连续性分析 3 从实验影像中选取同名像点，计算其对应地面点（点①）的坐标初值，通过改变高程值的变化范围，采用MVLL匹配方法，计算点①及其八邻域地面点的SNCC匹配测度。同名像点及其MVLL投影辐射线如 图4 图4 所示，其中MVLL投影辐射线的线段构成物方匹配搜索范围。由于 图4 图4 （b）为下视图像，地面点高程变化引起的像点变化较小，因此搜索范围几乎不变。 图5 图5 为沿MVLL投影辐射线得到的SNCC匹配测度，其中地面点①的SNCC匹配测度曲线如 图5 图5 （e）所示，其余子图为其八邻域地面点的SNCC匹配测度曲线。从 图5 图5 可以看出，地面点①及其八邻域地面点的SNCC匹配测度曲线具有明显的匹配测度峰值，且峰值位置都位于第23迭代（ Z max =23）高程处，即该地面点能够有效得到准确的匹配结果。该实验表明，MVLL匹配方法将物方虚拟至像方后，相邻地面点的SNCC匹配测度曲线具有较强的一致性，可以采用半全局约束方法进行优化处理。 2.2.2　多类型地面特征的半全局约束MVLL匹配 3 从实验影像的不平坦区域（断裂特征）中选取同名像点，计算其所对应地面点（点②）的地面坐标初值；同样，通过改变高程值的变化范围，采用MVLL匹配方法，计算该地面点及其两邻域地面点的SNCC匹配测度，并对该SNCC进行半全局8路径聚合分析。点②的像点位置及其MVLL投影辐射线如 图6 图6 所示，其中同名像点选取多山脊交会的山顶点。点②的（-1，0）与（1，0）两邻域地面点的SNCC匹配测度和半全局8路径聚合分析结果如 图7 图7 所示。 从 图7 图7 （a）~ 图7 图7 （c）可以看出，对于不平坦地表区域中的地面点②，由于使用了多张影像进行MVLL匹配，且匹配过程中使用了投影辐射线约束，其匹配测度曲线具有明显峰值；但是由于该地面点位于不平坦地表位置，其最佳匹配结果出现了多处峰值，如 图7 图7 （a）和 图7 图7 （b）中的最佳匹配位置位于第21和22高程迭代处，对准确匹配解的获取造成了干扰。从 图7 图7 （d）~ 图7 图7 （f）可以看出，采用半全局8路径聚合分析后，匹配测度曲线具有明显的唯一最大值，地面点②及其两邻域地面点的匹配干扰问题消除，表明半全局多路径匹配测度聚合分析虽然基于地表连续条件，但是对于不平坦的地面点，能够获得准确匹配结果。 从实验影像的相似性纹理区域中选取同名像点，计算其所对应地面点（点③）的地面坐标初值，进行半全局约束下的MVLL匹配。点③的像点位置及其MVLL投影辐射线如 图8 图8 所示，其（-1，0）与（1，0）两邻域地面点的SNCC匹配测度及其半全局8路径聚合后的匹配测度如 图9 图9 所示。 图8 图8 （b）中，由于下视影像的投影辐射线较短，地面点③所对应的影像点几乎位于同一像点位置，且该像点位置所对应的匹配窗口几乎为纯灰度纹理窗口，变化的匹配信息较少，造成MVLL匹配发生错误，如 图9 图9 （a）~ 图9 图9 （c）所示，SNCC匹配测度曲线具有明显的多峰值（纹理相似、匹配窗口信息缺失造成的匹配测度曲线震荡），且点③及其两邻域地面点的最佳高程位置分别位于第17、第5和第6高程迭代处，匹配结果明显错误。在以点③为中心的较大地面区域内（100×100像素的地面格网范围），采用半全局8路径匹配测度聚合方法对SNCC匹配结果进行聚合分析，点③及其两邻域地面点的半全局聚合结果如 图9 图9 （d）~ 图9 图9 （f）所示；从结果中可以看出，半全局聚合得到的SGM匹配测度曲线具有明显的峰值，在一定程度上消除了SNCC匹配测度曲线的震荡，且最佳高程位置位于第15高程迭代处，得到了准确匹配结果，实现了对MVLL匹配方法的优化。 从实验影像的山体遮挡区域中选取同名像点，计算其所对应地面点（点④）的地面坐标初值，进行半全局约束下的MVLL匹配，同名像点 及其MVLL投影辐射线构成的物方匹配搜索范围如 图10 图10 所示。下视和前视影像、下视和后视影像的NCC匹配测度以及3张影像的SNCC匹配测度如 图11 图11 所示。 图10 图10 中，由于影像成像视角不一致，部分山体区域在前视影像上被遮挡。从 图11 图11 （a）可以看出，由于点④在前视影像上被遮挡，下视和前视影像的NCC匹配测度极值较小，且匹配测度曲线极值位置位于第3和第4高程迭代处，明显偏移高程初值，发生匹配错误；从 图11 图11 （b）和 图11 图11 （c）可以看出，下视和后视影像的NCC匹配测度、三张影像的SNCC匹配测度均具有匹配测度曲线峰值，且匹配测度曲线极值位置位于第34高程迭代附近，匹配结果准确，避免了前视影像的遮挡问题。 对点④的SNCC匹配测度进行SGM聚合，该点及其（-1，0）与（1，0）两邻域地面点的SNCC匹配测度及其半全局8路径聚合后的匹配测度如 图12 图12 所示。从 图12 图12 可以看出，3张影像SNCC匹配测度的SGM聚合结果具有明显的单曲线峰值，且峰值位置均位于第35高程迭代处，匹配结果准确可靠。该实验表明，半全局约束下的MVLL匹配方法能够充分利用多张影像信息，较好地消除影像遮挡带来的匹配问题，获取准确、可靠的匹配结果。 2.2.3　半全局约束下的多基线MVLL区域匹配 3 选取实验影像覆盖的5 000 m×5 000 m局部地面区域（等效于1 000×1 000像素范围），并将该区域分成4个实验区（实验区一、二、三主体为山地，实验区四主体为居民地），采用本文所提的半全局约束下的MVLL匹配方法进行多基线立体影像匹配实验；同时，采用该实验区的高精度地形数据作为基准，从中选取并内插得到324个检查点，对实验结果的高程精度进行检查，结果如 图13 图13 所示。其中， 图13 图13 （a）为地面覆盖区域对应的实验影像以及4个实验区划分情况， 图13 图13 （b）为匹配结果的高程渲染图， 图13 图13 （c）为实验区域高程检查点分布情况图。 表1 表1 为实验结果的高程精度统计结果。 2 实验区 3 SGM 3 匹配高程精度/m 最大优化高程/m 最小优化高程/m 优化总点数/10 6 SGM MVLL SGM-MVLL 实验区一 107.50 0.00 0.69 8.02 7.72 7.15 实验区二 116.50 0.00 0.58 7.54 7.45 6.93 实验区三 124.00 0.00 0.63 8.27 7.93 7.11 实验区四 96.50 0.00 0.87 8.81 8.73 7.68 整体 124.00 0.00 2.77 8.40 8.12 7.24 从 图13 图13 （b）可以看出，半全局约束下的MVLL匹配结果能够较好地反映实验区的地形情况，且高精度地形数据检查点分布比较均匀，可对匹配结果的精度进行检查与分析。从 表1 表1 可以看出，MVLL匹配结果在半全局约束下得到了优化，整体最大优化高程为124.00 m，最小优化高程为0.00 m，整体优化点数为2.77×10 6 个，约占总匹配点数的28%；SGM像方匹配、MVLL物方匹配、SGM-MVLL半全局物方匹配的高程精度分别为8.40 m、8.12 m和7.24 m，其中SGM-MVLL半全局物方匹配结果的精度最高，表明半全局约束方法通过全局最优策略的使用，提升了MVLL匹配方法的性能；另外，实验区四的SGM最大优化高程仅为96.50 m，且SGM像方匹配、MVLL物方匹配、SGM-MVLL半全局物方匹配的高程精度分别为8.81 m、8.73 m和7.68 m，低于其他3个实验区的匹配精度，主要原因在于该实验区以居民地为主体，地物复杂、建筑物地形不连续，限制了半全局整体性约束能力。如何提高建筑物密集区域影像的半全局约束性能，进一步改善多基线立体影像的MVLL匹配效果，需要进一步研究。 3　结　语 1 本文将多基线立体影像MVLL匹配方法的物方约束虚拟至像方约束，在实现任意多张影像匹配测度整体计算的同时，采用半全局多路径聚合约束方法获取全局最优匹配结果，实现了半全局匹配方法的全局优化特性、MVLL匹配方法的多影像整体匹配特性的综合；采用多类型地形特征进行了半全局约束下的多基线立体影像MVLL匹配实验，实验结果表明，半全局约束方法能够通过整体最优匹配解的获取，提高MVLL匹配方法在地表断裂、特征相似、影像遮挡等地形位置处的匹配可靠性，实现MVLL匹配方法的区域匹配精度整体性提升。 参 考 文 献 Ji Song . Study on the Strategy and Improvement Method of Multi-view Image Matching Technology ［D］. Zhengzhou ： Information Engineering University ， 2012 . Study on the Strategy and Improvement Method of Multi-view Image Matching Technology 纪松 . 多视匹配策略与优化方法研究 ［D］. 郑州 ： 信息工程大学 ， 2012 . 多视匹配策略与优化方法研究 Rothermel M ， Wenzel K ， Fritsch D ， et al . SURE： Photogrammetric Surface Reconstruction from Ima-gery ［C］// Proceedings LC3D Workshop ， Berlin， Germany ， 2012 . SURE： Photogrammetric Surface Reconstruction from Ima-gery Gruen A . Development and Status of Image Matching in Photogrammetry ［J］. The Photogrammetric Record ， 2012 ， 27 （ 137 ）： 36 - 57 . Development and Status of Image Matching in Photogrammetry Seitz S M ， Curless B ， Diebel J ， et al . A Comparison and Evaluation of Multi-view Stereo Reconstruction Algorithms ［C］// IEEE Computer Society Conference on Computer Vision and Pattern Recognition ， New York， USA ， 2006 . A Comparison and Evaluation of Multi-view Stereo Reconstruction Algorithms Zeglazi O ， Rziza M ， Amine A ， et al ． A Hierarchical Stereo Matching Algorithm Based on Adaptive Support Region Aggregation Method ［J］. Pattern Recognition Letters ， 2018 ， 112 ： 205 - 211 . A Hierarchical Stereo Matching Algorithm Based on Adaptive Support Region Aggregation Method Zhang L . Automatic Digital Surface Model （DSM） Generation from Linear Array Images ［D］. Zurich ： Swiss Federal Institute of Technology ， 2005 . Automatic Digital Surface Model （DSM） Generation from Linear Array Images Ji Song ， Fan Dazhao ， Zhang Yongsheng ， et al . MVLL Multi-image Matching Model and Its Application in ADS40 Linear Array Images ［J］. Geomatics and Information Science of Wuhan University ， 2009 ， 34 （ 1 ）： 28 - 31 . MVLL Multi-image Matching Model and Its Application in ADS40 Linear Array Images 纪松 ， 范大昭 ， 张永生 ， 等 . 多视匹配MVLL算法及其在ADS40线阵影像中的运用 ［J］. 武汉大学学报（信息科学版） ， 2009 ， 34 （ 1 ）： 28 - 31 . 多视匹配MVLL算法及其在ADS40线阵影像中的运用 Yasutaka F ， Jean P. Accurate ， Dense ， and Robust Multi-view Stereopsis ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2010 ， 32 （ 8 ）： 1362 - 1376 . IEEE Transactions on Pattern Analysis and Machine Intelligence Rupnik E ， Daakir M ， Deseilligny M . MicMac - A Free， Open-source Solution for Photogrammetry ［J］. Open Geospatial Data， Software and Standards ， 2017 ， 2 ： 1 - 9 . MicMac - A Free， Open-source Solution for Photogrammetry Zhang Li ， Zhang Jixian . Automatic DEM Generation from High-Resolution Satellite Imagery Based on Multiple-Baseline Image Matching ［J］. Geomatics and Information Science of Wuhan University ， 2008 ， 33 （ 9 ）： 943 - 946 . Automatic DEM Generation from High-Resolution Satellite Imagery Based on Multiple-Baseline Image Matching 张力 ， 张继贤 . 基于多基线影像匹配的高分辨率遥感影像DEM的自动生成 ［J］. 武汉大学学报（信息科学版） ， 2008 ， 33 （ 9 ）： 943 - 946 . 基于多基线影像匹配的高分辨率遥感影像DEM的自动生成 Wang Jingxue ， Zhu Qing ， Wang Weixi . A Dense Matching Algorithm of Multi-view Image Based on the Integrated Multiple Matching Primitives ［J］. Acta Geodaetica et Cartographica Sinica ， 2013 ， 42 （ 5 ）： 691 - 698 . A Dense Matching Algorithm of Multi-view Image Based on the Integrated Multiple Matching Primitives 王竞雪 ， 朱庆 ， 王伟玺 . 多匹配基元集成的多视影像密集匹配方法 ［J］. 测绘学报 ， 2013 ， 42 （ 5 ）： 691 - 698 . 多匹配基元集成的多视影像密集匹配方法 Lowe D G . Distinctive Image Features Form Scale-Invariant Key Points ［J］. International Journal of Compute Vision ， 2004 ， 60 （ 2 ）： 91 - 110 . Distinctive Image Features Form Scale-Invariant Key Points Ji Yanhua ， Xu Shu ， Chen Bo . Edge-Constrained Dense Matching Method for Aerial Stereo Images ［J］. Journal of Geomatics ， 2022 ， 47 （ 2 ）： 87 - 91 . Edge-Constrained Dense Matching Method for Aerial Stereo Images 纪艳华 ， 许殊 ， 陈勃 . 边缘约束的航摄立体影像密集匹配方法 ［J］. 测绘地理信息 ， 2022 ， 47 （ 2 ）： 87 - 91 . 边缘约束的航摄立体影像密集匹配方法 Hirschmuller H . Accurate and Efficient Stereo Processing by Semi-global Matching and Mutual Information ［C］// IEEE Computer Society Conference on Computer Vision and Pattern Recognition ， San Diego， USA ， 2005 . Accurate and Efficient Stereo Processing by Semi-global Matching and Mutual Information Hirschmuller H . Stereo Processing by Semi-global Matching and Mutual Information ［J］. IEEE Tran-sactions on Pattern Analysis and Machine Intelligence ， 2008 ， 30 （ 3 ）： 328 - 341 . Stereo Processing by Semi-global Matching and Mutual Information Zhang Li . Study on Architecture of Cooperative Processing for Remote Sensing Images and Its Application on Photogrammetry ［D］. Zhengzhou ： Information Engineering University ， 2015 . Study on Architecture of Cooperative Processing for Remote Sensing Images and Its Application on Photogrammetry 张丽 . 遥感影像协同处理体系及摄影测量应用研究 ［D］. 郑州 ： 信息工程大学 ， 2015 . 遥感影像协同处理体系及摄影测量应用研究 10.13203/j.whugis20200478 P237 A 1671-8860（2023）01-0155-10 纪松,张永生,杨喆，等.半全局约束下的多基线立体影像MVLL匹配方法[J].武汉大学学报（信息科学版）,2023,48(1):155-164.DOI: 10.13203/j.whugis20200478 http://dx.doi.org/10.13203/j.whugis20200478 纪松,张永生,杨喆，等.半全局约束下的多基线立体影像MVLL匹配方法[J].武汉大学学报（信息科学版）,2023,48(1):155-164.DOI:10.13203/j.whugis20200478 JI Song,ZHANG Yongsheng,YANG Zhe,et al.MVLL Match Method for Multi-baseline Stereo Imagery Based on Semi-global Constraint[J].Geomatics and Information Science of Wuhan University,2023,48(1):155-164.DOI: 10.13203/j.whugis20200478 http://dx.doi.org/10.13203/j.whugis20200478 JI Song,ZHANG Yongsheng,YANG Zhe,et al.MVLL Match Method for Multi-baseline Stereo Imagery Based on Semi-global Constraint[J].Geomatics and Information Science of Wuhan University,2023,48(1):155-164.DOI:10.13203/j.whugis20200478 国家自然科学基金（41971427）；高分遥感测绘应用示范系统（二期）（42-Y30B04-9001-19/21）。 2022-04-09 2023-01-05 2023-06-29 33226003 武汉大学学报（信息科学版） 1 48