\documentclass[UTF8]{csoarticle}

\usepackage{multirow}

\begin{document}

%----------------------------------------------------------
% 1. 文章标头信息
%----------------------------------------------------------

\titleCHN{基于Transformer修复网络与多视角一致性校正的文物三维重建方法}
\titleENG{A Cultural Relic 3D Reconstruction Method Based on Transformer-Based Inpainting Network and Multi-View Consistency Correction}
\authorCHN{唐明轩\affil{1}，张继威\affil{1*}}
\authorENG{TANG Mingxuan\affil{1}, ZHANG Jiwei\affil{1*}}
\affiliationCHN{
    \affil{1} 北京邮电大学计算机学院（国家示范性软件学院），北京，100876
}
\affiliationENG{
    \affil{1} School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications, Beijing 100876
}
\abstractCHN{三维重建是文物数字化保护与虚拟展示的关键技术。然而，当文物表面存在破损时，由此采集的缺损图像将导致重建模型出现几何失真与纹理空洞，而对各视角独立修复所产生的纹理不一致则进一步加剧渲染伪影。为解决上述难题，本文提出一种将图像修复技术与多视角一致性校正相结合的文物三维重建方案。在修复阶段，构建了一种基于Transformer的文物图像修复网络，该网络采用交替注意力融合Transformer模块在通道维度与空间维度之间进行交互式特征建模，并通过序列注意力整合跳跃连接机制缓解多级下采样过程中高频细节的衰减问题。在一致性校正阶段，设计了一种依据几何约束的多视角纹理统一策略，借助锚点视角筛选与深度引导的跨视角纹理映射保障修复结果在不同视角间的外观统一。最终，将校正后的多视角图像输入COLMAP完成位姿求解，并经由3D Gaussian Splatting生成高保真三维模型。实验结果显示，所提修复网络在文物数据集上的PSNR相比次优方法平均高出0.81 dB，一致性校正使跨视角几何一致性指标TSED获得8.3\%的相对提升，重建渲染PSNR增益达0.36 dB，充分证明了该方法在破损文物高质量三维数字复原中的有效性。}
\abstractENG{3D reconstruction is a key technique for the digital preservation and virtual exhibition of cultural relics. However, when relic surfaces are damaged, the resulting defective images lead to geometric distortions and texture voids in the reconstructed models, while independently inpainting each view introduces texture inconsistencies that further aggravate rendering artifacts. To tackle these challenges, this paper presents a cultural relic 3D reconstruction framework that integrates image inpainting with multi-view consistency correction. In the inpainting stage, a Transformer-based cultural relic image inpainting network is constructed, which leverages an alternating attention fusion Transformer module for interactive feature modeling between channel and spatial dimensions, and employs a sequential attention integration skip connection to mitigate the attenuation of high-frequency details during multi-level downsampling. In the consistency correction stage, a geometry-constrained multi-view texture unification strategy is designed, utilizing anchor view selection and depth-guided cross-view texture mapping to ensure appearance uniformity of inpainted results across different viewpoints. Finally, the corrected multi-view images are fed into COLMAP for pose estimation, followed by high-fidelity 3D modeling via 3D Gaussian Splatting. Experimental results show that the proposed inpainting network achieves an average PSNR gain of 0.81 dB over the runner-up method on the cultural relic dataset, while the consistency correction yields an 8.3\% relative improvement in the cross-view geometric consistency metric TSED and a 0.36 dB increase in reconstruction rendering PSNR, fully demonstrating the effectiveness of the proposed method for high-quality 3D digital restoration of damaged cultural relics.}
\keywordCHN{计算机应用技术；文物数字化；图像修复；三维重建；多视角一致性；transformer}
\keywordENG{computer application technology; cultural heritage digitization; image inpainting; 3D reconstruction; multi-view consistency; transformer}
\cateidCHN{TP391}
\authorIntroduction{唐明轩（2001-），男，硕士研究生，主要研究方向：文物数字化、计算机视觉 E-mail：mxtang@bupt.edu.cn。通信作者：张继威（1989-），男，硕导，主要研究方向：多媒体安全、计算机视觉 E-mail：jwzhang666@bupt.edu.cn。}

\fund{国家重点研发计划项目(2024YFF0907404)}

\maketitle


%----------------------------------------------------------
% 0. 引言
%----------------------------------------------------------

\section{引言}

文物是人类历史文明的珍贵见证，蕴含着深厚且不可再生的文化信息。伴随数字化手段的持续革新以及智慧博物馆建设的不断深入，对文物进行高精度三维数字化采集与保存已逐步成为文化遗产保护领域的核心课题。然而，受长期自然侵蚀、环境因素以及人为损毁等影响，众多文物表面存在程度各异的破损现象。由此采集的二维图像往往伴有纹饰断裂或局部缺损等质量问题，对后续三维重建的几何准确性与纹理完整性构成了严峻挑战。

近年来，深度学习已在图像分割、目标检测等计算机视觉任务中取得广泛成功\upcite{bib1}，其中深度学习驱动的图像修复方法为受损文物图像的自动化复原开辟了新的路径。但文物纹饰往往呈现出高度的重复性与对称性特征，基于卷积神经网络的传统修复模型由于感受野范围有限，在面对大尺度缺损情况时表现欠佳。Transformer架构凭借自注意力机制所具备的全局依赖建模能力，为此类修复任务提供了更具潜力的技术方案。不过，当前已有的Transformer修复模型在全局风格协调与局部纹理精确恢复之间往往难以兼得。

与此同时，高质量的三维数字模型是文物虚拟展陈与深度学术研究的重要支撑。传统三维重建技术对输入图像的质量极为敏感，而3D高斯泼溅（3DGS）\upcite{bib2}技术凭借显式高斯基元表达与可微分渲染机制，在文化遗产数字化场景中展现了实时且高质量的渲染能力。然而，若将含有缺损的图像直接送入重建管线，所生成的模型必然反映破损原貌；反之，若对各视角分别进行独立修复，则不可避免地产生视角间修复结果的不一致，从而引起相机位姿估计偏差与渲染过程中的纹理伪影。因此，在图像修复环节与三维重建环节之间嵌入跨视角一致性约束具有迫切的现实需求。

基于以上分析，本文提出一种将图像修复与多视角一致性校正相结合的文物三维重建方法，核心贡献涵盖以下三个方面。（1）构建了一种基于Transformer的文物图像修复模型，利用AAFT模块实现通道维度与空间维度的交互式建模，并设计SAISC以弥补多层下采样引起的高频细节丢失。（2）提出了一种依据几何约束的多视角一致性校正策略，通过锚点视角筛选与深度辅助投影映射实现各视角修复纹理的统一化。（3）搭建了“修复—校正—重建”的端到端处理流程，联合3DGS技术完成破损文物的高质量三维数字复原。

%----------------------------------------------------------
% 1. 相关工作
%----------------------------------------------------------

\section{相关工作}

\subsection{图像修复}

图像修复任务的核心目标在于对图像中缺失或受损区域的内容进行合理填充与还原。早期的传统方法基于扩散方程或纹理合成策略，其处理大范围缺损的能力十分有限。以U-Net\upcite{bib3}为代表的基于CNN的编码器—解码器结构，通过多尺度跳跃连接有效恢复高频细节信息，为后续深度学习修复方法提供了经典的网络范式，其衍生变体在医学图像分割等精细化视觉任务中也持续展现出优秀的特征提取能力\upcite{bib4}。在此基础上，生成对抗网络（GAN）\upcite{bib5}的应用进一步增强了修复结果的视觉真实感。Yu等\upcite{bib6}引入上下文注意力机制，从远距离有效区域搜索相似纹理特征进行借用；Nazeri等\upcite{bib7}借助边缘图先验信息对修复结构的连续性施加约束；Liu等\upcite{bib8}则通过部分卷积技术有效处理了形状不规则的缺损掩码。尽管如此，CNN的局部感受野特性使其在建模跨区域全局语义依赖方面存在固有不足。

随着Transformer在各类视觉任务中的广泛应用，自注意力机制也被逐步引入图像修复领域并取得了可观进展。Wan等\upcite{bib9}率先将Transformer引入该任务，Li等\upcite{bib10}设计了掩码感知Transformer（MAT）以改善大面积缺损条件下的修复效果，Ko等\upcite{bib11}采用渐进式掩码更新机制实现了更高质量的图像补全。此后，Chen等\upcite{bib12}提出HINT模型，综合运用掩码感知编码与增强注意力机制提升修复表现；Chen等\upcite{bib13}进一步提出MxT模型，将Mamba与Transformer架构进行融合以增强远程依赖捕捉能力。然而，已有方法普遍采用单维度注意力计算方式，难以在全局风格统一与局部空间细节恢复之间取得良好平衡。近期研究\upcite{bib14}表明，针对目标结构特性设计的轻量级注意力模块能够有效提升特征提取的方向适应能力，但现有图像修复方法中常规跳跃连接在编解码器间的特征传递过程中仍面临高频信息衰减的问题。

\subsection{三维重建与多视角一致性}

三维重建的基本任务是依据多视角图像序列重建目标物体的几何结构与表面纹理。运动恢复结构（SFM）\upcite{bib15}借助特征匹配与三角测量完成相机位姿的求解以及稀疏三维点云的生成。NeRF\upcite{bib16}以隐式场景表示方式生成高质量的新视角合成图像，但其训练过程收敛缓慢且渲染效率较低。3DGS\upcite{bib2}将场景建模为显式的三维高斯基元集合，在保持实时渲染速度的同时达到了较高的视觉质量，并在应对文物表面高反光及低纹理等难题时表现出显著优势。

然而，将各视角独立修复所得图像序列直接作为3DGS输入时，视角间修复结果不一致会损害SfM阶段特征匹配的可靠性，同时在3DGS的优化迭代中产生光度矛盾。Yu等\upcite{bib17}提出了阈值对称极线距离（TSED）这一量化指标，用于度量视角合成结果的长时光度一致性水平，为跨视角一致性的定量评价提供了有效手段。然而，现有研究中针对“修复—重建”流程内多视角修复不一致问题的系统性解决方案仍较为稀缺。本文拟通过在修复环节与重建环节之间嵌入几何约束驱动的一致性校正步骤来缓解上述问题。

%----------------------------------------------------------
% 2. 方法
%----------------------------------------------------------

\section{方法}

\subsection{总体框架}

本文构建了面向破损文物的“修复—校正—重建”三阶段处理流程，其总体架构如图\ref{fig:pipeline}所示。在第一阶段，借助基于Transformer的图像修复模型分别对各视角的破损图像执行独立修复，补全缺损部位的纹饰与结构细节；在第二阶段，运用基于几何约束的多视角一致性校正方法对不同视角的修复结果进行纹理对齐，使同一物理表面在各视角下呈现统一的外观；在第三阶段，将经过校正的图像序列送入COLMAP执行相机位姿估计与稀疏点云重建，进而通过3DGS完成高质量三维建模。

\begin{figure}[htbp]
\centering\includegraphics[width=0.75\textwidth]{resources/3_2/3_2_1_高保真文物三维重建总体流程.png}
\caption{本文方法总体流程}
\label{fig:pipeline}
\end{figure}

\subsection{基于Transformer的文物图像修复模型}

\subsubsection{模型总体架构}

面向文物图像的修复任务存在两方面关键难点：一方面，纹饰图案蕴含复杂的几何排布与空间重复规律，要求模型在全局对称性关系与局部纹理的连续性之间达成协调；另一方面，逐级下采样会不可避免地造成高频纹理信息的衰减，导致修复区域边缘产生模糊或伪影现象。为此，如图\ref{fig:model_arch}所示，本文所提修复模型构建于类U-Net的编码器—解码器框架之上，核心由交替注意力融合Transformer（AAFT）模块与序列注意力整合跳跃连接（SAISC）模块两部分组成。其中编码器负责通过逐级下采样获取多尺度语义特征，解码器则对称地逐级上采样以还原空间分辨率。AAFT被部署于编解码器的各个层级中用以协调全局与局部特征建模，SAISC则取代了传统的直接特征拼接方式，用于补偿编解码器间特征传递过程中的信息衰减。

\begin{figure}[htbp]
\centering\includegraphics[width=0.65\textwidth]{resources/3_1/3_1_1_图像修复模型结构.png}
\caption{图像修复模型结构}
\label{fig:model_arch}
\end{figure}

\subsubsection{交替注意力融合Transformer模块}

针对文物纹样在全局排布特征与局部结构细节之间需要协同把握的需求，本文设计了AAFT模块。如图\ref{fig:aaft}所示，AAFT由增强空间自注意力Transformer块（ESATB）、增强通道自注意力Transformer块（ECATB）以及增强特征前馈网络（EFFN）三个组件构成，按照“EFFN--ECATB--EFFN--ESATB--EFFN”的顺序交替堆叠。具体而言，EFFN首先对输入特征进行预调制；随后ECATB沿通道维度捕捉全局语义与风格的一致性表征，保证空间上分散的破损区域在风格层面获得统一参照；经过EFFN进一步优化的特征被传递至ESATB，ESATB在已建立的全局风格基底之上，采用窗口划分策略对局部空间位置间的关联进行精细计算，从而实现局部纹理的精准恢复。该交替架构使模型既能捕获跨区域的纹饰语义关联，又能精确刻画局部纹理的微观差异。

\begin{figure}[htbp]
\centering\includegraphics[width=0.22\textwidth]{resources/3_1/3_1_2_交替自注意力融合Transformer模块（AAFT）.png}
\caption{交替注意力融合Transformer模块（AAFT）}
\label{fig:aaft}
\end{figure}



ESATB聚焦于局部空间维度上的依赖关系建模。如图\ref{fig:esatb}所示，其内部采用空间注意力主通路与通道注意力增强辅助通路构成的双路结构。主通路将输入特征切分为互不重叠的窗口，在各窗口内部衡量待修复像素与周围像素之间的注意力分布；辅助通路则利用全局平均池化与卷积运算估计各通道的重要性系数，并据此对主通路输出实施逐通道调制，以保障关键通道中的细节特征得到充分保留。

\begin{figure}[htbp]
\centering\includegraphics[width=0.5\textwidth]{resources/3_1/3_1_3_增强空间自注意力Transformer块（ESATB）.png}
\caption{增强空间自注意力Transformer块（ESATB）}
\label{fig:esatb}
\end{figure}

ECATB在构造上与ESATB形成对称关系，以通道注意力作为主通路、空间注意力作为辅助增强。如图\ref{fig:ecatb}所示，其主通路将空间维度压缩为一维后执行通道间的相关性计算，使各破损区域的通道特征都能以全局统一的标准通道特征为参照，从而维持整体风格与语义表达的一致性；辅助通路综合全局平均池化与最大池化结果对空间位置进行合理性校验，防止出现风格特征正确但空间定位偏差的修复结果。

\begin{figure}[htbp]
\centering\includegraphics[width=0.5\textwidth]{resources/3_1/3_1_5_增强通道自注意力Transformer块（ECATB）.png}
\caption{增强通道自注意力Transformer块（ECATB）}
\label{fig:ecatb}
\end{figure}



\subsubsection{序列注意力整合跳跃连接}

编码器的逐级下采样过程在增强语义抽象能力的同时，不可避免地导致空间域高频信息的丢失，而这类信息对于包含精密纹饰结构的文物图像修复而言不可或缺。为此，本文提出SAISC以取代常规的直接拼接方式。如图\ref{fig:saisc}所示，SAISC的输入由编码器对应尺度所提供的深层特征与解码器当前尺度的浅层特征拼接而成，其设计遵循“先对齐空间定位、后精炼通道语义”的顺序原则。

\begin{figure}[htbp]
\centering\includegraphics[width=0.45\textwidth]{resources/3_1/3_1_7_序列注意力整合跳跃连接（SAISC）.png}
\caption{序列注意力整合跳跃连接（SAISC）}
\label{fig:saisc}
\end{figure}

在第一阶段，空间注意力子模块使用$7 \times 7$的大尺寸卷积核以拓展感受野覆盖范围，捕获局部至中程尺度的结构关联。不同于传统方案，此处省略了最大池化操作以避免细节信息的进一步损失，仅通过卷积与激活函数直接生成空间注意力权重图。第二阶段，通道注意力子模块采用两层轻量级MLP（通道压缩比$e=4$），对通道间的非线性依赖进行建模，抑制冗余通道的干扰并增强与修复任务相关的特征通道。经过SAISC的序列化注意力加工处理后，模型在解码器的上采样恢复阶段能够有效补偿因下采样而丢失的信息，使复杂花纹、精细边缘以及局部纹理的重建质量获得明显提升。

\subsection{基于多视角一致性校正的高保真三维重建}

\subsubsection{多视角一致性校正方法}

虽然上述修复模型能够对单张图像生成较为自然的补全效果，但在逐帧独立修复的条件下，同一物理破损区域在不同拍摄视角下可能呈现色调偏移、边缘朝向不一致或纹理细节差异等问题。这些视角间的差异不仅降低SfM阶段特征匹配的鲁棒性，还会在3DGS优化过程中形成光度冲突。为此，本文在重建之前设置了多视角一致性校正环节。其基本思路为：确定一个锚点视角作为纹理参考源，利用深度估计信息与相机参数构建视角间的几何映射关系，将锚点视角的修复纹理投射至其余视角并采用软边界策略完成融合。整个流程由以下四个步骤组成。

\textbf{（1）锚点视角选择。}在包含破损区域可见信息的视角集合中，优先选取修复面积较大且高光干扰较弱的视角作为锚点。令$M_i(p)$表示破损掩码（破损区域取值为1），$S_i(p)$表示高光掩码（高光区域取值为1），视角质量评分定义为：
\begin{align}\label{eq:anchor}
q_i = \frac{1}{|\Omega|}\sum_{p\in\Omega} M_i(p)\cdot \left(1-S_i(p)\right)
\end{align}
取$i^*=\arg\max_i q_i$对应的视角作为锚点。高光掩码经由HSV色彩空间中高亮度（$V > \tau_v$）与低饱和度（$S < \tau_s$）的联合检测获得。上述策略能够保证所选锚点视角兼具较大的修复区域面积与较低的高光反射影响，进而为后续跨视角纹理传播提供可靠的参考来源。

\textbf{（2）锚点深度估计。}为构建像素级的跨视角几何对应，采用MiDaS\upcite{bib18}单目深度估计模型对锚点图像进行相对深度预测。该模型基于大规模混合数据集训练而成，具备良好的零样本跨域泛化能力。对输入图像$I_s$，网络预测出相对深度图$D_s$，经归一化与尺度校准后供后续投影计算使用。

\textbf{（3）跨视角几何投影。}借助COLMAP所估计的相机内外参数及深度图建立像素级对应关系。对于锚点视角中的像素$p$，先执行反投影以获取三维空间坐标：
\begin{align}\label{eq:backproj}
\mathbf{X} = \mathbf{R}_s^{-1}\left(\mathbf{K}_s^{-1} \cdot d_p \cdot \tilde{p} - \mathbf{t}_s\right)
\end{align}
其中$\mathbf{K}_s$为源视角内参矩阵，$\mathbf{R}_s, \mathbf{t}_s$为源视角外参，$d_p$为像素深度，$\tilde{p}$为齐次坐标。之后将三维点投影到目标视角以得到对应像素位置：
\begin{align}\label{eq:proj}
\tilde{p}' = \mathbf{K}_t \left(\mathbf{R}_t \mathbf{X} + \mathbf{t}_t\right)
\end{align}
当投影落入目标视角的可见区域且满足深度一致性条件时，该纹理传播被视为有效。投影过程中引入Z-Buffer机制处理遮挡关系，以保证投影结果在几何上的正确性。

\textbf{（4）软边界纹理融合。}对目标视角的破损区域，设像素到边界的距离为$d_{edge}$，羽化半径为$r$，融合权重$w = \min(d_{edge}/r, 1)$，最终融合结果为：
\begin{align}\label{eq:fusion}
I_{fused} = (1-w) \cdot I_{original} + w \cdot I_{projected}
\end{align}
该软边界融合方式有效避免了硬切换带来的边界突变与伪影，使校正后的图像呈现更加自然的视觉效果。此外，融合过程中对目标视角的高光区域予以排除，以规避不同视角下高光剧烈变化所带来的不一致性。图\ref{fig:mv_correction}展示了多视角一致性校正前后的对比，可以观察到校正后各视角在局部边缘朝向与纹理细节方面表现出更高的一致性。

\begin{figure}[htbp]
\centering\includegraphics[width=0.7\textwidth]{resources/3_2/3_2_多视角一致性校正效果图.png}
\caption{多视角一致性校正效果对比（第一行：修复图；第二行：校正图）}
\label{fig:mv_correction}
\end{figure}

\subsubsection{基于3DGS的高质量三维重建}

完成多视角一致性校正之后，本文联合COLMAP位姿估计与3D Gaussian Splatting（3DGS）优化来实施高保真三维重建。首先，将校正后的图像序列$\{I_i^{corr}\}$输入COLMAP进行特征提取、特征匹配与增量式SfM重建，获取相机内参、外参及稀疏点云$\mathcal{P}$。随后，以稀疏点云中的每个三维点为中心初始化一个各向异性高斯基元，其协方差依据局部尺度设定，颜色属性则通过球谐系数加以表征，以建模视角依赖的外观变化。

在优化阶段，3DGS对高斯基元执行屏幕空间投影并通过alpha合成得到渲染图像$\hat{C}$，与输入图像$C$之间计算混合损失函数以驱动迭代优化：
\begin{align}\label{eq:3dgs_loss}
\mathcal{L}=\lambda_{1}\left\|C-\hat{C}\right\|_{1}+\lambda_{2}\left(1-\text{SSIM}(C,\hat{C})\right)
\end{align}
其中$\lambda_1$和$\lambda_2$分别调控L1重建项与结构相似性项之间的权重配比。优化过程引入自适应密度控制机制：针对梯度较大区域的高斯执行克隆或分裂操作以强化几何细节的表达，同时对贡献微弱的高斯执行剪枝以约束模型体量。该策略在渲染品质与计算开销间取得了合理平衡。

一致性校正所消除的跨视角修复差异使得COLMAP在特征匹配环节获得更加稳健的匹配点对，相机位姿估计精度与稀疏点云密度均因此得以改善。该改善效应进一步传导至3DGS优化环节：一致的多视角输入降低了光度矛盾，高斯基元在迭代优化中更易收敛到准确的几何位置与外观参数，最终产出保真度更高的三维重建成果。

图\ref{fig:3d_compare}呈现了同一文物分别在四种输入条件下的重建渲染结果。以破损图像直接重建时，缺损区域存在明显的细节丢失与纹理空洞；引入修复序列后，缺损区域的纹饰内容得到有效恢复；在此基础上进一步施加一致性校正后，视角间的纹理差异被大幅消除，重建效果与无损基准最为接近，整体保真度达到最优。

\begin{figure}[htbp]
\centering\includegraphics[width=0.6\textwidth]{resources/3_2/3_2_原始_破损_修复_校正后三维重建渲染对比图.png}
\caption{三维重建渲染图对比}
\label{fig:3d_compare}
\end{figure}

%----------------------------------------------------------
% 3. 实验与分析
%----------------------------------------------------------

\section{实验与分析}

\subsection{数据集与实验设置}

\subsubsection{图像修复实验设置}

本文从多个公开的博物馆数字化资源平台整理收集了涵盖青铜器、陶瓷器、玉器及石刻等多种类型的文物图像，构成包含6235张有效样本的多类文物图像数据集。该数据集以8:1:1的比例分别划分为训练集（4988张）、测试集（623张）与验证集（624张）。全部图像经中心裁剪和等比缩放统一为$256\times 256$分辨率。测试时采用不规则掩码数据集，依据掩码面积占比分为六个等级（1-10\%至50-60\%）。

在评价指标方面，选用PSNR（峰值信噪比）、SSIM\upcite{bib19}（结构相似性）、L1误差以及LPIPS\upcite{bib20}（学习感知图像块相似性）四项度量。其中PSNR与L1从像素级精度角度反映修复图像的还原保真度，SSIM综合衡量结构、亮度与对比度方面的相似性，LPIPS则基于深度特征评估感知层面的质量差异。

\subsubsection{三维重建实验设置}

筛选了5件破损特征与纹饰复杂度各异的文物样本，每件拍摄150--180张多角度高清图像，其中能够观测到破损区域的视角约为60--80个。采用COLMAP完成相机位姿估计与稀疏重建，3DGS以默认训练配置执行优化。

\subsection{图像修复对比实验}

本文方法与EdgeConnect\upcite{bib7}、RFRNet\upcite{bib21}、TransRef\upcite{bib22}、JPGNet\upcite{bib23}、MISF\upcite{bib24}、HINT\upcite{bib12}及MxT\upcite{bib13}等代表性方法在上述数据集上进行了系统对比，定量结果汇总于表\ref{tab:comparison}。

\begin{table}[htbp]
  \caption{不同方法在文物数据集上的指标效果对比}
  \label{tab:comparison}
  \centering
  \resizebox{\textwidth}{!}{%
  \begin{tabular}{cccccccccc}
    \hline
    \textbf{Mask} & \textbf{Metrics} & \textbf{EdgeConnect} & \textbf{RFRNet} & \textbf{TransRef} & \textbf{JPGNet} & \textbf{MISF} & \textbf{HINT} & \textbf{MxT} & \textbf{本文方法} \\
    \hline
    \multirow{4}{*}{1-10\%}
    & PSNR & 33.04 & 34.67 & 34.23 & 33.99 & 34.58 & 34.42 & 35.63 & \textbf{36.83} \\
    & SSIM & 0.9599 & 0.9688 & 0.9741 & 0.9662 & 0.9696 & 0.9619 & 0.9734 & \textbf{0.9770} \\
    & L1 & 0.4693 & 0.3418 & 0.4230 & 0.4121 & 0.3279 & 0.3494 & 0.2954 & \textbf{0.2567} \\
    & LPIPS & 0.0460 & 0.0359 & 0.0272 & 0.0536 & 0.0324 & 0.0353 & 0.0276 & \textbf{0.0212} \\
    \hline
    \multirow{4}{*}{10-20\%}
    & PSNR & 28.29 & 29.06 & 29.71 & 28.67 & 29.36 & 28.79 & 28.98 & \textbf{30.94} \\
    & SSIM & 0.9097 & 0.9196 & 0.9382 & 0.9191 & 0.9244 & 0.9219 & 0.9314 & \textbf{0.9389} \\
    & L1 & 1.1076 & 0.9428 & 1.0504 & 1.0535 & 0.8537 & 0.9516 & 0.7993 & \textbf{0.7053} \\
    & LPIPS & 0.0974 & 0.0891 & 0.0847 & 0.1193 & 0.0781 & 0.0862 & 0.0644 & \textbf{0.0548} \\
    \hline
    \multirow{4}{*}{20-30\%}
    & PSNR & 24.76 & 25.46 & 25.65 & 25.03 & \textbf{28.82} & 24.99 & 26.31 & 26.94 \\
    & SSIM & 0.8364 & 0.8446 & 0.8675 & 0.8538 & 0.8564 & 0.8532 & 0.8682 & \textbf{0.8784} \\
    & L1 & 2.1114 & 1.8874 & 1.4630 & 2.0197 & 1.6676 & 1.8773 & 1.5554 & \textbf{1.4169} \\
    & LPIPS & 0.1707 & 0.1622 & 0.1117 & 0.2034 & 0.1441 & 0.1585 & 0.1195 & \textbf{0.1059} \\
    \hline
    \multirow{4}{*}{30-40\%}
    & PSNR & 22.16 & 23.66 & 22.48 & 22.35 & 24.03 & 23.17 & 24.50 & \textbf{25.11} \\
    & SSIM & 0.7674 & 0.7869 & 0.7781 & 0.7943 & 0.8043 & 0.8025 & 0.8206 & \textbf{0.8336} \\
    & L1 & 3.3937 & 2.7563 & 3.0598 & 3.2653 & 2.4242 & 2.7209 & 2.2503 & \textbf{2.0708} \\
    & LPIPS & 0.2472 & 0.2231 & 0.2082 & 0.2854 & 0.2006 & 0.1657 & 0.2169 & \textbf{0.1490} \\
    \hline
    \multirow{4}{*}{40-50\%}
    & PSNR & 19.53 & 21.21 & 20.84 & 19.54 & 21.98 & 20.90 & 22.19 & \textbf{22.63} \\
    & SSIM & 0.6823 & 0.6858 & 0.7108 & 0.7137 & 0.7244 & 0.7278 & 0.7385 & \textbf{0.7508} \\
    & L1 & 5.2498 & 4.2088 & 5.3527 & 5.2836 & 3.5699 & 4.0833 & 3.3647 & \textbf{3.1478} \\
    & LPIPS & 0.3415 & 0.3020 & 0.2881 & 0.3689 & 0.2789 & 0.3013 & 0.2351 & \textbf{0.2190} \\
    \hline
    \multirow{4}{*}{50-60\%}
    & PSNR & 16.98 & 19.39 & 19.12 & 17.14 & 20.32 & 19.17 & 20.44 & \textbf{20.49} \\
    & SSIM & 0.6239 & 0.5965 & 0.6625 & 0.6531 & 0.6593 & 0.6723 & 0.6708 & \textbf{0.6826} \\
    & L1 & 7.9348 & 5.9689 & 5.9222 & 6.0012 & 4.9687 & 5.5556 & 4.6758 & \textbf{4.5722} \\
    & LPIPS & 0.4471 & 0.3796 & 0.3649 & 0.4610 & 0.3713 & 0.3839 & 0.3083 & \textbf{0.2970} \\
    \hline
  \end{tabular}}
\end{table}

从表\ref{tab:comparison}可以看出，本文方法在绝大多数指标上均达到了最佳水平。相较于表现次优的MxT方法，本文方法在六组掩码比例上PSNR平均领先0.81 dB，在10-20\%掩码条件下优势最为突出，增幅达1.96 dB。与EdgeConnect相比，本文方法在30-40\%掩码下PSNR高出2.95 dB，说明在大范围缺损场景中本文方法的优势更加明显。值得注意的是，在20-30\%掩码条件下，本文方法的PSNR（26.94 dB）略低于MISF（28.82 dB），但在SSIM（0.8784 vs 0.8564）、L1（1.4169 vs 1.6676）及LPIPS（0.1059 vs 0.1441）三项指标上均优于后者，表明本文方法在结构保持与感知质量维度上仍具竞争力。上述性能增益主要得益于AAFT的交替注意力策略在全局风格统一与局部细节连贯之间的有效平衡，以及SAISC对下采样过程中高频纹理信息衰减的补偿作用。图\ref{fig:inpaint_visual}给出了代表性视角下各方法的修复视觉效果对比，本文方法在纹理衔接性、色调协调性以及边缘清晰度等方面最为贴近真值。

\begin{figure}[htbp]
\centering\includegraphics[width=\textwidth]{resources/3_1/3_1_8_图像修复效果图.png}
\caption{不同方法的图像修复效果对比（红色框标注修复区域）}
\label{fig:inpaint_visual}
\end{figure}

\subsection{消融实验}

\subsubsection{AAFT交替策略的有效性}

为验证交替使用ESATB与ECATB这一设计选择的合理性，本文设计了多组消融实验，将掩码比例归并为三组（1-20\%、20-40\%、40-60\%），结果记录于表\ref{tab:aaft_ablation}。当仅保留ECATB或仅保留ESATB时，模型性能均有所下降；而采用交替组合的完整配置在全部掩码比例及所有评价指标上均实现最优表现，有力地证实了ESATB与ECATB之间的功能互补效应。

\begin{table}[htbp]
  \caption{AAFT交替策略的消融实验结果}
  \label{tab:aaft_ablation}
  \centering
  \begin{tabular}{cccccc}
    \hline
    \textbf{Metrics} & \textbf{ESATB} & \textbf{ECATB} & \textbf{1-20\%} & \textbf{20-40\%} & \textbf{40-60\%} \\
    \hline
    \multirow{3}{*}{PSNR/SSIM}
    & $\times$ & $\checkmark$ & 31.92/0.9471 & 24.74/0.8322 & 20.20/0.6910 \\
    & $\checkmark$ & $\times$ & 32.29/0.9478 & 25.20/0.8368 & 21.46/0.7064 \\
    & $\checkmark$ & $\checkmark$ & \textbf{32.34/0.9498} & \textbf{25.24/0.8410} & \textbf{21.49/0.7117} \\
    \hline
    \multirow{3}{*}{L1/LPIPS}
    & $\times$ & $\checkmark$ & 0.6555/0.0581 & 2.3462/0.1776 & 5.3974/0.3282 \\
    & $\checkmark$ & $\times$ & 0.6256/0.0575 & 2.1239/0.1740 & 5.0410/0.3127 \\
    & $\checkmark$ & $\checkmark$ & \textbf{0.5898/0.0527} & \textbf{1.9978/0.1634} & \textbf{4.0637/0.3030} \\
    \hline
  \end{tabular}
\end{table}

\subsubsection{SAISC的有效性}

本文对比了四种模型配置变体：去除SAISC、去除CA分支的SAISC、去除SA分支的SAISC以及完整SAISC，实验结果见表\ref{tab:saisc_ablation}。相较于完全移除SAISC的基线模型，完整配置在40-60\%掩码条件下PSNR增益达到1.49 dB，L1由4.95下降至4.06。完整SAISC在L1指标上全面领先，综合表现最优，说明空间注意力与通道注意力在该模块中起到了协同增效的作用。

\begin{table}[htbp]
  \caption{SAISC跳跃连接的消融实验结果}
  \label{tab:saisc_ablation}
  \centering
  \begin{tabular}{ccccc}
    \hline
    \textbf{Metrics} & \textbf{Model} & \textbf{1-20\%} & \textbf{20-40\%} & \textbf{40-60\%} \\
    \hline
    \multirow{4}{*}{PSNR/SSIM}
    & w/o SAISC & 32.27/0.9470 & 24.50/0.8342 & 20.00/0.7023 \\
    & SAISC w/o CA & 32.30/0.9507 & \textbf{25.32/0.8436} & \textbf{21.51}/0.7105 \\
    & SAISC w/o SA & 32.18/0.9481 & 24.91/0.8331 & 20.81/0.6871 \\
    & SAISC & \textbf{32.34}/0.9498 & 25.24/0.8410 & 21.49/\textbf{0.7117} \\
    \hline
    \multirow{4}{*}{L1/LPIPS}
    & w/o SAISC & 0.6571/0.0561 & 2.2618/0.1695 & 4.9502/0.3052 \\
    & SAISC w/o CA & 0.5899/0.0558 & 2.0734/0.1667 & 4.0924/0.2956 \\
    & SAISC w/o SA & 0.6296/0.0573 & 2.2372/0.1644 & 4.9179/0.3095 \\
    & SAISC & \textbf{0.5898/0.0527} & \textbf{1.9978/0.1634} & \textbf{4.0637}/0.3030 \\
    \hline
  \end{tabular}
\end{table}

\subsection{多视角一致性校正与三维重建实验}

本节分别从修复区域的还原质量、跨视角几何一致性以及对下游重建效果的影响三个维度评估一致性校正的效果。

\textbf{（1）破损区域修复质量。}表\ref{tab:mv_quality}汇总了5件文物共330个破损可见视角上的平均指标。引入一致性校正后，PSNR提高了0.35 dB，SSIM提高了0.0058，LPIPS下降了0.0057。尤为关键的是，各项指标的标准差均显著缩小（PSNR标准差缩减约20\%），反映出校正操作有效提升了各视角修复质量的均匀程度。

\begin{table}[htbp]
  \caption{多视角一致性校正对修复质量的影响}
  \label{tab:mv_quality}
  \centering
  \begin{tabular}{cccc}
    \hline
    \textbf{方法} & \textbf{PSNR$\uparrow$} & \textbf{SSIM$\uparrow$} & \textbf{LPIPS$\downarrow$} \\
    \hline
    仅单视角修复 & 30.47$\pm$0.92 & 0.9328$\pm$0.021 & 0.0601$\pm$0.014 \\
    一致性校正后 & \textbf{30.82$\pm$0.74} & \textbf{0.9386$\pm$0.017} & \textbf{0.0544$\pm$0.011} \\
    \hline
    平均提升$\Delta$ & +0.35 & +0.0058 & -0.0057 \\
    \hline
  \end{tabular}
\end{table}

\textbf{（2）跨视角几何一致性。}本文采用TSED（阈值对称极线距离）\upcite{bib17}来度量修复区域的极线几何一致性，该指标通过计算满足极线距离阈值条件的匹配点比例来量化不同视角间的几何对齐程度。如表\ref{tab:mv_tsed}所示，在5件文物共280个近邻视角对上，校正后TSED均值由0.758上升至0.821（相对提升8.3\%），有效视角对占比由89.3\%提升至96.4\%。

\begin{table}[htbp]
  \caption{破损可见近邻视角对的几何一致性评估}
  \label{tab:mv_tsed}
  \centering
  \begin{tabular}{cccc}
    \hline
    \textbf{方法} & \textbf{近邻视角对数} & \textbf{有效视角对比例} & \textbf{TSED$\uparrow$} \\
    \hline
    仅单视角修复 & 280 & 89.3\% & 0.758$\pm$0.094 \\
    一致性校正后 & 280 & \textbf{96.4\%} & \textbf{0.821$\pm$0.076} \\
    \hline
  \end{tabular}
\end{table}

\textbf{（3）对下游三维重建的影响。}在相同配置条件下，分别以修复图像序列和校正后图像序列作为COLMAP+3DGS重建管线的输入，结果列于表\ref{tab:mv_recon}。经过一致性校正后，渲染PSNR提升0.36 dB，SSIM提升0.0068，LPIPS降低0.0063，表明修复阶段的一致性增益有效地向下游三维重建任务传递。

\begin{table}[htbp]
  \caption{一致性校正对3DGS渲染质量的影响}
  \label{tab:mv_recon}
  \centering
  \begin{tabular}{cccc}
    \hline
    \textbf{方法} & \textbf{PSNR$\uparrow$} & \textbf{SSIM$\uparrow$} & \textbf{LPIPS$\downarrow$} \\
    \hline
    仅单视角修复 & 27.79$\pm$1.48 & 0.8753$\pm$0.034 & 0.1132$\pm$0.019 \\
    一致性校正后 & \textbf{28.15$\pm$1.31} & \textbf{0.8821$\pm$0.029} & \textbf{0.1069$\pm$0.016} \\
    \hline
    平均提升$\Delta$ & +0.36 & +0.0068 & -0.0063 \\
    \hline
  \end{tabular}
\end{table}





%----------------------------------------------------------
% 4. 结论
%----------------------------------------------------------

\section{结论}

本文提出了一种将Transformer图像修复与多视角一致性校正相结合的文物三维重建方法。在修复层面，构建了基于Transformer的文物图像修复模型，利用AAFT交替注意力策略实现通道维度与空间维度的协同特征建模。其中ECATB负责全局通道语义与风格的统一表征，ESATB聚焦于局部空间细节的精细恢复，SAISC则通过序列化空间与通道注意力机制弥补高频信息衰减。在一致性校正层面，设计了基于几何约束的多视角纹理统一方法，借助锚点视角筛选与深度辅助投影消除各视角间的修复差异。在重建层面，以校正后的图像序列为输入，联合COLMAP与3DGS生成高保真三维模型。实验验证表明，所提修复模型在文物数据集上的修复质量超越了现有方法，一致性校正在跨视角几何一致性与下游重建保真度方面均带来了显著的性能提升。未来工作计划引入扩散模型来增强复杂缺损场景的修复能力，并研究更加高效的跨视角一致性约束策略。

%----------------------------------------------------------
% 参考文献
%----------------------------------------------------------

\begin{thebibliography}{24}
    \bibitem{bib1} CHEN Y, ZHAO Y, LIU D, et al. An overview of industrial image segmentation using deep learning models[J]. Intelligence \& Robotics, 2025, 5(1): 143-180.
    \bibitem{bib2} KERBL B, KOPANAS G, LEIMK\"{U}HLER T, et al. 3D Gaussian Splatting for real-time radiance field rendering[J]. ACM Transactions on Graphics, 2023, 42(4): 1-14.
    \bibitem{bib3} RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[A]//International Conference on Medical Image Computing and Computer-Assisted Intervention[C]. Munich: Springer, 2015: 234-241.
    \bibitem{bib4} NI J, TANG G, CHEN Y, et al. An improved U-Net model with multiscale fusion for retinal vessel segmentation[J]. Intelligence \& Robotics, 2025, 5(3): 679-694.
    \bibitem{bib5} GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[A]//Advances in Neural Information Processing Systems[C]. Montreal: MIT Press, 2014: 2672-2680.
    \bibitem{bib6} YU J, LIN Z, YANG J, et al. Generative image inpainting with contextual attention[A]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Salt Lake City: IEEE, 2018: 5505-5514.
    \bibitem{bib7} NAZERI K, NG E, JOSEPH T, et al. EdgeConnect: Structure guided image inpainting using edge prediction[A]//Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops[C]. Seoul: IEEE, 2019: 3265-3274.
    \bibitem{bib8} LIU G, REDA F A, SHIH K J, et al. Image inpainting for irregular holes using partial convolutions[A]//Proceedings of the European Conference on Computer Vision[C]. Munich: Springer, 2018: 85-100.
    \bibitem{bib9} WAN Z, ZHANG J, CHEN D, et al. High-fidelity pluralistic image completion with transformers[A]//Proceedings of the IEEE/CVF International Conference on Computer Vision[C]. Montreal: IEEE, 2021: 4692-4701.
    \bibitem{bib10} LI W, LIN Z, ZHOU K, et al. MAT: Mask-aware transformer for large hole image inpainting[A]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition[C]. New Orleans: IEEE, 2022: 10758-10768.
    \bibitem{bib11} KO K, KIM C S. Continuously masked transformer for image inpainting[A]//Proceedings of the IEEE/CVF International Conference on Computer Vision[C]. Paris: IEEE, 2023: 13169-13178.
    \bibitem{bib12} CHEN S, ATAPOUR-ABARGHOUEI A, SHUM H P H. HINT: High-quality inpainting transformer with mask-aware encoding and enhanced attention[J]. IEEE Transactions on Multimedia, 2024, 26: 7649-7660.
    \bibitem{bib13} CHEN S, ATAPOUR-ABARGHOUEI A, ZHANG H, et al. MxT: Mamba x Transformer for image inpainting[A]//Proceedings of the British Machine Vision Conference[C]. Glasgow: BMVA Press, 2024: 1-15.
    \bibitem{bib14} LIU D, ZHANG Y, REN Y, et al. Multi-directional attention: a lightweight attention module for slender structures[J]. Intelligence \& Robotics, 2025, 5(4): 827-843.
    \bibitem{bib15} SCH\"{O}NBERGER J L, FRAHM J M. Structure-from-motion revisited[A]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Las Vegas: IEEE, 2016: 4104-4113.
    \bibitem{bib16} MILDENHALL B, SRINIVASAN P P, TANCIK M, et al. NeRF: Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM, 2022, 65(1): 99-106.
    \bibitem{bib17} YU J J, FORGHANI F, DERPANIS K G, et al. Long-term photometric consistent novel view synthesis with diffusion models[A]//Proceedings of the IEEE/CVF International Conference on Computer Vision[C]. Paris: IEEE, 2023: 7071-7081.
    \bibitem{bib18} RANFTL R, LASINGER K, HAFNER D, et al. Towards robust monocular depth estimation: Mixing datasets for zero-shot cross-dataset transfer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(3): 1623-1637.
    \bibitem{bib19} WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
    \bibitem{bib20} ZHANG R, ISOLA P, EFROS A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[A]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Salt Lake City: IEEE, 2018: 586-595.
    \bibitem{bib21} LI J, WANG N, ZHANG L, et al. Recurrent feature reasoning for image inpainting[A]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition[C]. Seattle: IEEE, 2020: 7760-7768.
    \bibitem{bib22} LIU T, LIAO L, CHEN D, et al. TransRef: Multi-scale reference embedding transformer for reference-guided image inpainting[J]. Neurocomputing, 2025, 632: 129749-129762.
    \bibitem{bib23} GUO Q, LI X, JUEFEI-XU F, et al. JPGNet: Joint predictive filtering and generative network for image inpainting[A]//Proceedings of the 29th ACM International Conference on Multimedia[C]. Chengdu: ACM, 2021: 386-394.
    \bibitem{bib24} LI X, GUO Q, LIN et al. MISF: Multi-level interactive siamese filtering for high-fidelity image inpainting[A]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition[C]. New Orleans: IEEE, 2022: 1869-1878.
\end{thebibliography}


\end{document}
