40
0
2026-11-11
2026-11-11
该论文发表于 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR 2026），题目为《MMDIR: Multimodal Instruction-Driven Framework for Mixed-Degradation Document Image Restoration》。
哈尔滨工业大学（深圳）博士研究生李恒为本文第一作者。哈尔滨工业大学（深圳）计算机科学与技术学院吴湘平助理研究员和陈清财教授为本文共同通讯作者。
论文链接：
https://openaccess.thecvf.com/content/CVPR2026/html/Li_MMDIR_Multimodal_Instruction-Driven_Framework_for_Mixed-Degradation_Document_Image_Restoration_CVPR_2026_paper.html
一张拍摄或扫描得到的文档，可能同时存在模糊、阴影、文字水印和印章。MMDIR 将文档图像与文本指令共同送入模型，一边识别实际存在的退化类型并生成文字回答，一边利用回答中的语义特征指导图像修复，实现混合退化条件下的统一处理。
该工作同时构建了 MixedDoc 基准，包含 1,837 张具有 1 至 4 类退化的测试图像。MMDIR 在该基准上取得 24.43 dB 的 PSNR 和 0.908 的 SSIM，并将 PaddleOCR 的字符错误率降至 0.17。结果表明，语义指导不仅改善图像观感，也有助于保留后续文字识别所需的信息。
拍摄或扫描文档时，相机抖动会使字符边缘模糊，照明不均和物体遮挡会带来阴影，水印与印章也可能覆盖正文。这些干扰常常同时出现，影响后续的文字识别、表格提取与文档理解。针对单一退化训练的模型难以直接处理多种干扰的组合。
DocDiff 主要学习从退化图像到清晰图像的映射；DocRes 则引入动态任务相关的视觉提示，统一处理多项修复任务。MMDIR 不需要额外提取退化视觉提示图，而是根据输入图像和语言指令生成退化识别答案，再用答案的语义特征指导图像修复。
图1 文档图像修复范式对比
MMDIR 由视觉编码器、投影模块、大语言模型和视觉解码器组成。训练时，退化图像、问题形式的文本指令及退化识别答案一同输入模型，答案标签用于监督退化识别。推理时只输入图像与指令，由模型逐步生成答案，再以答案特征指导修复。
图2 MMDIR 整体框架
视觉分支使用基于 ViTDet 的编码器，将输入划分为 16×16 的非重叠图像块；投影模块通过两层 3×3 卷积将视觉特征转换为 256 个视觉 token。文本分支对指令与训练答案进行编码，文本序列最大长度设为 128。视觉与语言 token 拼接后，送入大语言模型进行联合处理。
指令包含“识别退化”以及可选的“指定去除类型”两部分。训练时随机采用不指定类型或随机指定 1 至 4 类的模板。模型需要判断指定类型是否存在，也要识别图中未被指令提及的干扰。退化判断因此以图像内容为依据，而非直接照搬指令中列出的类型。
推理时，大语言模型逐步解码退化识别答案，并对生成答案的隐藏状态沿序列维度取平均，获得语义特征。视觉解码器通过 GuidedLayer 将语义特征与视觉特征融合，再利用四个尺度的特征、PixelShuffle 上采样和 NAF Block，逐级恢复至原始分辨率。NAF Block 来自图像修复的简单基线网络。
图3 视觉解码器结构
训练同时约束图像与文字两个输出。图像端结合全图像素 L1 损失、退化区域的局部 L1 损失与 SSIM 损失；文字端使用交叉熵损失学习退化识别。局部 L1 损失通过掩码计算阴影、文字水印和印章区域的像素误差。
（1）
其中，Lpixel 为全图像素损失，Llocal 为局部损失，Lssim 为结构相似性损失，Lce 为退化识别交叉熵损失；权重 α、β、λ 分别设为 4、0.5、0.5。
作者从 CDLA、CDDOD 和 FSDSRD 的干净文档图像出发，合成 110,000 张训练图像，每张随机叠加 1 至 4 类退化。模糊涵盖高斯、散焦、玻璃、缩放和运动模糊；印章由 20,000 张合成素材与 DocDiff 的真实印章素材构成；阴影与中英文文字水印经过随机裁剪、旋转等处理，以增加外观差异。
图4 训练样本示例
MixedDoc 的源文档图像来自 M6Doc。测试合成使用了未参与训练的 320 张真实印章和 432 个阴影掩码，共生成 1,837 张图像。其中含 1、2、3、4 类退化的样本分别为 110、693、786、248 张，占比为 6.0%、37.7%、42.8%、13.5%。文档与部分干扰素材来自真实数据，但混合退化由合成流程产生。
图5 MixedDoc 测试样本
模型采用 Qwen2.5 0.5B，除嵌入层外冻结其参数。训练输入为 1024×1024，采用 AdamW，批量大小为 16，最大学习率为 3×10⁻⁴，余弦衰减并设置 5% 的预热步骤，在两张 NVIDIA A100 GPU 上训练 80 个轮次。
单一退化任务使用 BMVC 去模糊数据和 OSR 去阴影数据：BMVC 选取 30,000 对训练图像与 10,000 对测试图像；去阴影训练使用 FSDSRD 的 14,200 张合成图像与 RDD 的 4,371 张真实图像，测试使用 OSR 的 237 张图像。评价指标为 PSNR、SSIM、LPIPS 和 DISTS，前两项越高越好，后两项越低越好。
在 BMVC 上，MMDIR 的 PSNR、LPIPS 和 DISTS 优于原论文表1中的对比方法；SSIM 为 0.977，略低于 LGA-Doc 的 0.978。在 OSR 上，MMDIR 的 LPIPS 与 DISTS 最优，但 PSNR 低于 BGSNet 和 DiffUIR 1024，SSIM 低于 BGSNet。
表1 单一退化修复结果
|
任务与方法 |
PSNR ↑ |
SSIM ↑ |
LPIPS ↓ |
DISTS ↓ |
|---|---|---|---|---|
|
BMVC DocDiff 1024* |
24.95 |
0.952 |
0.0261 |
0.0477 |
|
BMVC DiffUIR 1024* |
23.09 |
0.914 |
0.0557 |
0.0752 |
|
BMVC LGA-Doc |
28.95 |
0.978 |
0.0169 |
0.0470 |
|
MMDIR BMVC |
29.03 |
0.977 |
0.0150 |
0.0233 |
|
OSR BGSNet |
21.25 |
0.931 |
0.0702 |
0.0995 |
|
OSR DiffUIR 1024* |
21.08 |
0.928 |
0.0579 |
0.0848 |
|
MMDIR OSR |
19.60 |
0.928 |
0.0547 |
0.0816 |
图6 文档去模糊结果对比
图7 文档去阴影结果对比
表2 MixedDoc 修复结果
|
方法 |
PSNR ↑ |
SSIM ↑ |
LPIPS ↓ |
DISTS ↓ |
|---|---|---|---|---|
|
DocDiff 256* |
18.35 |
0.744 |
0.4392 |
0.3082 |
|
DocDiff 1024* |
21.14 |
0.863 |
0.1923 |
0.1966 |
|
DiffUIR 256* |
18.79 |
0.742 |
0.4525 |
0.3093 |
|
DiffUIR 1024* |
22.09 |
0.853 |
0.2008 |
0.2064 |
|
MMDIR |
24.43 |
0.908 |
0.1217 |
0.1323 |
在 MixedDoc 上，MMDIR 的四项指标均优于表中复现基线。相较 DiffUIR 1024*，PSNR 提高 2.34 dB，SSIM 提高 0.055；相较 DocDiff 1024*，LPIPS 从 0.1923 降至 0.1217，DISTS 从 0.1966 降至 0.1323。图8给出了印章、水印、阴影与模糊叠加时的恢复结果。
图8 混合退化修复结果对比
作者使用 PaddleOCR 测量字符错误率 CER 与编辑距离 ED，同时比较 FID、推理时间和参数量。MMDIR 的 CER 为 0.17，ED 为 240.8，FID 为 9.07，三项均为表中最低值。
表3 文字识别效果与计算成本
|
方法 |
CER ↓ |
ED ↓ |
FID ↓ |
耗时 |
参数量 |
|---|---|---|---|---|---|
|
DocDiff* |
0.27 |
368.2 |
24.62 |
3.02 s |
8M |
|
DiffUIR* |
0.24 |
352.9 |
21.45 |
1.80 s |
36M |
|
FoundIR* |
0.23 |
328.5 |
10.41 |
3.54 s |
36M |
|
MMDIR |
0.17 |
240.8 |
9.07 |
1.51 s |
735M |
去除文字指导与大语言模型后，模型仅保留视觉编码器和解码器，三个基准上的修复指标均变差。由于实验同时移除了整个语言指导分支，无法区分语言模型、指令措辞及其他组件各自的贡献。
表4 指令指导分支消融
|
基准 |
指令指导 |
PSNR ↑ |
SSIM ↑ |
LPIPS ↓ |
DISTS ↓ |
|---|---|---|---|---|---|
|
BMVC |
无 |
26.76 |
0.966 |
0.0219 |
0.0320 |
|
BMVC |
有 |
29.03 |
0.977 |
0.0150 |
0.0233 |
|
OSR |
无 |
18.79 |
0.922 |
0.0610 |
0.0960 |
|
OSR |
有 |
19.60 |
0.928 |
0.0547 |
0.0816 |
|
MixedDoc |
无 |
23.83 |
0.898 |
0.1324 |
0.1489 |
|
MixedDoc |
有 |
24.43 |
0.908 |
0.1217 |
0.1323 |
在 MixedDoc 上，加入该分支后，PSNR 从 23.83 提升至 24.43 dB，SSIM 从 0.898 提升至 0.908。退化识别中，模糊的 F1 为 0.9586，低于其他三类；文字水印的 F1 为 0.9989，是四类中最高的。
表5 退化类型识别结果
|
退化类型 |
精确率 P |
召回率 R |
F1 |
|---|---|---|---|
|
模糊 |
0.9772 |
0.9407 |
0.9586 |
|
印章 |
0.9812 |
0.9732 |
0.9772 |
|
阴影 |
0.9985 |
0.9638 |
0.9808 |
|
文字水印 |
0.9993 |
0.9985 |
0.9989 |
图9 退化识别与修复示例
按每张图像的退化种类数统计，1、2、3、4 类退化对应的识别召回率分别为 1.0000、0.9784、0.9712、0.9647，F1 分别为 0.9955、0.9805、0.9811、0.9820。召回率随退化种类增多而下降，F1 则并非单调变化。图10中的 PSNR 与 SSIM 也总体随退化种类增多而下降，多种干扰叠加时的修复仍然更困难。
图10 退化种类数对修复质量的影响
MMDIR 的主要贡献是把图像修复与语言形式的退化识别结合起来：模型不仅输出修复图像，还能说明图中检测到的干扰，并用相关语义特征指导视觉解码。MixedDoc 则提供了覆盖模糊、阴影、文字水印和印章随机组合的测试基准，使统一修复方法能够在混合退化条件下进行比较。
在 MixedDoc 上，MMDIR 的 PSNR、SSIM、LPIPS 和 DISTS 均优于表中对比方法，OCR 测试的 CER 与 ED 也最低。单一去阴影任务中，其 PSNR 与 SSIM 未全面领先。模型总参数量为 735M，实际部署还需要结合具体硬件评估计算和存储开销。现有测试主要覆盖四类退化及其合成组合，尚不足以说明模型在其他干扰、未见文档和复杂真实场景中的表现。
作者提出未来将扩展退化类型并增强数据真实性，以进一步提高复杂场景下的文档修复能力。这也提示后续研究应在更丰富的真实退化数据上，持续检验视觉恢复、退化识别与文字可读性之间的一致性。
参考文献：
Li, H., Wang, X., Fan, Y., Zhang, Y., Wu, X. and Chen, Q. (2026) MMDIR: Multimodal Instruction-Driven Framework for Mixed-Degradation Document Image Restoration. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 8387–8396.
Yang, Z. et al. (2023) DocDiff: Document Enhancement via Residual Diffusion Models. In: Proceedings of the 31st ACM International Conference on Multimedia, 2795–2806.
Zhang, J., Peng, D., Liu, C., Zhang, P. and Jin, L. (2024) DocRes: A Generalist Model Toward Unifying Document Image Restoration Tasks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 15654–15664.
Chen, L., Chu, X., Zhang, X. and Sun, J. (2022) Simple Baselines for Image Restoration. In: European Conference on Computer Vision, 17–33.
Zheng, D., Wu, X.-M., Yang, S., Zhang, J., Hu, J.-F. and Zheng, W.-S. (2024) Selective Hourglass Mapping for Universal Image Restoration Based on Diffusion Model. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 25445–25455.
——END——
撰稿人：肖智锋
审核人：梁瑾
脑机接口与混合智能研究团队
