1. 研究背景与问题

核心问题

• 雨痕对图像质量的影响：雨滴、雨纹和雾气会导致图像对比度下降、颜色失真、细节模糊，严重影响遥感、监控、自动驾驶等领域的计算机视觉任务（如目标检测）。

• 现有方法的局限性：

  • 过拟合与过度平滑：模型在合成数据上训练后泛化能力差，易去除非雨纹纹理（如垂直背景），导致图像细节丢失。

  • 复杂雨纹建模不足：难以处理重叠雨纹、雾气等复杂天气混合场景。

  • 数据集缺陷：现有合成数据集多样性不足，缺乏真实世界的雨纹分布。

  • 颜色处理缺陷：传统CNN独立处理RGB通道，忽略通道间关联，导致颜色失真。

解决思路

• 四元数神经网络（QNN）：利用四元数代数同时处理RGB三通道，保留颜色空间关系，减少参数量（比传统CNN少75%）。

• 自注意力机制：增强特征表达能力，抑制噪声，聚焦关键信息。

2. 核心方法：QSAM-Net

网络架构

• 多尺度多阶段设计（图2）：

  • 两阶段编码器-解码器结构：每阶段接收原始雨图，通过残差块和跳跃连接提取特征。

  • 跨阶段特征融合（CSFF）：将前一阶段特征传递至下一阶段，增强多尺度信息整合。

  • 四元数自注意力模块（QSAM）：核心创新模块，连接两阶段并生成残差雨纹图。

关键技术

(1) 四元数图像表示

• 数学定义：将彩色图像表示为四元数矩阵： [ Q = L + R\mathbf{i} + G\mathbf{j} + B\mathbf{k} ] 其中 (L) 为亮度，(R,G,B) 为颜色通道，(\mathbf{i,j,k}) 为四元数基。

• 优势：通过哈密顿积（Hamilton Product）运算，保留RGB通道间的内在关联，避免传统CNN独立处理通道导致的信息损失。

(2) 四元数卷积

• 实现方式：将四元数卷积拆分为4组实值卷积（分别对应实部和三个虚部），通过哈密顿积整合特征： [ Q{\text{out}} = K \otimes Q{\text{in}} ]

• 优势：参数量减少75%，同时提升颜色特征表达能力。

(3) 四元数自注意力模块（QSAM）

• 工作流程：

  1. 输入前一阶段特征图，通过3×3四元数卷积（Conv1）增强特征。

  2. 生成残差雨纹图 (S)，与输入雨图相加得到初步去雨图。

  3. 通过Conv3生成引导图，用于特征变换。

• 作用：自适应增强雨纹相关特征，抑制背景噪声，提升雨纹分离精度。

(4) 激活函数与归一化

• 四元数ReLU：对四元数的每个分量分别应用ReLU： [ \text{ReLU}_q(Q) = \text{ReLU}(a) + \text{ReLU}(b)\mathbf{i} + \text{ReLU}(c)\mathbf{j} + \text{ReLU}(d)\mathbf{k} ]

• 四元数实例归一化：稳定训练过程，减少内部协变量偏移。

3. 扩展处理管道：QSAM-C-Net

为解决雨痕、雾气、低光照等多重退化问题，提出级联管道（图3）：

1. QSAM-Net：去除雨纹。

2. 改进版四元数GCANet：去除雾气。

3. 四元数Retinex网络：分解光照与反射分量，增强低光区域。

4. 后处理：直方图均衡化、锐化、颜色校正。

4. 实验结果与分析

(1) 雨痕去除性能（表II）

• 数据集：Test100、Rain100H/L、Test1200、Test2800。

• 指标：PSNR（峰值信噪比）、SSIM（结构相似性）。

• 结果：

  • QSAM-Net在所有数据集上PSNR/SSIM均优于对比方法（如MPRNet、HINet）。

  • 参数量仅22.3M，比HINet（88.7M）少75%，训练速度更快（图8）。

(2) 感知质量评估（表I）

• 指标：SSEQ（空间-光谱熵质量）、BRISQUE（无参考图像质量）。

• 结果：

  • QSAM-C-Net在SSEQ上提升3分，BRISQUE提升2分，视觉质量显著优于其他方法（图4）。

(3) 下游任务：目标检测（表IV）

• 数据集：RID（雨天驾驶）、RIS（雨天监控）。

• 任务：使用SCNet检测车辆、行人等目标。

• 结果：

  • QSAM-C-Net将RID/RIS的mAP50提升至0.314/0.323，比原始输入提升4.7%/8.4%。

  • 证明去雨处理可显著提升目标检测精度（图6）。

(4) 消融实验（表V-VI）

• 四元数 vs 实值网络：四元数版本PSNR提升0.18dB，训练收敛更快（图8）。

• QSAM-C-Net组件贡献：完整管道性能最优，移除任一模块（如去雾、Retinex）均导致mAP下降。

5. 创新点总结

1. 首个四元数雨痕去除网络：利用四元数代数处理RGB通道，保留颜色关联性。

2. 轻量化QSAM模块：通过自注意力机制增强特征融合，参数量仅为HINet的1/4。

3. 完整处理管道QSAM-C-Net：联合解决雨纹、雾气、低光照问题，提升真实场景适用性。

4. 下游任务验证：首次证明雨痕去除可提升目标检测精度（mAP50 +1%）。

6. 研究意义与局限

意义

• 理论：为低层图像处理（如去雨、去雾）提供四元数神经网络新范式。

• 应用：轻量化设计适合边缘设备部署（如车载系统、监控摄像头）。

• 任务驱动：通过提升图像质量间接优化高层视觉任务（如目标检测）。

局限

• 计算复杂度：四元数运算虽减少参数，但哈密顿积计算量高于实值卷积。

• 真实数据依赖：仍依赖合成数据集训练，真实雨纹多样性建模不足。

• 视频扩展：当前仅针对单图像，未扩展到视频去雨。

7. 未来方向

1. 视频去雨：结合时序信息处理动态雨纹。

2. 无监督学习：减少对合成数据的依赖，提升真实场景泛化性。

3. 多模态融合：结合红外、深度信息增强恶劣天气下的鲁棒性。

论文价值：QSAM-Net通过四元数代数与自注意力机制，在雨痕去除任务中实现了高精度、轻量化、颜色保真的平衡，为恶劣天气下的计算机视觉应用提供了新思路。