1. 研究背景与问题

1.1 核心问题

• 任意尺度超分辨率（ASISR）的局限性：现有方法（如LIIF、CiaoSR）在训练覆盖的尺度内（如×1–×4）表现良好，但当放大倍数超出训练范围（如×30–×100）时，性能急剧下降，产生严重模糊、噪声和伪影（图1, 图2）。

• 传统级联方法的缺陷：

  • 需为每个放大步骤训练独立模型（如×4→×4→×4实现×64），训练复杂度高。

  • 存储开销大，且新尺度需重新训练，扩展性差。

  • 循环使用现有ASISR模型会导致分布漂移（distribution drift），累积噪声和模糊（图2）。

1.2 根本原因

• 病态映射问题：超大尺度下，低分辨率（LR）到高分辨率（HR）的映射关系高度不确定，难以学习。

• 分布偏移：循环放大时，中间结果逐渐偏离原始训练分布，导致模型性能退化。

2. 核心方法：SbCA（Stroke-based Cyclic Amplifier）

2.1 整体框架

• 统一模型：单一模型支持任意尺度（×1–×100+），仅需训练一次。

• 循环策略：将超大尺度分解为多个小尺度步骤（如×30 = ×4 × ×3 × ×2.5），每步用同一SbCA模型处理（图3a）。

• 关键模块：

  • 笔画向量放大器（SVA）：将图像分解为矢量笔画并放大。

  • 细节完成模块（DCM）：恢复丢失的纹理细节。

2.2 笔画向量放大器（SVA）

2.2.1 笔画分解器（Stroke Decomposer）

• 目标：将图像表示为一系列贝塞尔曲线（Bézier curves）参数化的笔画。

• 参数化：每笔画包含：

  • 形状参数：控制点 {x0,y0,x1,y1,x2,y2} + 宽度 {w0,w1}。

  • 颜色参数：RGB值 {r,g,b}。

• 训练方式：

  • 强化学习（Actor-Critic框架）：智能体根据当前状态（输入图像、画布、步数）决策笔画参数。

  • 奖励函数：基于WGAN-GP判别器评估笔画对图像重建的贡献（公式2）。

2.2.2 任意尺度笔画绘制器（ASSP）

• 问题：传统MLP+转置卷积的绘制方法无法支持任意尺度（输出尺寸固定）。

• 解决方案：

  • 隐式神经表示：用MLP r_ω 将笔画参数映射到连续空间（公式3）。

  • 动态查询：根据目标分辨率 [h,w] 查询像素坐标 x_q，生成清晰笔画轮廓（图3b）。

• 损失函数：L1损失监督笔画轮廓生成（公式4）。

2.3 细节完成模块（DCM）

2.3.1 挑战

• 分布稳定性：SVA输出为矢量笔画，噪声/伪影难以在稀疏表示中累积，解决了分布漂移。

• 上下文缺失：超大尺度下，图像需分块处理，但块内缺乏全局上下文，影响细节恢复。

2.3.2 解决方案

• 多模态上下文注入（图3c）：

  1. 文本描述生成：用RAM模型从输入图像提取文本描述 p_{k-1}^{txt}（如"鸟、羽毛、眼睛"）。

  2. 图像编码：用ControlNet编码SVA输出 C_T^k。

  3. 扩散模型生成：将文本描述和编码输入Stable Diffusion，优化噪声预测（公式5）。

• 优势：文本提供全局语义，指导扩散模型恢复符合上下文的细节。

3. 实验与结果

3.1 实验设置

• 训练数据：DF2K数据集，合成LR-HR对（双三次下采样）。

• 测试数据：

  • 合成数据：DIV8K（×8–×30）。

  • 真实数据：Benchmark（Set5/Set14/BSD100/Urban100）、RealSRSet、RealSR（含复杂退化）。

• 评估指标：

  • 感知质量：LPIPS、MUSIQ、NIQE、PI。

  • 像素级：PSNR、SSIM（参考用）。

3.2 关键结果

3.2.1 超大尺度超分辨率（DIV8K）

• 感知质量显著领先（表1）：

  • ×30时，LPIPS比次优方法（LINF-LP）提升14.6%（0.522 vs 0.611）。

  • MUSIQ/NIQE/PI分别提升96.4%/70.5%/55.8%。

• 视觉质量（图4）：

  • SbCA恢复清晰花瓣边缘和动物毛发纹理，而基线方法（如CiaoSR、LIIF）产生模糊和伪影。

3.2.2 真实图像泛化能力

• 分布偏移鲁棒性（表2）：

  • 在RealSR（最严重退化数据集）上，×30时MUSIQ比次优方法（SRNO）提升83.6%（39.27 vs 21.39）。

  • 基线方法随分布偏移加剧性能下降，SbCA保持稳定。

3.2.3 消融实验

• 模块必要性（表4, 图5）：

  • 仅DCM：循环导致分布漂移，出现模糊和伪影（如企鹅羽毛模糊）。

  • 仅SVA：缺乏细节，输出不真实（如数字边缘锐利但纹理缺失）。

  • SbCA（SVA+DCM）：平衡锐度与细节，效果最优。

3.3 效率分析

• 推理时间（表3）：

  • SbCA需2.22秒（A6000 GPU），其中DCM（扩散模型）占1.86秒。

  • 优于传统级联方法（需多模型推理），但慢于轻量ASISR（如LIIF仅需0.13秒）。

• 优化方向：未来可探索一步扩散模型提升效率。

4. 核心创新点

4.1 矢量笔画表示

• 抗分布漂移：笔画作为稀疏基，难以表示噪声/伪影，避免循环放大中的累积退化。

• 无限缩放性：矢量图形可无损缩放，抑制边缘模糊。

4.2 统一循环框架

• 单模型多尺度：仅需训练一次（×1–×4），支持任意超大尺度（×100+）。

• 训练/存储高效：对比级联方法（需多模型训练），成本降低90%+。

4.3 多模态细节恢复

• 文本引导扩散：利用RAM生成的文本描述提供全局上下文，解决分块处理的语义缺失问题。

5. 局限性与未来方向

• 计算开销：扩散模型导致推理较慢（需2.22秒）。

• PSNR/SSIM较低：因优化目标为感知质量而非像素级重建（作者认为PSNR/SSIM与人类感知不一致）。

• 未来工作：

  • 采用一步扩散模型加速推理。

  • 探索更高效的笔画表示（如稀疏编码）。

  • 扩展至视频超分辨率。

总结

SbCA通过矢量笔画分解和文本引导扩散，首次实现单一模型支持任意超大尺度超分辨率（×100+），在感知质量上显著超越SOTA方法。其核心创新在于：

1. 用矢量表示抑制分布漂移和伪影累积；

2. 循环策略统一多尺度处理，降低训练/存储成本；

3. 多模态上下文注入提升细节恢复真实性。 该工作为超大尺度图像重建提供了新范式，在医学影像、卫星遥感等领域具有应用潜力。