跨尺度耦合的连续比例因子图像超分辨率
目的 虽然深度学习技术已大幅提高了图像超分辨率的性能,但是现有方法大多仅考虑了特定的整数比例因子,不能灵活地实现连续比例因子的超分辨率.现有方法通常为每个比例因子训练一次模型,导致耗费很长的训练时间和占用过多的模型存储空间.针对以上问题,本文提出了一种基于跨尺度耦合网络的连续比例因子超分辨率方法.方法 提出一个用于替代传统上采样层的跨尺度耦合上采样模块,用于实现连续比例因子上采样.其次,提出一个跨尺度卷积层,可以在多个尺度上并行提取特征,通过动态地激活和聚合不同尺度的特征来挖掘跨尺度上下文信息,有效提升连续比例因子超分辨率任务的性能.结果 在3 个数据集上与最新的超分辨率方法进行比较,在连续比例因子任务中,相比于性能第2 的对比算法Meta-SR(meta super-resolution),峰值信噪比提升达0.13 dB,而参数量减少了73％.在整数比例因子任务中,相比于参数量相近的轻量网络SRFBN(super-resolution feedback network),峰值信噪比提升达0.24 dB.同时,提出的算法能够生成视觉效果更加逼真、纹理更加清晰的结果.消融实验证明了所提算法中各个模块的有效性.结论 本文提出的连续比例因子超分辨率模型,仅需要一次训练,就可以在任意比例因子上获得优秀的超分辨率结果.此外,跨尺度耦合上采样模块可以用于替代常用的亚像素层或反卷积层,在实现连续比例因子上采样的同时,保持模型性能.
深度学习 单幅图像超分辨率(SISR) 连续比例因子 跨尺度耦合 跨尺度卷积
吴瀚霖 李宛谕 张立保
北京师范大学人工智能学院,北京 100875
国内会议
线上
中文
1604-1615
2022-04-21（万方平台首次上网日期，不代表论文的发表时间）