Project

Convergent Primal-Dual Plug-and-Play Image Restoration: A General Algorithm and Applications 

Yodai Suzuki, Ryosuke Isono, and Shunsuke Ono

本研究のポイント

• 主-双対近接分離法(PDS)に基づいた、収束保証付きの汎用的なPnP法を提案

• 提案法によって生成される点列の収束先を、Monotone Inclusion Problemの解集合として数学的に特徴づけ

• Non-quadricなデータ項や追加制約を含む画像復元タスクにおいて、既存法より高い復元精度を発揮することを確認

提案法のメリット

• Non-quadricなデータ項や追加の制約を含む多種多様な定式化を効率的に扱える

• ガウシアンデノイザーの強力な事前知識を活かした正則化を取り入れつつ、安定したアルゴリズムが構築できる

Abstract

We propose a general deep plug-and-play (PnP) algorithm with a theoretical convergence guarantee. PnP strategies have demonstrated outstanding performance in various image restoration tasks by exploiting the powerful priors underlying Gaussian denoisers. However, existing PnP methods often lack theoretical convergence guarantees under realistic assumptions due to their ad-hoc nature, resulting in inconsistent behavior. Moreover, even when convergence guarantees are provided, they are typically designed for specific settings or require a considerable computational cost in handling non-quadratic data-fidelity terms and additional constraints, which are key components in many image restoration scenarios. To tackle these challenges, we integrate the PnP paradigm with primal-dual splitting (PDS), an efficient proximal splitting methodology for solving a wide range of convex optimization problems, and develop a general convergent PnP framework. Specifically, we establish theoretical conditions for the convergence of the proposed PnP algorithm under a reasonable assumption. Furthermore, we show that the problem solved by the proposed PnP algorithm is not a standard convex optimization problem but a more general monotone inclusion problem, where we provide a mathematical representation of the solution set. Our approach efficiently handles a broad class of image restoration problems with guaranteed theoretical convergence. Numerical experiments on specific image restoration tasks validate the practicality and effectiveness of our theoretical results.

収束が理論的に保証された、汎用性の高い深層Plug and play (PnP)アルゴリズムを提案する。ガウシアンデノイザーの持つ強力な事前知識を活用するPnP法は、多彩な画像復元タスクにおいて群を抜いたパフォーマンスを発揮することが示されてきた。しかしながら、PnP法は本質的にアドホックな手法であるため、多くの既存法は現実的な仮定のもとでの収束保証を欠いており、一貫性のない挙動をもたらしていた。また、収束保証を有する既存法も存在するが、それらは典型的な画像復元タスクのみを想定して設計されているか、画像復元においてしばしば肝となるNon-quadricなデータ項や追加の制約条件を扱う際に、相当の計算量を必要とする問題点を抱えていた。我々はこれらの問題を解消するために、広範な凸最適化問題を効率的に解ける近接分離法である「主-双対近接分離法（PnP-PDS）」に基づいたPnP法を探求し、汎用性の高いPnP法のフレームワークを開発する。特に、提案するPnPアルゴリズムが現実的な仮定の下で収束するための理論的な条件を明らかにする。加えて、提案するPnPアルゴリズムが、通常の凸最適化問題よりも一般的なMonotone Inclusion Problemを解いていることを示し、その解集合に対する数学的な特徴づけを与える。我々のアプローチは、収束保証付きで幅広い画像復元問題を効率的に扱うことができる。特定の画像復元タスクに関する数値実験は、我々の理論的な結果の実用性と実効性を裏付けている。

[17] J. C. Pesquet, A. Repetti, M. Terris, and Y. Wiaux, “Learning maximally monotone operators for image recovery,” SIAM J. Imag. Sci., vol. 14, no. 3, pp. 1206–1237, 2021.
[24] Y. Sun, Z. Wu, X. Xu, B. Wohlberg, and U. S. Kamilov, “Scalable plug-and-play ADMM with convergence guarantees,” IEEE Trans. Comput. Imag., vol. 7, pp. 849–863, 2021.
[25] S. Ono, “Primal-dual plug-and-play image restoration,” IEEE Signal Process. Lett., vol. 24, no. 8, pp. 1108–1112, 2017.
[26] C. S. Garcia, M. Larchevˆeque, S. O’Sullivan, M. V. Waerebeke, R. Thomson, A. Repetti, and J.-C. Pesquet, “A primal–dual data-driven method for computational optical imaging with a photonic lantern,” PNAS Nexus, vol. 3, no. 4, p. 164, 2024.
[44]  Y. Romano, M. Elad, and P. Milanfar, “The little engine that could: regularization by denoising (RED),” SIAM J. Imag. Sci., vol. 10, no. 4, p. 1804–1844, 2017.
[59] M. Afonso, J. Bioucas-Dias, and M. Figueiredo, “An augmented lagrangian approach to the constrained optimization formulation of imaging inverse problems,” IEEE Trans. Image Process., vol. 20, no. 3, pp. 681–95, 2011.

Reference

Y. Suzuki, I. Ryosuke, and S. Ono. "Convergent Primal-Dual Plug-and-Play Image Restoration: A General Algorithm and Applications" arXiv:2501.03780, 2025. 

@misc{suzuki2025convergentprimaldualplugandplayimage,
title={Convergent Primal-Dual Plug-and-Play Image Restoration: A General Algorithm and Applications},
author={Yodai Suzuki and Ryosuke Isono and Shunsuke Ono},
year={2025},
eprint={2501.03780},
archivePrefix={arXiv},
primaryClass={eess.IV},
url={https://arxiv.org/abs/2501.03780},
}

Links

• arXiv

• Github