Project

Published in IEEE Transactions on Geoscience and Remote Sensing

Kazuki Naganuma, Shunsuke Ono

Removing stripe noise, i.e., destriping, from remote sensing images is an essential task in terms of visual quality and subsequent processing. Most existing destriping methods are designed by combining a particular image regularization with a stripe noise characterization that cooperates with the regularization, which precludes us to examine and activate different regularizations to adapt to various target images. To resolve this, two requirements need to be considered: a general framework that can handle a variety of image regularizations in destriping, and a strong stripe noise characterization that can consistently capture the nature of stripe noise, regardless of the choice of image regularization. To this end, this paper proposes a general destriping framework using a newly-introduced stripe noise characterization, named flatness constraint, where we can handle various regularization functions in a unified manner. Specifically, we formulate the destriping problem as a nonsmooth convex optimization problem involving a general form of image regularization and the flatness constraint. The constraint mathematically models that the intensity of each stripe is constant along one direction, resulting in a strong characterization of stripe noise. For solving the optimization problem, we also develop an efficient algorithm based on a diagonally preconditioned primal-dual splitting algorithm (DP-PDS), which can automatically adjust the stepsizes. The effectiveness of our framework is demonstrated through destriping experiments, where we comprehensively compare combinations of a variety of image regularizations and stripe noise characterizations using hyperspectral images (HSI) and infrared (IR) videos.

リモートセンシング画像（ハイパースペクトル画像（HSI）や赤外線（IR）動画）にはイメージングの過程でストライプノイズが重畳する。ストライプノイズは、画像の識別率低下や誤分類を引き起こすため，これを取り除く手法が数多く提案されている。既存のストライプノイズ除去法の多くは、特定の画像正則化と、その正則化に適合するストライプノイズの特徴づけを組み合わせて設計されており、様々な対象画像に適する異なる正則化を検討することが困難である。これを解決するためには、ストライプノイズ除去において様々な画像正則化を扱うことができる一般的なフレームワークと、画像正則化の選択によらずストライプノイズの性質を一貫して捉えることができる強力な特徴づけの二つが必要である。本論文では、新たに導入したストライプノイズの特徴づけ（平坦性制約）を用いて、様々な正則化関数を統一的に扱えるストライプノイズ除去のフレームワークを提案する。具体的には、ストライプノイズ除去問題を、一般的な画像正則化と平坦性制約を含む凸最適化問題として定式化する。この制約は，縞模様の強度が一方向に一定であることを数学的にモデル化するため、ストライプノイズを強く特徴付けることができる。また、正則化関数の変化に適応しながらステップサイズを自動的に調整するために、Diagonal Preconditioned Primal-Dual Splitting（DP-PDS）に基づく効率的な求解アルゴリズムを開発する。実際のリモートセンシング画像であるハイパースペクトル画像（HSI）と赤外線（IR）動画を用いて、様々な画像正則化と縞模様ノイズの特徴の組み合わせを包括的に比較し、提案法の有効性を実証する。

• [Zhang+, 2014]  H. Zhang, W. He, L. Zhang, H. Shen, and Q. Yuan, "Hyperspectral image restoration using low-rank matrix recovery," IEEE Trans. Geosci. Remote Sens., vol. 52, no. 8, pp. 4729–4743, Aug. 2014.

• [Ince, 2019]  T. Ince, "Hyperspectral image denoising using group low-rank and spatial-spectral total variation," IEEE Access, vol. 7, pp. 52 095–52 109, Apr. 2019.

• [Chang+, 2016]  Y. Chang, L. Yan, T. Wu, and S. Zhong, "Remote sensing image stripe noise removal: From image decomposition perspective," IEEE Trans. Geosci. Remote Sens., vol. 54, no. 12, pp. 7018–7031, Dec. 2016.

• [Dou+, 2018]  H.-X. Dou, T.-Z. Huang, L.-J. Deng, X.-L. Zhao, and J. Huang, "Directional l0 sparse modeling for image stripe noise removal," Remote Sensing, vol. 10, no. 3, p. 361, Feb. 2018.

@ARTICLE{

  Naganuma_2022_GeneralDestriping,

  author={Naganuma, Kazuki and Ono, Shunsuke},

  journal={IEEE Transactions on Geoscience and Remote Sensing}, 

  title={A general destriping framework for remote sensing images using flatness constraint}, 

  year={2022},

  volume={60},

  number={},

  pages={1-16},

  note={{A}rt. no. 5525016}

}

• official

• arXiv

• MATLAB Code

• GitHub