Project

Ryosuke Isono, Kazuki Naganuma, Shunsuke Ono

This paper proposes a novel spatiotemporal (ST) fusion framework for satellite images, named Robust Optimization-based Spatiotemporal Fusion (ROSTF). ST fusion is a promising approach to resolve a trade-off between the temporal and spatial resolution of satellite images. Although many ST fusion methods have been proposed, most of them are not designed to explicitly account for noise in observed images, despite the inevitable influence of noise caused by the measurement equipment and environment. Our ROSTF addresses this challenge by treating the noise removal of the observed images and the estimation of the target high-resolution image as a single optimization problem. Specifically, first, we define observation models for satellite images possibly contaminated with random noise, outliers, and/or missing values, and then introduce certain assumptions that would naturally hold between the observed images and the target high-resolution image. Then, based on these models and assumptions, we formulate the fusion problem as a constrained optimization problem and develop an efficient algorithm based on a preconditioned primal-dual splitting method for solving the problem. The performance of ROSTF was verified using simulated and real data. The results show that ROSTF performs comparably to several state-of-the-art ST fusion methods in noiseless cases and outperforms them in noisy cases. 

本論文では、Robust Optimization-based Spatiotemporal Fusion (ROSTF)と名付けた、衛星画像の時空間（ST: Spatiotemporal）合成フレームワークを新たに提案する。時空間合成は、衛星画像の時間分解能と空間分解能のトレードオフを解決する有力なアプローチであり、数多くの手法が提案されてきた。しかし、リモートセンシング画像には計測機器や計測環境によるノイズの影響が避けられないにもかかわらず、既存の時空間合成手法の多くはノイズを明示的に考慮して設計されていない。我々のROSTFは、観測画像のノイズ除去と所望の高解像度画像の推定を一つの最適化問題として扱うことでこの課題を解決する。具体的には、まず、ランダムノイズ、外れ値、欠損値で汚染されている衛星画像の観測モデルを定義し、次に観測画像と所望の高解像度画像との間で自然に成り立つであろう仮定を導入する。そして、これらのモデルと仮定に基づいて、時空間合成問題を制約付き最適化問題として定式化し、Preconditioned Primal-Dual Splitting（P-PDS）に基づいて、この問題を解くための効率的なアルゴリズムを開発する。ROSTFの性能をシミュレーションと実データを用いて検証した結果、ROSTFは、ノイズのない場合には最先端の時空間合成手法に匹敵する性能を示し、ノイズのある場合にはそれらを上回る性能を示した。

@misc{isono2023robust,

      title={Robust Spatiotemporal Fusion of Satellite Images: A Constrained Convex Optimization Approach}, 

      author={Ryosuke Isono and Kazuki Naganuma and Shunsuke Ono},

      year={2023},

      eprint={2308.00500},

      archivePrefix={arXiv},

      primaryClass={eess.SP}

}

• arXiv

• GitHub