Extension optimale des algorithmes de démosaïquage d'images multispectrales pour la mise en place d'un système d'acquisition vidéo caméra one-shot - Imagerie et Vision Artificielle Accéder directement au contenu
Thèse Année : 2022

Optimal extension of multispectral image demosaicking algorithms for setting up a one-shot camera video acquisition system

Extension optimale des algorithmes de démosaïquage d'images multispectrales pour la mise en place d'un système d'acquisition vidéo caméra one-shot

Norbert Hounsou
  • Fonction : Auteur
  • PersonId : 1128854

Résumé

Multispectral images are acquired using multispectral cameras equipped with CCD or CMOS sensors which sample the visible or near infrared spectrum according to specific spectral bands. A mosaic of multispectral MSFA filters is superimposed on the surface of the sensors to acquire a raw image called an MSFA image. In the MSFA image, only one spectral band is available per pixel, the demosaicking process is necessary to estimate the multispectral image at full spatio-spectral resolution. Motivated by the success of single-sensor cameras capturing the image in a single exposure that use CFA filters, we performed a comparative study of a few recent color image demosaicking algorithms and experimentally identified the best performing one, the algorithm based on the wavelet analysis of the luminance component. We have successfully combined biorthogonal wavelets with this approach with very satisfactory results. Color images are limited in the number of spectral bands and to remove this limit equivocation, we have extended our work to multispectral images. Thus, we have proposed a powerful multispectral image demosaicking algorithm which focuses on the green band and the luminance component. We first configured two MSFA models by the binary tree method, one with four bands and the other with five spectral bands with the dominant green band then proposed an algorithm which estimates the missing green components and other missing bands respectively by the method of convolution and weighted bilinear interpolation based on the luminance component. The images from the CAVE multispectral image base used for the simulations are acquired using cameras equipped with a liquid crystal tunable filter LCTF with low-energy sensitivity in blue bands. To balance the energies of the different spectral bands and avoid degradation of one spectral band for the benefit of another, we configured a new model of four-band MSFA with the dominant blue band and proposed a new demosaicking approach that combines the LMMSE method and the adaptive regression kernel. Indeed, we used the LMMSE algorithm to estimate the missing blue bands at the different pixels. For the other missing spectral bands, the directional gradient method which relies on the estimated blue bands is used for their interpolation. The adaptive regression kernel is then applied to each spectral band estimated at the different pixels for their update without persistent artifacts. The results of the various simulations show that our proposed approaches surpass existing algorithms both visually and quantitatively in terms of PSNR, SSIM and RMSE.
Les images multispectrales sont acquises grâce aux caméras multispectrales équipées de capteurs CCD ou CMOS qui échantillonnent le spectre du visible ou du proche infrarouge selon des bandes spectrales spécifiques. Une mosaïque de filtres multispectraux MSFA est superposée à la surface des capteurs pour acquérir une image brute appelée image MSFA. Dans l’image MSFA, une seule bande spectrale est disponible par pixel, le processus de démosaïquage s’avère nécessaire pour estimer l’image multispectrale en pleine résolution spatio-spectrale. Motivés par le succès des caméras à capteur unique capturant l’image en une seule exposition qui utilisent des filtres CFA, nous avons effectué une étude comparative de quelques algorithmes récents de démosaïquage des images couleurs et avons identifié expérimentalement le plus performant, l’algorithme basé sur l’analyse par ondelettes de la composante de la luminance. Nous avons combiné avec succès à cette approche, les ondelettes biorthogonales et nous avons obtenu des résultats très satisfaisants. Les images couleurs sont limitées en nombre de bandes spectrales et pour lever cette équivoque de limite, nous avons étendu notre travail aux images multispectrales. Ainsi, nous avons proposé un algorithme performant de démosaïquage d’images multispectrales qui se concentre sur la bande verte et la composante de la luminance. Nous avons d’abord configuré deux modèles de MSFA par la méthode d’arbre binaire, l’un à quatre bandes et l’autre à cinq bandes spectrales avec la bande verte dominante puis nous avons proposé un algorithme qui estime les composantes vertes manquantes et les autres bandes manquantes respectivement par la méthode de convolution et d’interpolation bilinéaire pondérée basée sur la composante de la luminance. Les images de la base d’images multispectrales CAVE utilisées pour les simulations sont acquises grâce aux caméras équipées de filtre accordable à cristaux liquides LCTF d’une sensibilité de faible énergie en bandes bleues. Pour équilibrer les énergies des différentes bandes spectrales et éviter la dégradation d’une bande spectrale au profit d’une autre, nous avons configuré un nouveau modèle de MSFA à quatre bandes avec la bande bleue dominante et nous avons proposé une nouvelle approche de démosaïquage qui combine la méthode LMMSE et le noyau adaptatif de régression. En effet, nous avons utilisé l’algorithme LMMSE pour estimer les bandes bleues manquantes aux différents pixels. Pour les autres bandes spectrales manquantes, la méthode de gradient directionnel qui s’appuie sur les bandes bleues estimées est utilisée pour leur interpolation. Le noyau adaptatif de régression est ensuite appliqué à chaque bande spectrale estimée aux différents pixels pour leur mise à jour sans artefacts persistants. Les résultats des différentes simulations montrent que les approches que nous avons proposées surpassent les algorithmes existants tant visuellement que quantitativement en termes du PSNR, du SSIM et du RMSE.
Fichier principal
Vignette du fichier
PhD_Norbert_These.pdf (6.34 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03773141 , version 1 (08-09-2022)

Identifiants

  • HAL Id : tel-03773141 , version 1

Citer

Norbert Hounsou. Extension optimale des algorithmes de démosaïquage d'images multispectrales pour la mise en place d'un système d'acquisition vidéo caméra one-shot. Traitement des images [eess.IV]. Université d'Abomey-Calavi (Bénin), 2022. Français. ⟨NNT : ⟩. ⟨tel-03773141⟩
84 Consultations
37 Téléchargements

Partager

Gmail Facebook X LinkedIn More