Un algorithme de démosaïque pour le noir et blanc serait-il utile?

11

Étant donné que le but principal du dématriçage est de récupérer la couleur aussi précisément que possible, y aurait-il un avantage à un algorithme de démosaïque "noir et blanc uniquement"? Autrement dit, au lieu de récupérer d'abord la couleur puis de convertir le noir et blanc, serait-il préférable de convertir le fichier RAW directement en noir et blanc?

Je suis particulièrement intéressé par la qualité de l'image (par exemple la plage dynamique et la netteté). Sur une note connexe, quels algorithmes de dématriçage communs sont les plus adaptés à la conversion en noir et blanc?

Lars Kotthoff
la source
2
La couleur est un facteur intrinsèque d'une image RAW créée à partir d'un capteur de couleur bayer. Le problème pour le convertir en niveaux de gris est que vous n'avez que la luminance pour une seule couleur donnée à un pixel donné. Cela n'a pas vraiment d'importance si vous traitez seulement chaque pixel comme une valeur de luminance, ou si vous le traitez comme une valeur de couleur, chaque pixel ne représente qu'environ 1/3 de la luminance totale qui était incidente sur le pixel au moment de l'exposition. Le "dématriçage" n'est vraiment pas nécessaire pour les images en niveaux de gris, mais pour obtenir des images en niveaux de gris idéales, vous voudriez utiliser un capteur en niveaux de gris ... sans le bayer du tout!
jrista
1
Quant aux algorithmes de dématriçage idéaux pour la conversion noir et blanc lors de l'utilisation d'une caméra couleur ... je dirais la forme la plus simple, votre interpolation quad standard. De nombreux autres algorithmes de dématriçage plus avancés sont conçus pour minimiser le moiré des couleurs et d'autres artefacts liés aux couleurs. Si vous ne vous souciez que du noir et blanc, l'interpolation 2x2 pixels standard conservera le plus de détails.
jrista
2
@jrista Je ne sais pas pourquoi une interpolation naïve conserverait plus de détails que l'un des algorithmes les plus avancés qui tentent de distinguer les changements de luminosité et d'intensité. Dans tous les cas, les artefacts de couleur peuvent également apparaître dans les images en noir et blanc selon la façon dont la conversion est effectuée.
Matt Grum
1
Eh bien, je suppose que je me base principalement sur AHDD, ce qui tend à adoucir les détails. Au moins, l'implémentation dans Lightroom produit des résultats légèrement plus doux que l'algorithme utilisé par Canon DPP, qui produit des résultats très nets et précis à partir d'un algorithme de dématriçage plus simple (bien que je suppose que ce n'est pas aussi simple que votre 2x2 de base.)
jrista
"Comparaison des méthodes de dématriçage des couleurs" (Olivier Losson, Ludovic Macaire, Yanqin Yang) aborde en détail les différents algorithmes de démosaïquage. Il ne s'agit pas seulement de décoder la couleur, les meilleurs algorithmes prennent en compte toutes les informations environnantes pour obtenir les meilleurs résultats à chaque pixel. Je ne suis pas convaincu qu'un décodeur dédié en niveaux de gris pourrait faire mieux.
Mark Ransom

Réponses:

8

Il n'y a aucun moyen de convertir un fichier RAW directement en noir et blanc sans récupérer d'abord la couleur, à moins que votre convertisseur ne prenne qu'un seul des ensembles de pixels R, G, B pour produire une image. Cette approche entraînerait une perte de résolution substantielle.

Afin de ne pas perdre la résolution lors de la conversion en noir et blanc, vous devez utiliser tous les pixels RG et B, ce qui signifie implicitement que des calculs de couleur doivent être effectués, auquel cas vous pourriez tout aussi bien utiliser l'un des algorithmes avancés de dématriçage des couleurs, puis convertir le résultat en noir et blanc.

Matt Grum
la source
1
réduire de moitié la résolution sans moyenne pondérée des quads en extrayant une couleur ne serait pas l'image en niveaux de gris attendue car ce serait comme mettre un filtre vert ou rouge ou bleu sur une caméra monochrome. Et une question philosophique: diviser chaque axe par 2, réduire le nombre de Mp par 4. J'appellerais cette demi-résolution. Mais vous semblez appeler sqrt (2) par axe / 2 Mp compte "demi résolution". Quelle définition est techniquement correcte? Si la résolution est la capacité à résoudre, alors largeur / 2 et hauteur / 2 est la demi-résolution dans un système 2D où vous souhaitez conserver l'invariance rotationnelle?
Michael Nielsen
extension de mon point de vue sur la résolution Je pense que Mp n'est pas la résolution, c'est un numéro marketing de la photographie. En tant qu'ingénieur en traitement d'image, une résolution est donnée sous la forme w X h.
Michael Nielsen
@MichaelNielsen Quelle "image de niveaux de gris attendue"? Il existe de nombreuses méthodes différentes pour convertir en niveaux de gris, la question ne spécifiait pas une approche de pondération égale. Deuxièmement, si vous aviez un détecteur linéaire et divisez par deux le nombre d'échantillons, le pouvoir de résolution, c'est-à-dire la quantité maximale de détails détectables, serait divisé par deux, vous ne diriez pas qu'il est réduit d'un facteur racine 2. De cela, il va de soi que si vous avez un champ 2D de détecteurs (comme un capteur d'image) et divisez par deux le nombre d'échantillons dans les deux directions, vous laissant un quart, vous diriez que la résolution a été réduite d'un facteur 4.
Matt Grum
si vous divisez seulement par deux les axes x ou y, vous avez des résolutions différentes dans chaque direction, ce qui annule la possibilité de compter une résolution totale en termes de Mp et de calculer un seul facteur "/ 2 résolution". Ofc. Les objectifs n'ont pas une résolution égale non plus, mais les fabricants de capteurs sont assez fiers d'annoncer que leurs pixels sont aujourd'hui quadratiques et carrés, ce qui donne une résolution égale dans les deux directions, ce qui signifie une résolution de 640x = 480y. Voyez comment le nombre de pixels lui-même ne signifie rien. la résolution 640 est la même résolution que 480.
Michael Nielsen
2
Niveaux de gris: Je n'ai pas dit de pondération égale. Et je sais qu'il existe de nombreuses versions différentes en niveaux de gris, mais je peux vous parier que R, G ou B n'est pas l'une des versions attendues par l'OP. La version la plus probable est la version 0.11 * b + 0.59 * g + .3 * r.
Michael Nielsen
8

Vous avez besoin d'un algorithme démosaïque même si vous convertissez une image en noir et blanc.

Une raison à cela est assez simple - sinon vous obtiendriez des artefacts sous-pixel partout. Vous devez vous rendre compte que l'image enregistrée par le capteur est assez désordonnée. Jetons un coup d'œil à l'exemple de Wikipedia :

dématriçage

Imaginez maintenant que nous ne procédons à aucun dématriçage et convertissons simplement RAW en niveaux de gris:

niveaux de gris

Eh bien ... vous voyez les trous noirs? Les pixels rouges n'ont rien enregistré en arrière-plan.

Maintenant, comparons cela avec une image dématriçée convertie en échelle de gris (à gauche):

normal vs cassé

Vous perdez essentiellement des détails, mais vous perdez également beaucoup d'artefacts qui rendent l'image plutôt insupportable. Le contournement de l'image par contournement perd également beaucoup de contraste, en raison de la façon dont la conversion N&B est effectuée. Enfin, les nuances de couleurs qui sont entre les couleurs primaires peuvent être représentées de manière plutôt inattendue, tandis que les grandes surfaces de rouge et de bleu seront en 3/4 blanc.

Je sais que c'est une simplification, et vous pourriez viser à créer un algorithme qui est tout simplement: plus efficace dans la conversion RAW en noir et blanc, mais mon point est que:

Vous avez besoin d'une image couleur calculée pour générer des nuances de gris correctes dans la photographie noir et blanc.

La bonne façon de faire de la photographie noir et blanc est de supprimer complètement le filtre de couleur - comme Leica l'a fait dans Monochrom - et non pas de changer la conversion RAW. Sinon, vous obtenez soit des artefacts, soit de fausses nuances de gris, soit une baisse de la résolution ou tout cela.

Ajoutez à cela le fait que la conversion RAW-> Bayer-> B&W vous offre de bien plus d'options pour améliorer et éditer l'image, et vous avez à peu près une excellente solution qui ne peut être renversée que par une construction de capteur dédiée. C'est pourquoi vous ne voyez pas de convertisseurs B&W RAW dédiés qui ne retomberaient pas dans le dématriçage quelque part dans le processus.

MarcinWolny
la source
1

Les caméras de vision industrielle avec filtres bayer peuvent donner directement des images en niveaux de gris, mais elles le font en démosé, converties en YUV et en envoyant uniquement le canal V (celles que j'utilise normalement au moins). S'ils avaient un meilleur moyen de contourner cette reconstruction des couleurs, je pense qu'ils le feraient, car ils poussent constamment les fréquences d'images (l'appareil photo typique que j'utilise fonctionne à 100FPS par exemple).

S'il devait ignorer le dématriçage basé sur les couleurs, il pourrait représenter la moitié de la résolution et la moyenne pondérée de chaque quad 2x2, mais si vous voulez une résolution complète, il est préférable d'utiliser l'algorithme de dématriçage des couleurs normal qui essaie de mieux préserver les bords. Si nous savons que nous voulons des niveaux de gris, nous obtenons simplement une caméra monochrome dès le début, giflons sur un filtre de couleur si nous recherchons une certaine couleur, car cette configuration est largement supérieure en qualité d'image, ce qui réduit le besoin de suréchantillonnage de la résolution, qui à son tour permet utilisation d'un capteur rapide à faible résolution avec des pixels plus grands, ce qui donne à son tour une image encore meilleure.

Michael Nielsen
la source
Vous avez écrit: "conversion en YUV et envoi uniquement du canal V" Vous voulez certainement dire l'envoi du canal Y, car Y est le canal de luminance.
TopCat
1

L'effet des filtres de couleur sur chaque puits de pixel de la couche Bayer est identique à la prise de vue d'un film noir et blanc avec des filtres de couleur sur l'objectif: cela change la relation entre les niveaux de gris des différentes couleurs de la scène photographiée. Pour obtenir un niveau de luminance précis pour toutes les couleurs de la scène, les signaux de chaque pixel doivent être démosaïqués. Comme d'autres l'ont mentionné, un capteur sans couche Bayer produirait une image monochrome qui n'a pas besoin d'être dématriçée. Cela devrait se traduire par une meilleure netteté de l'image si le cercle de confusion de l'objectif est égal ou inférieur à la largeur de chaque pixel.

En termes pratiques, j'ai remarqué plusieurs choses lors de la conversion de fichiers RAW en monochrome à l'aide de Digital Photo Professional (DPP) de Canon.

  1. L'ajustement de la balance des blancs peut effectuer un changement dans la luminance globale perçue de la même manière que l'ajustement du contraste. En tant que tel, il peut être utilisé pour affiner le contraste.
  2. La balance des blancs aura également un effet sur la luminosité relative des différentes couleurs de la scène. Cela peut être utilisé pour affiner l'application des effets de filtre "Orange", "Jaune", "Rouge", etc. Le rouge semble être le plus affecté par cela et est beaucoup plus sombre à 2500K qu'à 10000K. Étonnamment, du moins pour moi, c'est que les tons bleus ne démontrent pas l'inverse.
  3. Étant donné qu'à toutes fins pratiques, il n'y a pas de bruit de chrominance dans une photo noir et blanc, elle peut être laissée à "0".
  4. L'outil de masque non affûté donnera beaucoup plus de contrôle sur la netteté que le curseur "Netteté" plus simple. Surtout si vous avez quelques pixels "chauds" ou "chauds" dans l'image, vous pouvez augmenter la netteté globale sans les accentuer.

Vous trouverez ci-dessous deux versions de la même photo d'exposition sur un Canon 7D avec un objectif EF 70-200 mm f / 2,8L IS II et un téléconvertisseur Kenco C-AF 2X Teleplus Pro 300. L'image a été recadrée à 1000X1000 pixels. Le premier a été converti en utilisant les paramètres de l'appareil photo ci-dessous. Le second a été modifié avec les paramètres indiqués dans la capture d'écran. En plus de l'onglet RAW, un paramètre de réduction du bruit de luminance de 2 a été appliqué, tout comme une valeur d'aberration chromatique de 99.

Lune - non édité

Informations à huis clos

Moon - édité

Paramètres

Michael C
la source
0

Je proposerais un algorithme comme celui-ci (suppose que votre cible est blanche et a une température de couleur constante):

  • Demosaic RAW Bayer à RGB
  • Sous-échantillonner la couleur en niveaux de gris
  • Créez une LUT entre les valeurs de bayer brutes et les valeurs de niveaux de gris (cela devrait être effectué une fois par plan de couleur RGGB ou RGB)
  • Utilisez le filtre LUT par couleur pour transformer le RAW Bayer directement en niveaux de gris sans aucun filtrage entre pixels

En théorie, cela se rapprocherait des résultats d'un véritable capteur monochrome.

Elliot Woods
la source