Les fichiers RAW stockent 3 couleurs par pixel, ou une seule?

16

Ken Rockwell dit que les fabricants d'appareils photo prennent en compte les capteurs R / G / B individuels lorsqu'ils parlent de mégapixels. Donc, l'image ci-dessous serait un appareil photo 6x6 pixels, pas 3x3 comme vous l'imaginez.

entrez la description de l'image ici

Si cela est vrai, un fichier RAW ne contiendrait qu'une seule information de couleur par pixel (que ce soit R, G ou B) sous la forme d'un nombre de 10, 12 ou 14 bits.

Ma confusion vient quand je lis à certains endroits des trucs comme:

  • Les fichiers RAW stockent une moyenne des deux capteurs verts par pixel.
  • Les fichiers RAW utilisent 12 bits par pixel, mais il y a 3 couleurs, ce qui représente en fait 36 ​​bits par pixel.

Ce qui serait évidemment faux, si l'affirmation de Ken est correcte.

Alors, quelle est la vérité?

ariel
la source

Réponses:

16

Les fichiers bruts ne stockent pas vraiment de couleurs par pixel. Ils ne stockent qu'une seule valeur de luminosité par pixel.

Il est vrai qu'avec un masque Bayer sur chaque pixel, la lumière est filtrée avec un filtre rouge, vert ou bleu¹ sur chaque puits de pixel. Mais il n'y a pas de coupure stricte où seule la lumière verte parvient à un pixel filtré vert ou seule la lumière rouge parvient à un pixel filtré rouge. Il y a beaucoup de chevauchements. Beaucoup de lumière rouge et un peu de lumière bleue traversent le filtre vert. Beaucoup de lumière verte et même un peu de lumière bleue traversent le filtre rouge, et une partie de la lumière rouge et verte est enregistrée par les pixels filtrés avec du bleu.

réponse de couleur

Puisqu'un fichier brut est un ensemble de valeurs de luminance unique pour chaque pixel sur le capteur, il n'y a aucune information de couleur réelle par pixel dans un fichier brut. La couleur est dérivée en comparant les pixels adjacents qui sont filtrés pour l'une des trois couleurs avec un masque Bayer. Mais tout comme mettre un filtre rouge devant l'objectif lors de la prise de vue d'un film en noir et blanc n'a pas entraîné une photo rouge monochromatique (ou une photo noir et blanc où seulementles objets rouges ont une quelconque luminosité), le masque Bayer devant les pixels monochromes ne crée pas non plus de couleur. Il modifie la valeur tonale (la luminosité ou la luminosité de la valeur de luminance d'une couleur particulière est enregistrée) de différentes couleurs selon des quantités différentes. Lorsque les valeurs tonales (intensités de gris) des pixels adjacents filtrés avec les trois couleurs différentes utilisées dans le masque Bayer sont comparées, les couleurs peuvent être interpolées à partir de ces informations. C'est le processus que nous appelons le dématriçage .

Beaucoup de calculs sont effectués pour attribuer une valeur R, G et B à chaque pixel. Il existe de nombreux modèles différents pour effectuer cette interpolation. La quantité de biais donnée au rouge, au vert et au bleu dans le processus de dématriçage est ce qui définit la balance des blancs / couleurs . La correction gamma et toute mise en forme supplémentaire des courbes de réponse à la lumière est ce qui définit le contraste . Mais à la fin, une valeur R, G et B est attribuée à chaque pixel. Dans votre exemple de 6x6 pixels dans la question, le résultat du dématriçage serait une image de 36 pixels avec 36 pixels qui ont chacun une valeur rouge, verte et bleue.

Un peu de résolution est perdu dans la traduction. Il s'avère qu'en termes de nombre de lignes noires et blanches alternées par pouce ou mm qui peuvent être résolues par un capteur avec un masque Bayer RGGB et un dématriçage bien fait, la limite de résolution absolue d'un capteur Bayer est d'environ 1 / √2 par rapport à un capteur monochromatique qui n'a pas de masque Bayer et n'a donc pas besoin de dématriçage (mais ne peut voir qu'en noir et blanc).

Même lorsque votre appareil photo est configuré pour enregistrer des fichiers bruts, l'image que vous voyez au dos de l'écran LCD de votre appareil photo juste après avoir pris la photo n'est pas les données brutes non traitées. Il s'agit d'une image d'aperçu générée par l'appareil photo en appliquant les paramètres de l'appareil photo aux données brutes qui donnent l'image d'aperçu jpeg que vous affichez sur l'écran LCD. Cette image d'aperçu est ajoutée au fichier brut avec les données du capteur et les informations EXIF ​​qui contiennent les paramètres de l'appareil photo au moment où la photo a été prise.

Les paramètres de développement de l'appareil photo pour des choses comme la balance des blancs, le contraste, l'ombre, les hautes lumières, etc. n'affectent pas les données réelles du capteur qui sont enregistrées dans un fichier brut. Au contraire, tous ces paramètres sont répertoriés dans une autre partie du fichier brut.

Lorsque vous ouvrez un fichier "brut" sur votre ordinateur, vous voyez l'une des deux choses différentes:

  • L'image jpeg d'aperçu créée par l'appareil photo au moment où vous avez pris la photo. L'appareil photo a utilisé les paramètres en vigueur lorsque vous avez pris la photo et l'ajoutée aux données brutes du fichier .cr2. Si vous regardez l'image à l'arrière de l'appareil photo, c'est l'aperçu jpeg que vous voyez.

  • Une conversion des données brutes par l'application que vous avez utilisée pour ouvrir le fichier "brut". Lorsque vous ouvrez un fichier «brut» 12 bits ou 14 bits dans votre application photo sur l'ordinateur, ce que vous voyez à l'écran est un rendu 8 bits du fichier brut démosaïqué qui ressemble beaucoup à un jpeg, pas le fichier monochromatique 14 bits filtré par Bayer. Lorsque vous modifiez les paramètres et les curseurs, les données «brutes» sont remappées et rendues à nouveau en 8 bits par canal de couleur.

Ce que vous voyez dépendra des paramètres que vous avez sélectionnés pour l'application avec laquelle vous ouvrez le fichier brut.

Si vous enregistrez vos photos au format brut lorsque vous les prenez, lorsque vous effectuez un post-traitement, vous aurez exactement les mêmes informations à travailler, quels que soient les paramètres de développement sélectionnés à huis clos au moment de la prise de vue. Certaines applications peuvent initialement ouvrir le fichier à l'aide de l'aperçu jpeg ou en appliquant les paramètres intégrés à l'appareil photo au moment où l'image a été prise aux données brutes, mais vous êtes libre de modifier ces paramètres, sans aucune perte de données destructrice, à quoi que ce soit d'autre vous voulez en poste.

Digital Photo Professional de Canon ouvrira un fichier brut .cr2 dans le même style d'image que celui sélectionné dans l'appareil photo lors de la prise de vue. Tout ce que vous avez à faire pour le modifier est d'utiliser le menu déroulant et de sélectionner un autre style d'image . Vous pouvez même créer une "recette" pour une image, puis l'appliquer par lots à toutes les images avant de commencer à travailler avec elles. Le logiciel de traitement brut d'autres fabricants est similaire et il y a généralement une option pour que l'application ouvre une image avec les paramètres de développement intégrés.

Avec des applications tierces de traitement brut telles que Lightroom ou Camera Raw d' Adobe , Aperture ou Photos d' Apple , Capture One Pro de PhaseOne , OpticsPro de DxO Lab , etc., obtenir des images à afficher selon les paramètres de l'appareil photo peut être un peu plus délicat. Les produits Adobe, par exemple, ignorent la majeure partie de la section des notes du fabricant des données EXIF ​​d'un fichier brut où de nombreux fabricants incluent au moins certaines des informations sur les paramètres de l'appareil photo.

¹ Les couleurs réelles du masque Bayer devant les capteurs de la plupart des appareils photo numériques couleur sont: Bleu - une version légèrement violette de bleu centrée à 450 nanomètres, Vert - une version légèrement bleuâtre de vert centrée sur environ 540 nanomètres et Rouge - une version légèrement orange de jaune. Ce que nous appelons «rouge» est la couleur que nous percevons pour la lumière à environ 640 nanomètres de longueur d'onde. Les filtres "rouges" de la plupart des baies Bayer permettent à la plupart de la lumière de passer entre 590 et 600 nanomètres. Le chevauchement entre les cônes "vert" et "rouge" dans la rétine humaine est encore plus proche que cela, avec le "rouge" centré à environ 565 nanomètres, ce que nous percevons comme jaune-vert.

Michael C
la source
1
C'est fondamentalement incorrect. Vous dites (ou du moins sous-entendez très fortement) que cela fonctionne parce que les informations de couleur fuient dans les voisins. Ce n'est pas nécessaire. Raw fonctionnerait bien si les filtres étaient absolument parfaits. Différents algorithmes de dématriçage "impliquent beaucoup de mathématiques", mais le plus simple est de simplement faire la moyenne des pixels à proximité et cela fonctionne étonnamment bien. Je suppose que cela a été fait plusieurs millions de fois dans une image multi-mégapixels qui est techniquement "beaucoup" de mathématiques, mais ce n'est pas des mathématiques compliquées - c'est des trucs de troisième année.
Veuillez lire le profil le
2
Bayer fonctionne parce que c'est généralement une bonne supposition que le pixel à par exemple un emplacement filtré en bleu a la même quantité de vert que les pixels verts à côté (et la même chose pour le rouge). Lorsque cette supposition est désactivée, vous obtenez des artefacts, et c'est ce que les algorithmes les plus compliqués tentent de résoudre. Ils ne fonctionnent pas en supposant une connaissance particulière de la réponse en fréquence des filtres.
Veuillez lire le profil le
1
J'ai peut-être mal compris ce que vous avez toujours dit depuis, puisque vous en parlez souvent. :) Surtout depuis que vous ouvrez la réponse avec elle, pourriez-vous peut-être éditer pour expliquer d'une manière qui rend cela plus clair? En particulier, voulez-vous dire que les filtres qui se chevauchent signifient que le résultat est fondamentalement inexact quel que soit le traitement qui est effectué et que nous vivons simplement avec cela, ou qu'il peut être rendu précis par une transformation dans la démonstration, ou qu'il peut être rendu plus précis par une autre étape que nécessite le rendu des fichiers RAW (mais qui ne fait pas partie de la démonstration)?
Veuillez lire le profil le
1
Je ne moyenne que trop de gens décrire le masque Bayer à tort comme ne laissant passer la lumière verte à travers le filtre vert, ne laissant passer la lumière rouge à travers le filtre rouge, et ne laissant passer la lumière bleue à travers le filtre bleu. Ce n'est pas plus le cas que de dire qu'en utilisant un filtre vert avec un film noir et blanc, cela ne permettrait que de capturer la lumière verte de la scène. L'utilisation d'un filtre vert signifie uniquement que la lumière verte est permise à un taux de transmission plus élevé que la lumière rouge ou bleue, mais certains des trois y parviennent. C'est seulement en comparant les différences entre la lumière ...
Michael C
1
@mattdm faisant la moyenne des pixels voisins produit une photo très floue, et il n'y a pas d'appareil photo sur le marché qui le fasse de cette façon. Les algorithmes de dématriçage profitent de la corrélation entre les pixels RVB pour améliorer considérablement la résolution, au détriment de l'artefact occasionnel. Et il y a certainement des mathématiques lourdes impliquées.
Mark Ransom
2

C'est vrai, mais l'interprétation peut être étirée.

Ce motif de couleur brut spécifique est appelé motif Bayer.

Oui, raw est une couleur par pixel, et ce pixel est (typiquement) 12 bits. Il y a donc trois couleurs de pixels bruts, certaines sont bleues, d'autres rouges et 2x ces nombres sont verts.

Puis plus tard, le logiciel de traitement brut (pour faire du RVB JPG, il pourrait être immédiatement dans la caméra, ou pourrait être externe beaucoup plus tard) convertit les données brutes en une image RVB afin que nous puissions les utiliser. C'est une interpolation, les pixels voisins des deux autres couleurs sont combinés dans chacun de ces pixels RVB, mais tous deviennent des pixels RVB. À ce stade, il s'agit de pixels RVB 36 bits, mais la résolution spatiale est légèrement compromise, les différentes données de pixels étant partagées avec les voisins. Nous pouvons nous retrouver avec (par exemple) 6000 pixels RVB de largeur de capteur, mais ils provenaient de 2000 capteurs bleus et 2000 rouges, etc. (et les données sont également partagées verticalement, elles proviennent de plus de trois pixels). C'est ce qu'on appelle le dématriçage ... qui peut être trouvé en ligne.

WayneF
la source
IMHO sont généralement de 14 bits. Seuls les anciens appareils photo (Canon S120 par exemple) stockent 12 bits par pixel
Romeo Ninov
@RomeoNinov, ce n'est pas aussi simple que l'ancien contre le nouveau. Par exemple, certains Nikons vous permettent de choisir 12 bits ou 14 bits, afin que vous puissiez faire un compromis entre la profondeur de l'image et le taux de prise de vue en continu et la taille de l'image.
Peter Taylor
@PeterTaylor, je ne sais jamais, je suis tireur Canon. Mais cela devrait pour moi comme exception, pas comme règle (12 bits). Et pour autant que je me souvienne, certaines caméras stockent en 16 bits par pixel
Romeo Ninov
Ce serait un argument beaucoup plus fort si vous fournissiez la preuve que la plupart des appareils photo Canon étaient 14 bits. Voici le contraire de Canon: cpn.canon-europe.com/content/education/infobank/… "La plupart des appareils photo numériques EOS capturent des images en mode 12 bits"
WayneF
@WayneF Basé sur l'appareil photo référencé comme le meilleur de Canon à l'époque (1D Mark II), cet article a été écrit entre avril 2004 (lorsque le 1D II a remplacé le 1D) et juin 2005 (lorsque le 1D Mark IIN a remplacé le 1D II) .
Michael C
2

Ken a raison dans la revendication que vous citez - en quelque sorte. Il est vrai que les appareils photo numériques d'aujourd'hui (à l'exception de ceux équipés des capteurs Foveon de Sigma) fonctionnent en utilisant une matrice Bayer, et la résolution du capteur est indiquée comme la taille de la matrice. Votre exemple d'image représente un capteur "36 pixels". Cependant, il est important de reconnaître que les caméras transforment cela en une image en couleur de la pleine taille spécifiée en pixels réels , et que ce n'est pas aussi mauvais que Ken le prétend .

Plusieurs choses qu'il dit dans cet article sont carrément erronées, à commencer par:

Depuis 2006, ces algorithmes intelligents permettent de commencer avec un tiers des données et de les rendre aussi bonnes que d'avoir la moitié du nombre de pixels revendiqués.

C'était un non-sens en 2006 et c'est un non-sens aujourd'hui. Le processus fonctionne sur quelques hypothèses simples. Dont plus sont présentés ici , mais le plus important est que vous pouvez prédire ce que les informations «manquantes» devraient regarder les pixels voisins de différentes couleurs. Cela s'avère être une bonne hypothèse la plupart du temps, et très mal d'autres fois. Dans les cas où il n'y a pas beaucoup de transition très détaillée entre les couleurs, le résultat est tout aussi bon que si chaque capteur enregistré en couleur. Dans les cas où l'hypothèse est fausse, c'est bien pire. Dans le monde réel, le premier est en fait très courant et fonctionne beaucoup mieux que "la moitié" - mais l'important est qu'il dépend du contexte.

RAW n'offre aucun avantage ici, à l'exception d'un pari potentiel. L'interpolation Bayer a lieu dans le logiciel ouvrant les données brutes. Les futures avancées dans les algorithmes d'interpolation Bayer pourraient être incorporées dans les futurs logiciels bruts, si et seulement si votre fabricant de caméras continue de prendre en charge les caméras d'hier dans le logiciel de demain. Il est tout aussi probable que votre fabricant d'appareils photo ne prend plus en charge votre ancien appareil photo dans le logiciel brut de demain!

Il a raison en disant que le tournage RAW ne change pas les fondamentaux, mais l'idée que les anciens fichiers cesseront de fonctionner est fondamentalement absurde . Étant donné que les anciennes caméras utilisent le même principe de base et des formats de fichiers fondamentalement similaires, il ne coûte pas cher d'apporter indéfiniment la prise en charge des anciens modèles, et les fournisseurs sont très incités à le faire - et même si cela se produisait, décodeurs open source.

Et bien sûr, la conservation des fichiers RAW offre d' autres avantages non liés au dématriçage.

Mais il est également idiot de dire que la possibilité d'améliorations futures est le seul avantage. Comme je l'ai dit, il y a différentes hypothèses qui peuvent être faites sur le contenu de votre image, et différents algorithmes (ou ajustements à ces algorithmes) conviendront mieux à différentes situations du monde réel, donc si vous vous trouvez dans une situation où vous obtenez moiré ou autres artefacts, vous pourrez peut-être y faire face. (Bien que je devrais ajouter que c'est au niveau très difficile - il y a très rarement une situation où jeter un œil de près vaut la peine.)

Il y a aussi un facteur pour lequel Ken peut être excusé parce que l'article a une décennie. En 2006, la plupart des appareils photo étaient dans la gamme de 5 à 8 mégapixels, avec des modèles de reflex numériques haut de gamme s'étendant jusqu'à 12. Désormais, les reflex numériques bas / milieu de gamme et les appareils photo sans miroir offrent 16 et 24 mégapixels, et cela augmente à partir de là. À ce stade, il est vraiment académique de chicaner sur les détails des couleurs au niveau de la visualisation des pixels , car dans le monde réel, il est très rare que l'éclairage, les objectifs, la stabilité et tout le reste s'alignent si bien que c'est le facteur limitant.

En général, beaucoup de sites de Ken Rockwell sont comme ça. (Voir cette réponse pour plus .) C'est regrettable, car il a en fait beaucoup de choses intéressantes à dire et de bons conseils, mais il y a aussi beaucoup de bêtises, et plutôt que de l'admettre ou de l'améliorer, il a tendance à doubler vers le bas, puis affirme que l'ensemble du site est satire.

Oh, et un bonus amusant: les écrans LCD arrière de l'appareil photo et les EVF utilisent également trois sous-pixels colorés pour représenter un pixel numérique, et ces écrans sont généralement commercialisés avec le nombre de sous-pixels - en fait 3 × ce à quoi vous pourriez vous attendre de la façon dont la résolution d'écran de l'ordinateur est donnée.

Veuillez lire le profil
la source