Pourquoi les caméras ne capturent-elles pas la plage dynamique comme le font nos yeux?

Lorsque je suis assis dans une pièce sans lumière allumée et que je regarde par la fenêtre, je peux facilement voir l'intérieur de la pièce même si je me concentre sur un arbre à l'extérieur.

Pourquoi un appareil photo ne peut-il pas capturer une image similaire à ce que mes yeux peuvent voir? Je pense que les nouveaux appareils photo devraient pouvoir capturer facilement cette plage dynamique. Je ne pense pas que l'affichage soit un problème si cette plage dynamique est capturée, car elle peut être normalisée. Dans un appareil photo numérique, je dois régler l'exposition qui ne capturera que la scène extérieure ou la scène intérieure correctement.

Est-ce uniquement un problème avec les appareils photo numériques ou est-ce la même chose pour les appareils photo argentiques?

Une question similaire est déjà discutée ici Comment capturer la scène exactement comme mes yeux peuvent voir? . Je ne parle pas de résolution, de mise au point ou de détail. Je m'intéresse à l'exposition ou à la plage dynamique, comme lorsque nous fixons nos yeux sur une seule scène.

La raison pour laquelle vous pouvez voir une plage dynamique aussi large n'est pas que l'œil, en tant qu'appareil optique, puisse réellement capturer une telle plage - la raison est que votre cerveau peut combiner des informations provenant de beaucoup et de nombreuses «expositions» des yeux et créez un panorama HDR de la scène devant vous.

L'œil est assez médiocre du point de vue de la qualité de l'image, mais il a une "fréquence d'images" très élevée et peut changer la sensibilité, la direction et la mise au point très rapidement.

Le cerveau prend toutes ces images de l'œil et crée l'image que vous pensez voir - cela inclut des détails à partir d'images de sensibilité différente et même des détails qui sont entièrement constitués en fonction de ce que vous vous attendiez à voir. (C'est une des raisons pour lesquelles il y a des illusions d'optique - le cerveau peut être trompé en "voyant" des choses qui ne sont pas vraiment là).

Ainsi, vous pouvez voir avec votre appareil photo comme avec votre œil, prenez simplement beaucoup d'expositions à différents paramètres, puis chargez tout dans Photoshop, créez un panorama HDR et utilisez le "remplissage sensible au contenu" pour combler les lacunes.

Soit dit en passant, pourquoi les caméras "devraient" être capables de capturer cette plage mais les moniteurs ne devraient pas être en mesure de la reproduire? Si une technologie qui n'existe pas devait exister, les moniteurs devraient être capables de reproduire tout ce que nous pouvons voir (et je devrais pouvoir prendre des vacances dans un hôtel à faible gravité sur la lune)

Vous pouvez avoir un léger avantage dans la plage dynamique du capteur par rapport à un appareil photo, mais la plupart de ce qui fait la différence est d'avoir un système d'exposition automatique sophistiqué, des saccades , un traitement HDR et un système de reconnaissance de scène qui persiste à travers plusieurs expositions . Le cerveau humain est au moins aussi important pour le système visuel que l'œil .

Présenté avec une scène ayant une gamme dynamique très élevée, le système visuel humain prend un certain temps à s'adapter. Ce n'est pas parce que nous devons ajuster un paramètre de plage dynamique, mais parce que nous devons analyser séparément les parties très claires et très sombres de la scène, puis coller ensemble les parties importantes de l'image. Une grande partie de ce que nous «voyons» dépend en fait de savoir déjà ce qui s'y trouve; nous pouvons utiliser très peu d'indications de détails réels pour remplir les blancs (et lorsque nous n'avons pas suffisamment d'informations réelles, nous pouvons interpoler - mais pas toujours correctement ).

Faire fonctionner une caméra - n'importe quelle caméra - à ce niveau signifiera concevoir un système qui "sait" ce qu'il regarde. Nous pouvons déjà faire la version "stupide" de cela en utilisant diverses techniques HDR (dans votre exemple spécifique, généralement par un simple masquage où la porte serait coupée de l'exposition à l'obscurité et une version de l'exposition lumineuse insérée à sa place). Les processus automatisés actuels sont entièrement basés sur la luminosité (car ils ne peuvent pas analyser la signification ou l'importance) et ont tendance à produire des artefacts évidents. Et si vous avez déjà vu une image combinée HDR 32 bits brute qui n'a pas encore été tonographiée (ce qui est essentiellement le genre de chose que vous obtiendriez uniquement en augmentant la plage dynamique du capteur), vous aurez probablement remarqué que l'image est très "plate" et manque de contraste à la fois local et global. C'est de savoir quelle est la scène qui nous permet de faire le mapping, de décider où le contraste est localement important. Tant que l'appareil photo ne pourra pas prendre le même genre de décisions, il ne pourra pas produire une image qui ressemble à ce que voit votre cerveau.

C'est à voir avec la façon dont le cerveau interprète les informations fournies par les yeux (ou pour le dire autrement, c'est le logiciel et non le matériel).

Nous ne voyons que la couleur et les détails dans un champ très étroit au centre de notre vision. Pour construire l'image colorée détaillée que nous percevons, le cerveau déplace cet endroit central sans que nous le sachions.

Je ne suis pas neurobiologiste, mais il va de soi que le cerveau constituant cette image plus large à partir de nombreux minuscules instantanés, il effectue également une certaine normalisation de la luminosité, ce qui donne une image qui apparaît à peu près la même luminosité partout, malgré certaines zones beaucoup plus lumineux en réalité. Fondamentalement, la capacité de voir des choses sombres et lumineuses en même temps est une illusion.

Il n'y a aucune raison que ce comportement ne puisse pas être imité par des appareils photo numériques, ni aucune raison pour laquelle nous ne pouvons pas créer des capteurs capables d'une plage dynamique beaucoup plus grande en une seule exposition. En fait, Fuji a fabriqué un capteur avec des photosites à très faible sensibilité pour capturer des détails supplémentaires.

Le problème se résume à l'impossibilité d'afficher des images à plage dynamique élevée. Afin d'afficher ces images sur un moniteur standard à faible plage dynamique, vous devez effectuer un traitement spécial appelé tonemapping, qui a son propre ensemble d'inconvénients. Pour la plupart des consommateurs, les caméras à plage dynamique élevée seraient tout simplement plus compliquées.

Sommaire:

• Dieu a fait nos yeux.

• Nous fabriquons des caméras.

• Nous n'avons pas encore rattrapé Dieu.

• MAIS le meilleur appareil photo disponible est à la hauteur des exigences que vous décrivez.

• Il existe des moyens de réaliser ce que vous voulez. Vous avez simplement décidé de ne pas les définir comme ce que vous vouliez. C'est ton choix.

Le niveau d'éclairage dans une pièce sombre avec une fenêtre ouverte sur une scène extérieure peut être aussi faible que 0,1 lux (0,1 lumen par mètre carré). Le niveau d'éclairage de la scène extérieure peut varier de 10 à des milliers de lux dans la situation que vous décrivez.

À 100 lux externes et 0,1 lux interne, le rapport est de 1000: 1 ou un peu moins de 10 bits de plage dynamique. De nombreux appareils photo modernes pourraient différencier les différences de tonalité aux deux extrémités de cette plage est réglée correctement. Si le niveau de lumière de l'arbre saturait simplement le capteur, vous auriez environ 4 bits de niveau disponibles à l'intérieur de la pièce = 16 niveaux d'éclairage. afin que vous puissiez voir un certain degré de détail avec le niveau le plus brillant SAUF QUE le niveau de lumière est si bas que les yeux auraient du mal à le faire.

Si le niveau de luminosité de l'arbre était de 1000 lux (= 1% du plein soleil), vous auriez besoin d'environ 13 bits de plage dynamique. Les meilleurs appareils photo plein format 35 mm disponibles géreraient cela. Le réglage de la caméra devrait être parfait et vous auriez environ zéro tonalité dans la pièce. Ce niveau d'éclairage extérieur est plus élevé que celui que vous obtiendriez en dehors d'une situation nocturne éclairée.

De nombreux reflex numériques moyens à haut de gamme modernes ont un traitement HDR intégré qui permet d'obtenir des plages dynamiques beaucoup plus grandes en combinant plusieurs images. Même une photo HDR à 2 images s'adapterait facilement à votre scène. Mon Sony A77 offre jusqu'à +/- 6 EV 3 images HDR. Cela donnera bien plus de 20 bits de plage dynamique - permettant des variations tonales très adéquates aux extrémités supérieure et inférieure de votre exemple.

Est-ce uniquement le problème des appareils photo numériques ou est-ce le même pour les appareils photo argentiques?

Aucune des réponses n'a encore touché à cela, du moins directement ... oui, c'est aussi un problème avec le film. Le fameux film transparent couleur Fuji Velvia, par exemple, a une plage dynamique vraiment pourrie (des couleurs superbes cependant!) Le film transparent en général en souffre. En revanche, les films négatifs peuvent avoir une très bonne plage dynamique, à peu près aussi bonne que les meilleurs appareils photo numériques actuels. Cependant, il est géré un peu différemment - alors que le numérique a une réponse linéaire à la lumière, le film a tendance à avoir une courbe de contraste "S" intégrée. Les noirs et presque noirs, et les blancs et presque blancs, sont plus groupés que les tons moyens.

Gardez à l'esprit que comme les photos de films finiront généralement par être imprimées à l'encre sur un fond de papier blanc, il y a une limite pas trop généreuse sur la plage dynamique que l'on voudrait capturer en premier lieu! Capturer, disons, une plage dynamique de trente arrêts, puis la restituer à un ... quel est le DR approximatif d'une impression photographique de toute façon? Cinq arrêts? Six? ... le support de sortie aurait l'air ... pour le moins étrange. Je soupçonne que c'est ce facteur plus que tout obstacle insurmontable avec la chimie qui a une plage dynamique de film photographique limitée. Ce n'est pas tant que nous ne pouvons pas le faire, c'est plus que nous ne voulons pas activement le faire .

Assez de choses pour remplir un livre - mais l'essentiel est que les yeux humains voient la luminosité de manière logarithmique tandis que les caméras "voient" la luminosité linéairement.

Donc, si vous supposez une condition où la luminosité va de 1 à 10000 (nombre choisi au hasard), dans la base de journal 10, l'œil humain verrait la luminosité comme 0 à 5 tandis que la caméra, linéairement, la voit comme 1 à 10000. Bâtiment un capteur qui peut couvrir une si grande plage est difficile car vous avez du bruit interférant avec des mesures faibles et un débordement interférant avec des mesures de luminosité plus élevées. Cela dit, je pense qu'il existe une caméra RED qui peut enregistrer 18 arrêts de plage dynamique - je ne sais pas si ce n'est qu'un prototype ou un modèle de production.

Par ailleurs, la différence logarithmique par rapport à la différence linéaire est également la raison pour laquelle la luminosité double ou diminue de moitié par différence d'un arrêt.

Mais cela suffit pour un sujet de recherche - ce n'est donc qu'un bref pointeur.

L'œil ne capture pas la plage dynamique. Il comprime la plage dynamique, puis le "post-traitement" dans le cerveau crée l'illusion de la plage dynamique. Une plage dynamique compressée est la raison pour laquelle vous pouvez voir simultanément les ombres et les zones éclairées. Le "gain", pour ainsi dire, est automatiquement augmenté dans les parties de la rétine qui détectent les ombres, les rendant plus claires et réduites là où la rétine voit des zones éclairées. Le cerveau sait toujours qu'il regarde dans une ombre, ce qui crée une sensation de noirceur. Une sorte d'expansion sur les données compressées est en cours, pour ainsi dire, afin que vous ne sachiez pas que la plage dynamique a été compressée.

Les capteurs des appareils photo numériques pourraient facilement surpasser la rétine dans la plage dynamique brute. Le problème est que vous ne contrôlez pas l'exposition par zone. Les caméras ont des paramètres de gain (généralement présentés dans la terminologie du film comme des paramètres ISO) qui sont globaux.

Ce que l'œil fait, pour ainsi dire, est quelque chose comme utiliser "ISO 100" pour une zone claire et "ISO 800" pour une zone sombre en même temps.

Si la caméra pouvait ajuster le gain pour des zones spécifiques de pixels en fonction de la luminosité, cela serait sans aucun doute utile, mais nous savons par l'application de tels effets de nivellement du gain en post-traitement que le cerveau n'est pas vraiment dupe d'eux. Cela n'a pas l'air naturel. Cela n'a l'air naturel que lorsque votre propre œil le fait en coordination avec votre propre cerveau.

C'est en quelque sorte une question intéressante si vous lui donnez une chance au lieu d'évoquer les raisons évidentes pour lesquelles les caméras sont déjà faites comme elles sont faites.

Considérons l'option la plus proche. Tone Mapping est une méthode dans laquelle un filtre passe-bas est appliqué sur les valeurs d'exposant de l'image RGBe. Cela joue un grand rôle dans la façon dont les yeux voient quelque chose. Mais considérons que nos yeux absorbent de longues vapeurs d'images. Ils fonctionnent beaucoup plus comme des caméras vidéo que des appareils photo.

Le mappage des tons pourrait être considérablement amélioré s'il était construit comme un shader GLSL qui fonctionnait en temps réel avec une caméra vidéo spécialisée qui pouvait capturer un flux constant d'images HDR.

Dans un exemple beaucoup plus simplifié, les photos "HDR" de l'iPhone sont des images composites d'une image à exposition faible et élevée, soumises à un processus de mappage des tons qui fonctionne assez bien si vous ne l'avez pas essayé. De nombreux autres appareils photo grand public font des choses similaires.

Il y a aussi le sujet fascinant de la façon dont l'intuition / l'intention / le libre-arbitre joue sur la façon dont vos yeux sont calibrés au fil du temps. Si vous regardez un mur sombre et pensez à tourner la tête vers une fenêtre bien éclairée, votre cerveau peut dire à vos yeux d'aller de l'avant et de fermer vos pupilles. Un appareil photo avec exposition automatique peut faire la même chose, mais seulement après qu'il y ait trop de lumière. Les gens qui travaillent au cinéma passent beaucoup de temps à faire en sorte que le réglage des paramètres des caméras vidéo se déroule en douceur afin de se sentir naturel dans une prise de vue compliquée (ou éclairer une scène de manière à ce que les paramètres des caméras n'aient pas à être ajustés) Mais encore une fois, la seule raison pour laquelle ce genre de choses fonctionne, c'est parce que le réalisateur sait ce qui va arriver à la caméra avant qu'elle ne se produise.

Le plus gros problème serait de reproduire l'image capturée.

Il n'est pas hors du domaine de la technologie de créer un capteur d'image et une configuration qui captureraient une gamme extrêmement large de niveaux de luminosité dans une seule image. En fin de compte, c'est juste une question de comptage de photons, qui est une technologie qui évolue aux niveaux nécessaires. Les appareils photo actuels utilisent principalement les paramètres d'exposition pour moduler la quantité de luminosité que le capteur voit, bien qu'une plus grande partie de ce travail puisse être effectuée dans le capteur, ce qui peut peut-être entraîner un plus grand bruit d'erreur, mais vous pouvez certainement obtenir une gamme plus large d'un capteur photo que ce qui est actuellement disponible sur le marché.

Mais le problème: une fois que vous avez cette image, que faites - vous faire avec elle? Même les écrans haut de gamme utilisent toujours des couleurs 24 bits, ce qui signifie que 256 nuances par canal de couleur sont autorisées. Les imprimantes actuelles sont également limitées, sinon davantage. Donc, rien ne pourrait réellement être fait avec une telle image sans un traitement préalable pour réduire la plage jusqu'à ce que les caméras existantes produisent.

Vous avez probablement déjà rencontré ce problème: la plupart des formats RAW actuels stockent déjà une plage plus large que ce qui peut être reproduit, et la plage de couleurs doit déjà être compressée ou découpée avant de pouvoir regarder l'image. Ajouter encore plus de portée à la sortie RAW serait tout simplement la même chose. L'appareil photo serait probablement beaucoup plus cher, mais les images ne seraient pas nettement meilleures, car vous devez toujours réduire la plage de couleurs à 24 bits avant de pouvoir la regarder.

Pourtant, peut-être avec le bon logiciel et le bon type d'utilisateur, vous pourrez peut-être en tirer quelque chose de merveilleux. Ce ne serait probablement pas très différent de la photographie HDR actuelle, mais vous n'auriez pas à prendre plusieurs images.