Un réglage d '«exposition universelle» pourrait-il être pratiquement possible?

Je ne sais pas à quel point cette question est sans instruction, mais je suis intéressé à apprendre, alors merci d'avance pour votre indulgence.

Le film change physiquement au cours de la période d'exposition. Un capteur numérique, cependant, ne fonctionne pas; c'est juste lire des données. Y a-t-il une raison pour laquelle l'appareil photo n'a pas pu «se souvenir» des lectures du capteur à chaque point d'exposition? Ce ne sont que des données. Ce peut être beaucoup de données, mais il y a des moments où l'on peut vouloir faire ça, non? Donner beaucoup plus de flexibilité dans le post-traitement.

Si le stockage des données n'était pas un problème, y a-t-il une raison pour laquelle cela ne pourrait pas être la norme, du moins pour la photographie professionnelle et artistique?

Un capteur numérique n'est pas vraiment mieux décrit comme «lecture de données». Une bien meilleure façon de le décrire consiste à «collecter des photons» qui sont ensuite convertis en données en mesurant les charges électriques microscopiques qu'ils produisent une fois la période de collecte terminée . Ils n'ont pas la capacité d'enregistrer en continu l'état changeant de chaque pixel pendant qu'ils collectent la lumière. Et selon le peu ou la quantité de lumière qui tombe sur le capteur, il peut s'écouler longtemps avant que suffisamment de photons frappent le capteur avant de générer plus que des données aléatoires. D'un autre côté, sous une lumière très vive, parfois tous les puits de pixels peuvent se remplir si rapidement que tous les photons supplémentaires tombant sur le capteur sont perdus.

Dans le premier scénario, pas assez de photons sont collectés pour créer un motif discernable à travers le "bruit" généré par l'énergie traversant le capteur qui est utilisé pour collecter les tensions créées par les photons tombant dans les puits de pixels. Ainsi, aucune information utilisable n'est collectée. Votre photo entière est sombre avec des taches aléatoires de couleur et de lumière.

Dans le deuxième scénario, tant de photons sont collectés que chaque pixel est lu à la même valeur maximale, appelée saturation complète, et puisque chaque pixel de l'image a la même valeur, aucune information utilisable n'a été préservée. Votre photo entière est d'un blanc éclatant.

Ce n'est que lorsque suffisamment de photons frappent un capteur que les zones avec plus de photons par unité de temps ont une valeur de lecture plus élevée que les zones avec moins de photons les frappant par unité de temps. Ce n'est qu'alors que le capteur a collecté des informations significatives qui peuvent différencier les zones de luminosité variable.

Imaginez que vous installiez un certain nombre de seaux d'eau dans votre cour pour collecter les gouttes de pluie. Imaginez qu'ils contiennent tous de l'eau mais que vous jetez avant de les placer. Certains sont placés sous l'avant-toit du toit de votre maison. Certains sont placés sous de grands arbres dans votre cour. Certains sont placés à l'air libre. Certains sont placés sous le bec verseur qui verse l'eau de vos gouttières dans la cour. Puis il commence à pleuvoir.

Disons qu'il ne pleut que très peu de temps: 15 secondes. Il y a quelques gouttes d'eau dans chaque seau. Mais il n'y a pas assez d'eau dans chaque seau pour savoir si chaque seau a pu contenir plus d'eau de pluie ou s'il ne reste plus que quelques gouttes dans le seau lorsque vous avez vidé l'eau avant de mettre les seaux dans la cour. Étant donné que vous ne disposez pas de suffisamment de données pour déterminer la quantité de pluie tombée sur les parties de la cour, vous videz tous les seaux et attendez qu'il pleuve à nouveau.

Cette fois, il pleut plusieurs jours. Au moment où il cesse de pleuvoir, chaque seau de la cour déborde. Même si vous êtes assez certain que certains seaux se remplissent plus rapidement que d'autres, vous n'avez aucun moyen de savoir quels seaux se remplissent le plus rapidement et quels seaux se remplissent en dernier. Vous devez donc vider à nouveau les seaux et attendre plus de pluie.

Lors de votre troisième tentative, il pleut pendant trois heures puis cesse de pleuvoir. Vous sortez dans la cour et inspectez vos seaux. Certains sont presque pleins! Certains ont à peine de l'eau dedans! La plupart ont des quantités variables d'eau entre les deux extrêmes. Vous pouvez maintenant utiliser l'emplacement de chaque godet pour déterminer la quantité de pluie tombée sur chaque zone de votre jardin.

La raison pour laquelle nous modifions l'exposition dans les appareils photo numériques est d'essayer de collecter suffisamment de lumière pour que les zones les plus lumineuses soient presque, mais pas tout à fait, saturées.Idéalement, cela se produit avec la caméra à la sensibilité ISO de base. Parfois, cependant, il n'y a pas assez de lumière pour ce faire. Même à la plus grande ouverture disponible, nous ne pouvons pas collecter suffisamment de lumière dans le temps le plus long où nous osons laisser l'obturateur ouvert (en raison du mouvement de nos sujets). Dans ce cas, nous ajustons le paramètre ISO de notre appareil photo de sorte que toutes les valeurs provenant du capteur soient multipliées à un facteur qui amène les valeurs les plus élevées à un point où elles sont presque, mais pas tout à fait saturées. Malheureusement, lorsque nous amplifions le signal (les tensions créées par les photons atterrissant dans les puits de pixels), nous amplifions également le bruit (les tensions aléatoires inégales produites par le courant utilisé pour collecter les tensions de chaque puits de pixels). Il en résulte un rapport signal / bruit plus faible ce qui diminue la quantité de détails que nous pouvons créer à partir des données que nous avons collectées à partir du capteur.

Il existe d'autres limitations techniques qui empêchent les caméras de conserver un "total cumulé" du nombre de photons collectés à différents intervalles lorsque l'obturateur est ouvert. Mettez assez d'argent sur le problème et certaines de ces limitations peuvent être surmontées, au moins partiellement. Mais soit les lois de la physique devraient changer, soit nous devons changer complètement la façon dont les capteurs comptent les photons avant que d'autres de ces limitations puissent être surmontées. Finalement, la technologie de certains ou de tous ces appareils pourrait remplacer la façon dont nous capturons actuellement des images de très haute qualité, mais nous n'en sommes pas encore là.

Nous avons déjà une partie de la technologie pour cela. Notre terme pour se souvenir des lectures du capteur à chaque point d'exposition est "vidéo", et ce que vous demandez est la reconstruction d'une image fixe optimale à partir de plusieurs images vidéo.

Pour un aperçu des travaux de Microsoft Research à ce sujet, commencez ici: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Pour un exemple disponible, voir l'application Synthcam, qui peut être utilisée pour réduire le bruit en basse lumière en combinant des images vidéo prises avec une caméra de téléphone: https://sites.google.com/site/marclevoy/

C'est loin d'être pratique pour la photographie de tous les jours, mais il est concevable que les futurs appareils photo filmeront de nombreuses images de vidéo haute définition à haute fréquence d'images, permettant au photographe d'obtenir le résultat souhaité en sélectionnant et en combinant plus tard.

Mise à jour de fin 2016: lorsque j'ai écrit la réponse d'origine, c'était loin du marché. Fin 2016, cela semble beaucoup plus proche. L'application "See In The Dark" de Marc Levoy intègre plusieurs images vidéo avec stabilisation sur un smartphone grand public pour produire des images utilisables à partir du clair de lune. Voir également la caméra Light L16 , qui intègre plusieurs petits capteurs en une seule image.

La question d'origine est basée sur une hypothèse incorrecte (à propos du capteur numérique ne changeant pas d'état pendant l'exposition) mais le concept est lié à l'idée du capteur d'image quantique (QIS) recherchée par Eric Fossum .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

Le QIS est un changement révolutionnaire dans la façon dont nous collectons les images dans un appareil photo qui est en train d'être inventé à Dartmouth. Dans le QIS, l'objectif est de compter chaque photon qui frappe le capteur d'image, et de fournir une résolution de 1 milliard ou plus de photoéléments spécialisés (appelés jots) par capteur, et de lire des plans de bits de jot des centaines ou des milliers de fois par seconde résultant en térabits / s de données.

Un tel appareil (citant la question)

"rappelez-vous" quelles étaient les lectures du capteur à chaque point d'exposition

et ayant l'ensemble de données complet, nous pourrions par exemple "changer" le temps d'exposition effectif après la capture de la "photographie".

Aujourd'hui, cela peut être approximé en enregistrant une vidéo et en combinant des images en post-traitement pour simuler des temps d'exposition plus longs (limités par les performances de l'appareil photo, la résolution du mode vidéo et la vitesse d'obturation, mais cela montre l'idée)

Si le QIS fonctionne comme promis, il introduira également d'autres fonctionnalités intéressantes, telles que de meilleures performances en basse lumière, une plage dynamique accrue, aucun aliasing, une sensibilité entièrement personnalisable (par exemple, comme un film), aucun paramètre ISO, une résolution réglable par rapport au bruit

Annonce récente: http://phys.org/news/2015-09-breakthrough-photography.html

Le film change physiquement au cours de la période d'exposition. Un capteur numérique, cependant, ne fonctionne pas; c'est juste lire des données.

Cela dépend vraiment du type de capteur. Le type de capteurs CMOS utilisés dans les reflex numériques actuels accumule une charge électrique dans chaque pixel au fil du temps, de sorte qu'ils changent en fait au fil du temps, tout comme le fait le film. S'ils ne fonctionnaient pas de cette façon, l'image n'existerait que tant que l'obturateur serait ouvert. Les capteurs CCD (l'autre technologie courante pour les capteurs d'image dans les caméras) fonctionnent également de cette façon, accumulant la lumière au fil du temps.

Y a-t-il une raison pour laquelle l'appareil photo n'a pas pu «se souvenir» des lectures du capteur à chaque point d'exposition?

C'est exactement ce que fait l'appareil photo lorsqu'il enregistre une image. Je pense que ce que vous voulez dire, cependant, c'est que si le capteur pouvait lire l'intensité lumineuse instantanée, alors vous pourriez ajuster l'exposition après coup à la valeur que vous voulez. Comme expliqué ci-dessus, ce n'est pas vraiment la façon dont la plupart des capteurs d'image fonctionnent. D'autre part, nous pouvons et souvent ne l' exposition ajuster un peu en post-traitement.

Si le stockage des données n'était pas un problème, y a-t-il une raison pour laquelle cela ne pourrait pas être la norme, du moins pour la photographie professionnelle et artistique?

Pour ce qui est de « souvenir » les données du capteur, il est la norme pour beaucoup de photographes. La plupart des caméras vous permettent d'enregistrer des images au format "RAW", et ce sont à peu près les données telles qu'elles sont lues par le capteur, ainsi qu'un peu plus de données sur les paramètres de la caméra à l'époque. Les images RAW occupent beaucoup plus d'espace que d'autres formats comme JPEG, mais elles donnent au photographe la liberté de réinterpréter les données plus tard, de sorte que vous pouvez facilement modifier les paramètres tels que la température de couleur et la balance des blancs en post-traitement.

D'autres ont déjà expliqué pourquoi cela ne fonctionnera pas, techniquement. Je veux expliquer pourquoi cela ne fonctionnerait pas pratiquement .

Si le stockage des données n'était pas un problème, y a-t-il une raison pour laquelle cela ne pourrait pas être la norme, du moins pour la photographie professionnelle et artistique?

Considérez l'ampleur des différentes conditions d'éclairage dont nous pourrions vouloir prendre des photos. Même en ignorant les extrêmes tels que l'astrophotographie (où vous photographiez souvent de petites taches de lumière entourées de noir presque total), vous avez toujours la photographie terrestre du soir ou de la nuit et des paysages d'hiver enneigés de couleurs vives. Je vais utiliser les deux derniers comme exemples.

En outre, je vais supposer que pour recréer avec précision toute exposition souhaitée, nous devons exposer le capteur au point de saturation complète.

En outre, je vais supposer que nous pouvons lire les valeurs des capteurs de manière non destructive. (Il s'agit probablement d'un de ces problèmes qui entrent dans la catégorie des «injecter suffisamment d'argent dans le problème et il pourrait être résolu».)

Dans le cas de la photographie de nuit, nous aurions besoin d'exposer le capteur pendant très longtemps pour saturer tous les pixels, ce qui signifie que toute photo, peu importe ce dont nous voulons vraiment une photo, va prendre un temps absurde à prendre. L'image touristique classique des danseurs dans un bar en plein air devient presque impossible car, bien, vous pourriez en prendre quelques-uns pendant une soirée entière. Pas bon. Nous ne pouvons donc pas exposer à la saturation, du moins pas sans discernement. (L'exposition à un certain pourcentage de pixels saturés est également inutile, mais pour différentes raisons; essayez d'obtenir une exposition exacte lorsque vous prenez une photo d'une cheminée avec un feu brûlant. C'est presque impossible; peu importe vos efforts, certains les pixels seront exagérés ou de vastes portions de l'image seront horriblement sous-exposées.)

Lorsque vous photographiez un paysage enneigé très éclairé, comme une vue hivernale pendant la journée lorsque le soleil est éteint, l'exposition que le système d'exposition automatique de l'appareil photo vise ("18% de gris") est terriblement insuffisante. C'est pourquoi vous voyez souvent des photos de neige sombre et où la neige apparaît plus gris clair que blanc. Pour cette raison, nous utilisons souvent un paramètre de compensation d'exposition positive qui entraîne que la neige est exposée comme un blanc presque saturé. Cependant, cela signifie que nous ne pouvons pas compter sur le système AE de l'appareil photo pour déterminer quand mettre fin à l'exposition: si nous le faisons, de telles images seront invariablement sous-exposées .

En d'autres termes, l'exposition à une saturation complète n'est pas pratique dans de nombreux cas, et l'exposition pour rendre le système AE heureux est inadéquate dans de nombreux cas. Cela signifie que le photographe devra encore faire une sorte de choix, et à ce stade, nous sommes au moins aussi bien de rester avec ce que nous avons et les photographes sont habitués, améliorant les systèmes AE et facilitant le travail du photographe ( plus facile?) accès aux paramètres de compensation d'exposition. En augmentant la plage dynamique pratiquement utilisable du capteur, nous pouvons permettre (encore) une plus grande latitude dans les changements d'exposition en post-traitement; les reflex numériques originaux étaient horriblement chers, mais vraiment horribles à cet égard par rapport aux modèles d'entrée de gamme actuels.

Tout cela peut être fait pleinement dans le cadre de ce que nous avons déjà. Cela ne veut pas dire qu'il est facile d' améliorer considérablement la plage dynamique utilisable du capteur , mais c'est probablement beaucoup plus facile que ce que vous proposez, et c'est un problème sur lequel les vendeurs ont de l'expérience.

Les professionnels, presque par définition, savent utiliser les équipements de leur métier. Ce n'est pas vraiment différent s'il s'agit de photographes ou de pilotes de navette spatiale . Surtout quand cela peut être fait sans provoquer de surcharge d'informations, il est généralement préférable de donner à l'utilisateur le contrôle total de l'équipement professionnel. À mon avis, les reflex numériques haut de gamme actuels sont assez bons pour atteindre le point idéal à ce sujet.

Simplifions le problème pour comprendre pourquoi nous devrons toujours faire des compromis.

Inventons l'appareil photo que vous voulez, mais avec un seul pixel monochrome. Il doit pouvoir recevoir et notifier de manière fiable le processeur de la réception d'un seul photon. Il doit également pouvoir recevoir et notifier au processeur la réception de photons infiniment infinis.

Le premier cas dans une situation où il n'y a pas de lumière. La seconde dans le cas d'une lumière même modérée.

Le problème principal est que nous n'avons tout simplement pas la technologie pour créer un capteur avec une plage dynamique aussi large. Nous devrons toujours faire des compromis, et en ce moment, nous faisons des compromis en sélectionnant une plage plus élevée où le capteur peut accepter des photons presque infinis et nous donner une lecture qui suggère une quantité relative de lumière frappant le capteur. Il ne les compte pas du tout, mais agit comme nos yeux - ils donnent simplement une sortie qui est relative à la quantité de photons qui les frappent, sans essayer de compter les photons.

Ceci est encore compliqué par le fait que cela est collecté au fil du temps.

Un capteur idéal serait en fait plus comme un compteur Geiger - mesurer le temps entre les photons pour nous donner une mesure presque instantanée de la quantité de lumière tombant sur le capteur, en supposant que les photons sont relativement également espacés (ce qui n'est pas vrai, mais est une hypothèse pratique, et pourquoi les compteurs geiger font la moyenne au fil du temps comme le font les caméras).

Les capteurs quantiques auraient essentiellement le même problème. Bien sûr, ils peuvent détecter un photon individuel, mais à un moment donné, ils arrivent assez rapidement pour que vous ne puissiez tout simplement pas mesurer le temps entre eux, ou même compter combien arrivent par période d'exposition.

Nous avons donc ce compromis qui nous oblige à prendre plusieurs images de plusieurs expositions, ou à ajouter plusieurs images de la même exposition élevée ensemble pour démêler les zones de faible luminosité, ou diviser la lumière entrante en deux ou plusieurs chemins avec différents capteurs de dynamique différente portée, ou construire des capteurs qui peuvent regrouper des pixels ou empiler des capteurs de lumière, ou, ou, ou - il y a littéralement des milliers de façons dont les photographes ont surmonté ce problème fondamental au fil des décennies avec une grande variété de supports.

C'est une limitation physique qui n'est pas susceptible d'être surmontée. Nous n'allons jamais avoir un appareil photo * sans aucune contribution du photographe qui permet de prendre toutes les décisions en post-traitement.

* _{Bien sûr, si vous changez la définition de la caméra, vous pourriez être satisfait des résultats d'un autre processus, mais cela est largement subjectif. La réalité est que si vous imaginez une scène avec votre appareil photo, puis montrez la scène à une personne, puis l'image que vous avez prise, ils percevront des différences dues aux différences inhérentes entre leurs yeux, votre capteur d'image et le processus que vous avez utilisé pour imprimer l'image. La photographie est autant une question d'interprétation et d'art que de capture de lumière, et donc une focalisation fanatique sur "l'appareil photo parfait" n'est probablement pas très utile.}