Pourquoi les caméras n'enregistrent-elles pas les données de lumière sur l'ensemble de l'obturateur?

Désolé si le titre de la question prête à confusion, je ne connais pas la meilleure façon de le formuler, alors n'hésitez pas à le changer si vous pouvez penser à quelque chose de mieux. J'ai appris que les obturateurs électroniques peuvent capturer l'image en une seule fois au lieu d'utiliser un obturateur mécanique qui utilise le rideau. Cela m'a donné une idée. Supposons qu'un plan donné soit correctement exposé à 1 / 200s, mais la plage dynamique de l'image est beaucoup trop large pour que l'appareil photo puisse la capturer.

Pourquoi un appareil photo avec un obturateur électronique ne peut-il pas capturer et enregistrer en continu des données lumineuses à partir d'une image pendant toute la durée de l'obturateur au lieu de simplement collecter des données lumineuses et finalement les stocker sous la forme d'une seule image? Ce serait comme voir une pièce partir de l'obscurité et augmenter progressivement sa luminosité. L'appareil photo serait alors capable de capturer toute la gamme dynamique d'une image et de compiler les données dans une image avec toute la gamme dynamique dans une seule photo au lieu d'avoir besoin de plusieurs expositions pour un HDR. Cela permettrait également d'ajuster l'exposition dans le post-traitement sans aucune perte d'informations puisque l'appareil photo a stocké les données lumineuses d'une gamme entière d'expositions. Pourquoi cette idée n'est-elle pas actuellement mise en œuvre?

Cela a été fait aux rayons X.

Le TimePix est un détecteur 256x256. Il a trois modes de fonctionnement :

• "l'énergie totale habituelle dans ce pixel depuis que nous avons commencé à intégrer";
• Time-over-Threshold (TOT): la hauteur d'impulsion détectée est enregistrée dans le compteur de pixels en mode TOT; et
• Heure d'arrivée (TOA): le mode TOA mesure le temps entre le déclenchement et l'arrivée du rayonnement dans chaque pixel.

Cette technologie a été adaptée à l'imagerie optique . Le mode TOT est mieux décrit comme agissant comme un ADC Wilkinson - la lecture correspond au temps total où la charge accumulée est au niveau ou au-dessus du seuil. La soustraction de la durée d'obturation vous indique le temps nécessaire à ce pixel pour saturer. Ainsi, pour chaque pixel, vous pouvez tracer la ligne de 0 à la saturation dans le temps depuis l'ouverture de l'obturateur. Vous pouvez donc choisir la durée d'obturation virtuelle de votre choix (tant que tous les pixels sont saturés) et utiliser la ligne de chaque pixel pour estimer sa lumière accumulée jusqu'à cette durée d'obturation virtuelle.

Une implémentation plus directe de votre idée a été effectuée dans CMOS. Chaque pixel enregistre et rapporte son temps pour atteindre un seuil de charge. (Plutôt que d'ADC les pixels qui ne saturent pas dans le temps, le seuil est balayé, donc chaque pixel dépasse finalement un seuil suffisamment abaissé.)

Je me souviens que le Pixim Digital Pixel System ( exemple ) a également fait cela en utilisant un ADC par pixel et en lisant de manière non destructive la charge accumulée à plusieurs reprises (pour obtenir la pente d'accumulation). Mais je ne trouve pas de preuves corroborantes actuelles.

Il vous manque des problèmes évidents avec cette idée.

Vous voulez capturer "en continu" les données lumineuses, mais c'est déjà fait.

Apparemment, vous voulez avoir une série d'images disponibles après l'exposition, chacune exposée du début à des moments qui avancent avec l'exposition entière. Les images ultérieures auraient plus de détails dans les zones d'ombre, mais pourraient avoir des zones claires écrêtées. Le micrologiciel de l'appareil photo pourrait alors assembler une seule image avec une plage dynamique plus grande que n'importe laquelle des images individuelles.

Les deux problèmes flagrants avec cela sont:

• comment lire tous les millions de pixels si rapidement, et
• où mettre les résultats.

La technologie n'est pas disponible aujourd'hui pour le faire.

Vous suggérez "Ou chaque fois qu'un photon frappe un pixel sur le capteur, donnez-lui un horodatage" - ce serait une énorme quantité de données. Une recherche rapide suggère que chaque pixel - ou sensel - d'un appareil photo numérique sature entre 20 000 et 100 000 photons. Disons que nous sommes satisfaits d'un appareil photo 12 mégapixels et que nous sommes d'accord avec le côté inférieur de la sensibilité ici. C'est toujours un quart de billion de points de données. Si nous parlons d'un appareil photo de 50 mégapixels avec beaucoup de plage dynamique, peut-être cinq mille milliards . Même si nous faisons en sorte que nos horodatages ne soient que de deux octets chacun (un octet ne donne que 256 valeurs, il est donc peu probable que cela soit suffisant pour que tout cela en vaille la peine), c'est ... beaucoup de données pour une image. Je veux dire, littéralement des téraoctets.

Ce n'est clairement pas possible actuellement en termes de pipeline de données avec la technologie d'aujourd'hui, sans parler de le mettre quelque part .

Ce que vous demandez, un échantillonnage continu de la lumière, pourrait être théoriquement possible mais pratiquement trop cher. Il pourrait être possible de l'approcher avec un taux d'échantillonnage très élevé. Cela pourrait être fait avec une caméra vidéo haute vitesse (ralenti) avec des fréquences d'images très élevées. Ensuite, la sortie pourrait être post-traitée pour créer une image.

Une recherche rapide montre suff comme ça Phantom

Ces choses fonctionnent en ayant des capteurs rapides et en pouvant déplacer et stocker d'énormes quantités de données. Tenter un échantillonnage continu, ou un taux d'échantillonnage suffisamment rapide pour qu'il semble continu, amplifie ce problème et le coût.

L'obturateur électronique est déjà un pas en avant. Nous pouvons maintenant prendre tous les pixels en même temps, puis leur dire d'arrêter de collecter (c'est-à-dire échantillonner chaque pixel) et de mesurer les informations pour chaque couleur de chaque pixel en série, en capturant des données sur une image qui a été prise simultanément.

Ce n'était pas le cas auparavant.

Nous devons encore faire quelques hacks pour le paysage HDR, cependant, ce n'est pas aussi mauvais qu'avant, encore une fois en raison des progrès de la technologie des capteurs. Nous avons maintenant une sensibilité et une plage dynamique plus grandes du capteur, donc une photo qui nécessitait auparavant une prise de vue à deux crochets et un post-traitement peut maintenant être capturée à huis clos car le capteur peut mesurer à la fois les hauts et les bas de certaines images. En fait, les capteurs sont devenus si bons que vous rencontrerez rarement une situation qui nécessite plus de trois prises de vue en bracketing pour obtenir toute la plage dynamique. Les capteurs plus anciens peuvent avoir nécessité 5 prises de vue en bracketing ou plus.

Votre idée, si je comprends bien, nécessite une mesure continue par pixel.

Bien que ce soit une excellente idée, la mise en œuvre reste un problème. Les caméras sont conçues pour diffuser les données du capteur en série. Il n'y a pas de ligne pour chaque pixel vers le processeur, au lieu de cela, le capteur d'image a une logique qui permet au processeur de lire la valeur d'un pixel ou de plusieurs pixels à la fois mais pas tous à la fois. Il doit parcourir tous les pixels, ce qui prend du temps.

Nous ne pouvons pas surmonter cela car nous ne pourrons pas avoir 50 millions de fils entre le capteur et le processeur. Nous pourrions intégrer davantage de traitement dans le capteur, mais le capteur est spécialisé pour faire une chose, et le faire bien. L'ajout de circuits numériques entraînerait plus de bruit et probablement des pixels plus petits même si des circuits intégrés 3D étaient utilisés. En outre, les processus utilisés pour créer un bon silicium sensible à la lumière sont différents de ceux utilisés pour créer un bon silicium numérique à faible puissance et à traitement rapide.

Toutes ces choses sont des obstacles, mais pour certaines applications spécialisées, elles sont déjà utilisées. Généralement dans le domaine scientifique et industriel.

Mais cela ne signifie pas que nous sommes exclus du froid. Au fur et à mesure que les capteurs s'améliorent, en particulier dans la plage dynamique, vous constaterez que vous obtiendrez finalement "HDR" dans l'appareil photo sans supports - les capteurs seront simplement assez sensibles pour obtenir la gamme complète, et les objectifs et le boîtier de l'appareil photo seront bons suffisamment pour empêcher le fond perdu, la réflexion et d'autres problèmes qui empêchent le capteur d'atteindre sa pleine capacité.

Donc, bien que l'idée ne soit pas mauvaise, elle est complexe, coûteuse et nous avons encore de la place pour grandir dans d'autres domaines améliorables afin que votre méthode ne devienne même pas nécessaire.

La vraie réponse est le prix. Si vous êtes prêt à payer 10 à 100 fois plus pour votre appareil photo, vous pouvez obtenir des capteurs vraiment fantaisistes.

Le résultat souhaité que vous décrivez est une plage dynamique plus élevée pour chaque pixel. Il y a quelques façons de le faire. Le moyen évident est d'obtenir un meilleur capteur ADC et CMOS, mais cela coûte de l'argent et n'est pas dans la veine de ce que vous pensez. La prochaine approche consisterait à aspirer la charge dans un processus continu , en analogique. Cela vous permettrait d'obtenir une fonction continue décrivant le nombre de photons frappant le pixel. Cependant, ce type de matériel analogique est extrêmement difficile. Dans votre appareil photo, toutes les données de pixels sont stockées dans un assez petit nombre de CAN. Une partie de la beauté de nos capteurs réside dans la façon dont ils peuvent le faire, produisant du matériel moins cher par des centaines de facteurs. Pour ce faire, il faudrait que chaque pixel ait une quantité extraordinaire de matériel analogique finement réglé.

Ce qui nous amène à l'approche d'échantillonnage numérique. Vous avez mentionné l'idée de capturer des données tous les 1 / 1000ème de seconde, ce qui me suggère que vous ne pensiez pas réellement à un processus continu , autant qu'à un processus d' échantillonnage où vous obtenez de nombreux points de données pour des tranches de temps minces et les assemblez ensemble. Comme mentionné dans d'autres réponses, HDR + sur certains téléphones fait exactement cela. Il prend plusieurs photos en succession rapide et les mélange pour obtenir l'effet HDR. Pour ce faire, ils ont évidemment une bande passante ADC beaucoup plus élevée que celle dont vous auriez besoin pour une seule image, mais ils n'auraient pas besoin d'autant de temps qu'il faudrait pour traiter chaque pixel en continu.

À partir du son, vous souhaitez que chaque pixel fasse cet échantillonnage de temps seul. Pour ce faire, nous devons d'abord faire une incursion dans la conception de circuits intégrés 3D. Vous ne voulez pas que le matériel de chaque pixel occupe de l'espace sur la surface du capteur, ou vous aurez du mal à avoir trop peu de pixels ou à perdre un tas de lumière quand il tombe sur des parties non capteurs du circuit intégré. La seule façon d'y parvenir est de construire une puce 3D. Ce sont vraiment une technologie d'avenir. Nous commencer à explorer la façon de faire, mais il est pas facile. Si vous avez des centaines de milliers de dollars à consacrer à votre appareil photo, nous pouvons réaliser ce genre de chose.

En fin de compte, il semble que vous souhaitiez que la sortie de chaque pixel soit un "nombre à virgule flottante" au lieu d'un "entier". C'est-à-dire que chaque pixel aurait une valeur pour le nombre de photons frappés, et un exposant qui indique essentiellement combien multiplier cette valeur par pour obtenir le nombre réel de photons. Lorsque le pixel est exposé, il échantillonne à un taux très élevé (peut-être 5000 Hz), et si le nombre de photons devient trop grand, il choisit un exposant plus grand.

Maintenant, la vraie question est de savoir quel bénéfice en retirez-vous? N'oubliez pas que l'approche HDR + est la technologie actuelle, pour des téléphones portables à des centaines de dollars. Vous parlez d'utiliser une technologie de pointe avec des tolérances beaucoup plus exigeantes que n'importe quel appareil photo. Cela aura un coût. Qu'est-ce que ça t'a acheté? Qu'est-ce que ces appareils à pixel unique pendant l'obturateur vous ont réellement acheté que la technologie CMOS bon marché que Google pousse n'a pas? La réponse n'est pas beaucoup. Il peut y avoir quelques minuscules cas de coin où c'est une approche préférée, mais avec un prix considérablement plus élevé que la technologie existante, c'est un non-démarreur commercial.

Quelque chose de très similaire est mis en œuvre. Il fonctionne toujours selon des trames distinctes, car il existe des avantages importants d'une approche numérique plutôt qu'analogique. Mais des approches existent avec une résolution temporelle en pico secondes.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

Pourquoi un appareil photo avec un obturateur électronique ne peut-il pas capturer et enregistrer en continu des données lumineuses à partir d'une image pendant toute la durée de l'obturateur au lieu de simplement collecter des données lumineuses et finalement les stocker sous la forme d'une seule image?

Ce que je pense que vous proposez vraiment ici, c'est de décrire une image non pas en termes de "combien de lumière a été collectée pendant toute l'exposition?" mais plutôt "quelle était la luminosité de la scène à chaque point?" C'est une excellente pensée, et je peux penser à plusieurs façons de le faire, mais ce qu'ils ont tous en commun, c'est qu'ils ajoutent de la complexité au capteur.

Les fabricants d'appareils photo travaillent depuis longtemps pour fournir plus de pixels, et je suppose que garder la structure de chaque pixel simple aide à cet effort. Maintenant que les reflex numériques ont généralement des capteurs avec entre 20 et 50 millions de pixels, nous les verrons peut-être plutôt travailler à la construction de meilleurs pixels. Nous le constatons déjà à certains égards - l'autofocus à deux pixels en est un exemple. Et il y a certainement des entreprises qui travaillent à la construction de capteurs qui offrent une gamme plus dynamique , moins de bruit, etc.

En bref, je pense qu'il est probable que nous verrons quelque chose dans le sens de ce que vous avez proposé à l'avenir, même si cela ne fonctionne pas de cette façon, et la raison pour laquelle nous n'y sommes pas déjà est probablement juste que d'autres objectifs comme l'augmentation de la densité des pixels étaient des priorités plus élevées dans le passé.

Cela peut être fait d'une manière quelque peu différente. Au lieu d'une seule photo, vous prenez un certain nombre d'images avec des temps d'exposition différents. Ensuite, vous empilez les images pour obtenir une sorte de moyenne en fonction de l'algorithme que vous utilisez pour l'empilement.

Par exemple, avec la récente éclipse solaire totale, la quantité de couronne visible à l'œil nu était beaucoup plus grande que celle que n'importe quel temps d'exposition pour la caméra montrerait. En effet, l'œil a une plage dynamique logarithmique tandis que l'œil a une plage dynamique linéaire. Ainsi, en empilant divers temps d'exposition, vous pouvez mieux estimer dans une image ce que les observateurs ont vu à l'œil nu.

Les modes Olympus Live Bulb et Live Time vont dans le sens que vous décrivez.

Dans le manuel OM-D E-M5 :

Pour visualiser la progression de l'exposition pendant la prise de vue, choisissez un intervalle d'affichage pour [AMPOULE en direct] (P. 89) ou [TEMPS en direct] (P. 89).

Voici une vidéo . Notez que vous n'obtenez qu'une seule exposition à la fin, même si vous en voyez plusieurs pendant le processus. Les pixels du capteur ne se soucient que de la quantité totale de photons qu'ils ont reçus pendant l'exposition, ils ne savent pas quand ni dans quel ordre ces photons ont atterri sur le capteur.

Vous avez la bonne idée. Sony fait essentiellement quelque chose à cet effet dans le RX100M5 et d'autres caméras qui arborent une fonctionnalité qu'ils appellent D-Range Optimizer - analyser la scène et régler et compenser les zones problématiques.

La fonction D-Range Optimizer analyse instantanément les données d'image capturées et corrige automatiquement pour une exposition et une reproduction des tons optimales. Souvent, lors de la prise de scènes en contre-jour, le visage du sujet ou d'autres zones dans l'ombre apparaissent plus foncées sur la photo qu'elles ne le paraissent à l'œil humain. La fonction D-Range Optimizer fait la distinction entre les différentes conditions pour les scènes photographiées corrige automatiquement la courbe gamma, le niveau d'exposition et d'autres paramètres pour supprimer les parties plus sombres qu'elles ne le paraissent à l'œil humain.

La fonction d'optimisation de la plage D contient également le mode Standard, qui ajuste uniformément l'image entière (efficace pour corriger des aspects comme l'exposition), et le mode Avancé, qui corrige automatiquement les zones de la composition. En utilisant le mode avancé, le photographe peut produire une image claire où le sujet et l'arrière-plan sont représentés avec une luminosité appropriée, même lorsqu'il existe une grande différence de luminosité entre les deux.

source: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer % 3F