Comment fonctionne la super résolution?

En choisissant cette question, j'ai lu l'article de Wikipédia, mais je ne comprends pas pourquoi empiler des copies de la même image les unes sur les autres devrait améliorer la résolution de l'image?

Le processus est compliqué, mais cela devrait donner une idée de ce qui se passe. Imaginez que vous avez un appareil photo ordinaire, mais avec des moteurs pour déplacer le capteur d'un demi-pixel dans n'importe quelle direction.

Au lieu de prendre une image, cet appareil photo en prend quatre: une centrée, une décalée d'un demi-pixel vers la droite, une décalée d'un demi-pixel vers le bas, et une décalée d'un demi-pixel vers la droite et d'un demi-pixel vers le bas.

On peut alors prendre l'image centrée, la doubler de taille, en espaçant les pixels comme ceci:

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

Ensuite, nous pouvons combler les lacunes, en utilisant les autres images décalées, 1, 2 et 3:

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

Nous laissant avec une image de deux fois la résolution. Chose intéressante, il existe des caméras qui utilisent cette technique - comme le Hasselblad H4D-200MS (désolé si vous devez demander combien vous ne pouvez pas vous le permettre).

La superrésolution avec un appareil photo standard est un peu plus complexe car lorsque vous avez un appareil photo non contrôlé ou un mouvement de sujet, vous ne vous approchez pas d'un décalage exact d'un demi-pixel, mais à moins que vous ne soyez extrêmement malchanceux, votre image décalée sera légèrement décalée par rapport à l'original. En combinant suffisamment d'images, vous obtiendrez une image échantillonnée très irrégulièrement (avec des échantillons de pixels qui ne tombent pas sur une grille) mais qui peut être interpolée (en traçant des lignes entre les échantillons pour deviner un résultat qui tombe sur une grille exacte) dans une image régulière.

Considérez que le capteur n'est pas un appareil de capture parfait. Chaque pixel sera enregistré avec une certaine quantité d'erreur. Par exemple, si la valeur la plus précise d'un pixel est N, le capteur enregistrera une valeur qui se situe dans une plage N-E to N+Epour une donnée E. Pour qu'un bon capteur Esoit petit, un mauvais capteur aura un plus gros E.

Notez également qu'à chaque exposition, un pixel donné aura une erreur différente, les cellules du capteur n'ont pas de mémoire, donc un pixel qui est sorti bas une fois peut sortir haut dans la suivante.

Lorsque vous prenez plusieurs expositions du même sujet et que vous les faites la moyenne ensemble, vous réduisez efficacement E. Pour notre exemple de pixel ci-dessus, vous allez faire la moyenne d'un tas de valeurs différentes qui sont tout autour d'une inconnue N, donc la moyenne vous rapprochera de cet idéal N.

Voici ce que je comprends des choses. Les gens devraient se sentir libres de signaler toutes les idées fausses afin que nous soyons tous édifiés, mais nous espérons en fait signaler tout ce qu'ils repèrent et pas seulement marmonner dans leur bière. (ou barbes ou ...).

En termes simples et simplistes, les différentes photos contiennent des informations légèrement différentes et diverses méthodes sont utilisées pour détecter et extraire ces informations supplémentaires et les combiner de manière additive cohérente.

Il convient de noter que le système n'est pas garanti de fonctionner dans tous les cas.
La [page Wikipédia sur la super-résolution] note:

• Dans les algorithmes SR les plus courants, les informations obtenues dans l'image SR étaient intégrées dans les images LR sous forme d'alias.

  Cela nécessite que le capteur de capture dans le système soit suffisamment faible pour que l'aliasing se produise réellement. Un système limité par diffraction ne contient aucun alias, pas plus qu'un système où la fonction de transfert de modulation du système total filtre le contenu haute fréquence.

Le repliement est la capacité du système à présenter correctement les données des fréquences concernées. Voir "explication" en fin.

Si je les comprends correctement (et je peux ou non), leur phrase "est suffisamment faible" signifie qu'il s'agit d'informations supplémentaires que le capteur ne peut pas résoudre lui-même, ce qui est généralement considéré comme mauvais, il est donc normalement supprimé dans la mesure du possible VBUT que ce "repliement" des informations supplémentaires sont nécessaires au système SR. Le Nikon D800r n'a pas de filtre optique antialasmasing sur le capteur alors que le D800 std et presque tous les autres reflex numériques ont un tel filtre.

Le MTF est effectivement la capacité de l'objectif à produire un contraste OU à produire une "netteté" (les deux étant étroitement liés. Le MTF est généralement meilleur près du milieu de l'objectif et, avec une image rectangulaire, tombe vers les bords et généralement plus dans les coins de l'image Ils disent que la capacité du système à produire une image de super résolution dépend de sa capacité à rendre le contraste et la netteté - c'est-à-dire de sa qualité. C'est-à-dire que l'objectif doit être au moins à peu près aussi bon que l'objectif qui produirait le super rsolutionj iomage directement si les capacités du capteur et du processus ont été améliorées.

Le repliement est ce qui se produit lorsqu'un flux d'informations est échantillonné si lentement que certaines des informations à haute fréquence changent plus rapidement; y que la fréquence d'échantillonnage et "s'enroule" et apparaît comme s'il s'agissait vraiment d'une composante de fréquence inférieure. Dans un système limitant, le taux d'échantillonnage doit être au moins le double du taux d'information le plus élevé présent, mais en pratique, des taux un peu plus élevés que cela sont nécessaires.

Exemple simple:

• Considérez la séquence 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

  Il y a clairement un schéma qui se répète toutes les 12 unités.
  C'est un triangle ave qui augmente pendant 6 cycles et diminue pendant 6 autres cycles, puis se répète, avec période = 12 unités.

  Échantillonnez maintenant la séquence toutes les 11 fois seulement. Nous obtenons
  0 1 2 3 4 5 6 5 4 3 2 1
  C'est exactement le même schéma MAIS il change 11 fois plus lentement - une onde triangulaire avec une période de 11 x 12 = 132 unités.

  Échantillonnez la même séquence toutes les 8 fois et vous obtenez 0 4 4 0 4 4 0 4 4
  c'est-à-dire que cela ressemble à une onde carrée 1: 2 avec période = 24 unités.

  Toute période d'échantillonnage supérieure à 6 unités de temps = un demi-cycle entraînera de telles erreurs de repliement.