Des caméras + écrans d'affichage avec un comportement optique de type fenêtre / miroir peuvent-ils exister?

Les écrans d'affichage connectés aux caméras sont très différents des fenêtres ou des miroirs. En regardant à travers une fenêtre ou un miroir, nous pouvons nous concentrer sur l'infini, et nous pouvons déplacer notre point de vue pour voir un peu différent. Avec un écran d'affichage montrant des images de caméra en direct, nous voyons le champ de vision à partir d'un seul point (l'emplacement de la caméra) et nous nous concentrons sur l'écran.

Serait-il possible de développer un écran + caméra dont le comportement serait beaucoup plus proche d'une fenêtre ou d'un miroir? Je pense que l'écran et la caméra devraient avoir la même surface. Les deux seraient sensibles à la direction, et lorsque le pixel de la caméra sur la caméra reçoit un photon avec une fréquence sous des angles , l'écran enverrait un photon correspondant à la fréquence de position vers la direction , où sont calculées à partir de imitant un comportement semblable à une fenêtre ou à un miroir.$(C_i, C_j)$$\nu$$(C_\phi, C_\theta)$$\nu$$(S_i, S_j)$$(S_\phi, S_\theta)$$(S_\phi, S_\theta)$$(C_\phi, C_\theta)$

Un tel appareil est-il théoriquement possible? Si oui, un tel appareil serait-il techniquement réalisable aujourd'hui? Si oui, y a-t-il eu un travail sérieux sur ces appareils? Si c'est théoriquement possible mais pas faisable aujourd'hui, que faudrait-il développer avant que de tels appareils ne se profilent à l'horizon?

Il devrait avoir un large éventail d'applications dans la téléprésence , la réalité augmentée , l'ingénierie automobile et sûrement beaucoup d'autres domaines.

La technologie pour faire ce que vous voulez existe depuis des décennies et elle s'appelle l' holographie . Le problème avec les capteurs et écrans photographiques courants est qu'ils enregistrent / reproduisent uniquement les informations d'amplitude concernant la lumière. Pour savoir par exemple de quel angle provient le rayon, vous devez également enregistrer les informations de phase de la lumière. C'est précisément ce que fait l'holographie.

Dans l'image ci-dessous, vous pouvez voir que deux images d'un seul hologramme prises sous des angles différents montrent la souris comme si elle était vue sous des angles différents. Il y a des parties de la scène visibles sous un angle qui ne sont même pas visibles sous l'autre angle, comme l'arrière de la souris et la branche derrière la souris.

Les technologies nécessaires à la réalisation d'hologrammes en temps réel (s'apparentant à une caméra avec écran) sont encore en phase de R&D et sont très rudimentaires en ce moment. Les modulateurs spatiaux de lumière permettent de produire des hologrammes 2D en temps réel. Ce groupe a pu enregistrer l'hologramme à l'aide d'une caméra 4K standard avec un réseau de lentilles et a utilisé des modulateurs spatiaux de lumière pour reproduire l'hologramme en temps réel (pas particulièrement bien cependant).

Un tel écran peut être possible avec une technologie similaire aux métamatériaux qui est connue pour son application potentielle en tant que «cape d'invisibilité». Certaines entreprises prétendent également avoir atteint cet objectif pour l'armée, mais son efficacité est discutable car tous les RP autour d'elle utilisent des images fixes et des maquettes.

L'astuce serait de capter la lumière de toutes les directions et de reproduire la même diffusion de l'autre côté (ou de l'écran). Il existe des moyens de rendre les choses `` invisibles '' à certaines longueurs d'onde en utilisant la réfraction pour plier les ondes électromagnétiques autour d'un objet central, mais il est peu probable que cela fonctionne pour un `` écran '' placé arbitrairement, sauf si vous pouvez capturer l'entrée avec un faisceau de fibres optiques et en quelque sorte le reproduire exactement à l'autre extrémité (sans «tordre» la dispersion sortante).

Tout cela semble assez flou et bien trop sous-développé pour l'application pratique que vous recherchez ici. Le mieux que vous pourriez obtenir serait probablement un écran lenticulaire 3D avec suivi de la tête / des yeux afin qu'il puisse manipuler l'image en fonction de la position relative de l'écran / tête.

Cela ne fonctionnerait que pour une personne à la fois avec la technologie actuelle, pour autant que je sache. L'entrée devrait alors être traitée dans une scène 3D afin qu'elle puisse être ré-affichée sous d'autres angles. Cette technologie est raisonnablement mature et il existe de nombreuses technologies allant de la capture de lumière visible basée sur une caméra pure avec traitement logiciel aux caméras de balayage 3D actives qui combinent plusieurs entrées actives et passives. Alternativement, un réseau 2D de caméras étroitement emballé pourrait être utilisé et deux caméras appropriées sélectionnées pour correspondre à l'orientation relative de l'écran principal. Leur champ de vision devrait encore être manipulé en fonction de la distance tête-écran, ce qui serait probablement plus facile à faire numériquement en recadrant et en mettant à l'échelle l'image à partir d'un objectif grand angle.

La transmission de chaque photon individuel est irréalisable, étant donné la quantité de calcul qui serait nécessaire, mais la technologie pour capturer certaines informations sur la direction de la lumière entrante existe déjà et est utilisée dans la caméra Lytro "champ de lumière".

Pour autant que je sache, l'affichage du champ lumineux correspondant n'existe pas. Le système Lytro utilise un écran conventionnel avec post-traitement qui vous permet de régler le point focal, la profondeur de champ, etc. une fois la photo prise.

Caméras 3D

Les caméras 3D qui se composent de deux caméras séparées afin de permettre une perception de la profondeur existent depuis longtemps. Le seul plancher est qu'il peut être difficile de le montrer à une paire d'yeux humains d'une manière que le cerveau peut comprendre. Aujourd'hui, la plupart des efforts se concentrent sur la présentation d'une seule image à chaque œil et permettent au cerveau de se concentrer sur la synchronisation des images dans un récit cohérent.

Le problème est que vous avez besoin d'un écran très proche des yeux ou d'une paire de lunettes polarisées.