IllumiRoom es un proyecto de investigación de Microsoft que amplía mediante realidad aumentada una pantalla de televisión con imágenes proyectadas en la pared y los objetos circundantes. La prueba actual del concepto utiliza un sensor Kinect y un proyector de vídeo. El sensor Kinect captura la geometría y los colores del área de la habitación que rodea al televisor, mientras que el proyector muestra un video alrededor de este que corresponde a una fuente de vídeo presente en el televisor, como un videojuego o una película.
IllumiRoom se presentó por primera vez en el Consumer Electronics Show de 2013.[1] En la feria, Microsoft, junto con Samsung, mostró una presentación en vídeo del sistema. En CHI 2013, Microsoft presentó más detalles del sistema, incluido un documento escrito junto con un investigador de la Universidad de Illinois en Urbana–Champaign.[2][3]
El prototipo del sistema utiliza un proyector de amplio campo de visión y un sensor Kinect. El Kinect captura el color y la geometría del entorno de la sala y el proyector reproduce imágenes en el mapa de profundidad adquirido por el sensor.
El concepto IllumiRoom se basa en trabajos e investigaciones previos utilizando pantallas de mayor enfoque de contexto, o focus-plus-context screens, y mapeo de proyección. La tecnología focus-plus-context generalmente utiliza una pantalla de alta resolución rodeada por una pantalla de menor resolución. El artículo de investigación CHI 2013 de Microsoft cita Ambilight de Philips como un ejemplo de este recurso. En el caso de IllumiRoom, el televisor representa la pantalla de alta resolución y la proyección circundante es la pantalla de menor resolución. El propósito de esta tecnología es proporcionar al usuario información adicional en la periferia visual, tanto simulando como aprovechando la visión periférica. Este aspecto se basa en el hecho de que el centro de la mirada de una persona es el equivalente a la alta resolución y es sensible al color y al detalle, mientras que la visión periférica es más sensible al movimiento.
IllumiRoom Combina el concepto de Focus-plus-context con mapeo de proyección en tiempo real. Esto permite que el sistema pueda ser utilizado en cualquier habitación, y no solo donde la televisión esté rodeada por una pared plana y blanca.
El sensor Kinect suele usarse para calibrar el sistema y la proyección. El proyector muestra un sistema de patrones grises y la cámara Kinect lee el tamaño de estos en la proyección para mapear el entorno 3D. Una vez calibrado, el sensor Kinect no se emplea más por el sistema del IllumiRoom, sino que puede ser utilizado para gaming.[3] IllumiRoom se desarrolló con el juego de disparos en primera persona de código abierto Red Eclipse como aplicación prototipo.[4]
Actualmente, el sistema puede mostrar imágenes de videojuegos en uno de varios modos. Estos modos requieren que el sistema tenga acceso al proceso de renderización del juego:[3]
Sin acceso al renderizado del juego, existen otros modos de proyección disponibles:[3]
Aunque se espera que se use en una aplicación de Xbox, los investigadores han declarado que la tecnología es, por ahora, solo un proyecto de investigación y no está lista para uso comercial.[5]
RoomAlive, un proyecto de investigación de Microsoft relacionado, también utiliza una cámara de profundidad y un proyector de vídeo en una cámara de proyector o configuración "procam". Es un sistema adaptativo que permite realizar un mapeo de proyección interactivo, dinámico y en tiempo real en el que múltiples cámaras de este tipo se pueden usar juntas en una habitación para generar un mapeo de proyección unificado e inmersivo que se adapta automáticamente al entorno de la sala, y con el que los usuarios pueden interactuar físicamente. A diferencia de IllumiRoom, que implementa una presentación visual de enfoque contextual centrada en una pantalla de televisión, RoomAlive se centra en aplicaciones de realidad aumentada espacial.[6]
En abril de 2015, Microsoft lanzó RoomAlive Toolkit, un kit de desarrollo de software de código abierto con licencia MIT[7] para calibrar una red de proyectores de video y sensores Kinect, que se puede usar para desarrollar sistemas como los de los proyectos RoomAlive e IllumiRoom.[8] El código fuente está disponible en su repositorio público.[9]