Fotografía computacional para ver las estrellas: así funciona el modo «Astrofotografía» de los celulares Google Pixel

Los Google Pixel son los buque insignia de Google y su elemento diferenciador con respecto a su competencia es la cámara. La empresa de Mountain View, mediante diversos algoritmos, busca que sus terminales, con solo dos sensores, puedan conseguir, por ejemplo, mejores fotografías cuando no hay luz (lo que llaman Night Sight). Con los Google Pixel 4 y 4 XL han avanzado un paso adelante en lo que a fotografía nocturna se refiere gracias al modo «Astrofotografía».

Como hicieron en su momento con el modo Night Sight, Google ha explicado en su blog dedicado a la inteligencia artificial cómo funciona y cuáles son los mecanismos que permite que sus dispositivos, cuando las situaciones son propicias, puedan captar las estrellas. La IA, por supuesto, juega un papel importante.

Primero lo básico: cómo funciona Night Sight

Uno de los problemas de las fotos con larga exposición es que los elementos luminosos pueden salir movidos – Imagen: Google.

 

Lo primero que hay que entender es por qué cuando hacemos una foto a oscuras la foto tiene tanto grano. Además de por la ISO, es por el ruido de disparo. Este se define como «un tipo de ruido electrónico que tiene lugar cuando el número finito de partículas que transportan energía (los fotones de la luz, en este caso) es lo suficientemente pequeño para provocar fluctuaciones estadísticas apreciables en una medición». De esa forma, cabe pensar que a mayor tiempo de exposición, más luz y menos ruido, y sobre el papel es así, pero hablamos de fotografía móvil.

Cuando usamos un móvil y disparamos con un tiempo de exposición elevado la cantidad de luz recibida aumenta, pero también lo hacen las trepidaciones fruto de nuestro pulso. Si usamos un trípode la cosa cambia, pero lo más normal cuando hacemos fotos con un móvil es hacerlo a mano.

¿Qué hace Night Shigt para solucionar esto? Divide la exposición en una secuencia de frames múltiples con tiempos de exposición más cortos. Es como si en lugar de tomar una foto durante 16 segundos se tomasen cuatro fotos de cuatro segundos. Luego se alinean los fotogramas compensando el movimiento de la cámara y se genera una imagen final más limpia y con menos granos. Grosso modo, así es como funciona Night Sight.

Aumentando la exposición (y lidiando con los problemas)

El pulso del usuario es un problema en las fotos de larga exposición.

Desde Google explican que «poco después del lanzamiento del Night Sight original, comenzamos a investigar la toma de fotos en ambientes exteriores muy oscuros con el objetivo de capturar las estrellas». El problema está en que fotografiar las estrellas requiere un tiempo de exposición bastante más elevado que una simple fotografía nocturna, y eso provoca que elementos como las nubes, un árbol o las propias estrellas puedan aparecer borrosas por el propio movimiento.

¿Qué han hecho en Google? Lo mismo que en Night sight, pero más tiempo. «Dividimos la exposición en cuadros con tiempos de exposición lo suficientemente cortos como para hacer que las estrellas se vean como puntos de luz». El tiempo de exposición por frame óptimo, tras haber fotografiado cielos nocturnos reales, ha resultado ser de máximo 16 segundos.

Pero la exposición no es el único factor, porque no podemos olvidar que detrás de la foto hay una persona tomándola, y no precisamente dispuesta a esperar más tiempo de la cuenta para sacar una foto. Como explican desde Google, no se puede aumentar la exposición ad infinitum por «consideraciones técnicas», pero también porque «pocos están dispuestos a esperar más de cuatro minutos para una imagen».

Así, el modo «Astrofotografía», en condiciones óptimas (poniendo el teléfono en un trípode, por ejemplo), es capaz de tomar hasta un máximo de 15 fotos con un tiempo de exposición de hasta 16 segundos por cuadro. Eso, afirman Florian Kainz y Kiran Murthy, ingenieros de software de Google Research, «nos permite capturar suficiente luz para producir imágenes reconocibles», si bien «una aplicación de cámara utilizable capaz de tomar fotos que se vean bien debe tratar con problemas adicionales que son exclusivos de la fotografía con poca luz».

Aunque el sensor no reciba luz, siempre recibe una pequeña cantidad de electricidad residual que provoca lo que se conoce como «píxeles calientes». – Imagen: Google.

¿Cuales? La corriente de oscuridad y los píxeles calientes, siendo el primero un derivado del segundo. La corriente oscura es la corriente eléctrica que fluye a través de los dispositivos fotosensibles (como el sensor de la cámara de los móviles), incluso cuando no hay fotones penetrando en el dispositivo. Es como una corriente residual no deseada que provoca los llamados píxeles calientes, pequeños puntos más luminosos que los inmediatamente más cercanos. En la imagen superior puede verse claramente.

Es la app de cámara la que se encarga de lidiar con ellos. Para ello, compara el valor de los píxeles cercanos que no han sido afectados por la corriente oscura y reemplaza los valores de los píxeles calientes. Si un pixel caliente vale 1 y un pixel normal vale 0, la app reemplaza el 1 por el 0 y se iguala la iluminación. «Dado que se descarta el valor de píxel original, hay una pérdida de información de la imagen, pero en la práctica esto no afecta notablemente la calidad de la imagen», afirman desde Google.

Componer la imagen y enfocar, otro reto a tener en cuenta

Aunque el usuario vea relativamente bien de noche, la cámara del móvil no lo hace tanto, y eso es algo que se reproduce en el visor, es decir, en la pantalla. La pantalla, si no hay luz, muestra una imagen en negro y, evidentemente, es difícil componer la imagen para conseguir el resultado que queremos. Para solucionar este problema, Night Sight muestra un «visor posterior al obturador».

Grosso modo, la cámara muestra la imagen que obtiene después de estar expuesto a una larga exposición. «Cada cuadro de larga exposición se muestra en la pantalla tan pronto como se ha capturado», explican en Google, y dado que cada cuatro tiene una exposición máxima de 16 segundos, cada cuadro que se muestra en pantalla ha recogido «250 veces más luz que los cuadros normales del visor«, lo que provoca que la imagen que vemos en pantalla sea luminosa y entendible a nuestros ojos.

En lo referente al enfoque, en condiciones de baja luz no es posible usar el enfoque automático como normalmente porque no se puede analizar cuán lejos o cerca debe estar la lente del sensor. Por eso algunas veces salen las fotos borrosas. En su lugar, Google opta por un «enfoque automático posterior al obturador».

Para ello, «la cámara captura dos frames de enfoque automático con tiempos de exposición de hasta un segundo, el tiempo suficiente para detectar detalles de la imagen incluso con poca luz «. Estas dos imágenes se toman justo después de que el usuario pulse el botón del obturador y se usan sola y exclusivamente para enfocar, por lo que no afectan al resultado final. En el caso de que la escena sea tan, tan, tan, tan oscura que este sistema no funcione, la cámara enfoca automáticamente al infinito.

Oscureciendo el cielo

A la izquierda la foto sin tratar, a la derecha la misma foto con el cielo oscurecido. – Imagen: Google.

Con todos los procesos mencionados anteriormente, la cámara de los Pixel 4 consigue sacar una foto preliminar, pero todavía hay que pulir un aspecto: el cielo. No podemos olvidar que estamos haciendo fotos de noche, de forma que lo que el usuario espera (y más si hablamos de captar la luz de las estrellas) es que el cielo se vea oscuro. Sin embargo, con la larga exposición el cielo tiende a salir ligeramente iluminado, más de lo que realmente está.

Para hacer del cielo un cielo más fidedigno, Night Sight oscurece el cielo de forma selectiva. Es aquí donde entra en juego el aprendizaje automático, que es capaz de detectar las regiones de la foto que representan el cielo. El modelo usa una red neuronal convolucional que se encuentra en el propio dispositivo y que ha sido «entrenada con más 100.000 imágenes que fueron etiquetadas manualmente«. Dicha red neuronal identifica «cada píxel de la fotografía» como «cielo» o «no cielo», y oscurece las regiones adecuadas según la escena.

En esta ampliación de esta imagen puede verse la diferencia entre una fotografía nocturna y la obtenida con el modo «Astrofotografía».

Además, afirman desde Google que este proceso permite reducir el ruido del cielo y «aumentar selectivamente el contraste» para resaltar nubes, gradientes de color o, por supuesto, las estrellas. Y si bien funciona, tiene algunas limitaciones técnicas. Una de ellas, por ejemplo, es que cuando el rango de brillo entre los elementos más y menos iluminados de la escena es superior a 500.000:1 no pueden capturar ambos.

Más información | Google