Cómo Apple no quería sacrificar la vista previa en vivo al crear el modo cinemático (y otras cositas)

Los ingenieros de Apple explican en una nueva entrevista cómo aprovecharon toda la potencia que ofrecen los últimos chips de Apple para crear el nuevo modo de disparo cinematográfico en el iPhone 13 que no sacrificaría la vista previa en vivo, y todo eso con Dolby Vision cuadro por cuadro. Graduación de color HDR.

DESTACADOS DE LA HISTORIA:

El modo cinemático no sería posible sin el nuevo chip A15
Utiliza el motor neuronal para identificar personas y realizar otros trucos de IA.
Además, cada fotograma se somete a la gradación de color Dolby Vision
Todo eso se ejecuta en tiempo real, con vista previa en vivo en la aplicación Cámara

Apple comparte lo que se necesitó para crear el modo cinemático del iPhone 13

Kaiann Drance, vicepresidente mundial de marketing de productos iPhone de Apple, junto con Johnnie Manzari, diseñador del equipo de interfaz humana de la compañía, se sentaron con Matthew Panzarino de TechCrunch para hablar sobre la tecnología detrás del modo cinemático, la nueva función principal disponible en todo el mundo. todos los nuevos modelos de iPhone 13.

El modo cinemático se ha descrito como modo de retrato para video. Con la detección de la mirada, el modo cinemático enfoca automáticamente a los sujetos a medida que interactúan con la cámara durante la toma. También puede tomar el control manual del efecto de profundidad de campo mientras dispara e incluso cambiar el efecto de profundidad de campo después en la aplicación Fotos.

Para conservar la capacidad de ajustar el bokeh en la posproducción, cada cuadro del video filmado con el modo cinemático viene con su propio mapa de profundidad.

Sabíamos que llevar una profundidad de campo de alta calidad al video sería mucho más desafiante [que el modo retrato]. A diferencia de las fotos, el video está diseñado para moverse mientras la persona filma, incluido el movimiento de la mano. Y eso significaba que necesitaríamos datos de profundidad de mayor calidad para que el modo cinemático pudiera funcionar con sujetos, personas, mascotas y objetos, y necesitábamos esos datos de profundidad continuamente para estar al día con cada fotograma. Representar estos cambios de enfoque automático en tiempo real es una gran carga de trabajo computacional.

El equipo aprovechó toda la potencia del nuevo chip A15 Bionic de Apple, junto con el acelerador de aprendizaje automático de la empresa denominado motor Neural, para poder codificar vídeo en modo cinemático en Dolby Vision HDR. Otra cosa que fue una prioridad para el equipo es la vista previa en vivo del modo cinemático en el visor.

Los equipos de Apple hablaron con algunos de los mejores directores de fotografía y operadores de cámara del mundo. Además, fueron al cine para ver ejemplos de películas a través del tiempo. Se hizo evidente para ellos que el enfoque y los cambios de enfoque «eran herramientas fundamentales para contar historias, y que nosotros, como equipo multifuncional, necesitábamos comprender con precisión cómo y cuándo se usaban».

También fue realmente inspirador poder hablar con los directores de fotografía sobre por qué usan poca profundidad de campo. Y para qué sirve en la narración. Y la cosa con la que nos fuimos es, y esto es en realidad una idea bastante atemporal: necesitas guiar la atención del espectador.

Al explicar por qué la precisión es clave, Manzari señaló que Apple aprendió durante el desarrollo de la función Modo Retrato que simular el bokeh es realmente difícil. “Un solo error: estar desviado por unas pocas pulgadas … esto fue algo que aprendimos del Modo Retrato”, dijo. “Si estás en la oreja y no estás en sus ojos. Es desechable.

El modo cinemático también utiliza datos de sensores como el acelerómetro:

Incluso mientras dispara, el poder es evidente ya que la vista previa en vivo le brinda una vista bastante precisa de lo que va a ver. Y mientras dispara, el iPhone utiliza las señales de su acelerómetro para predecir si se está acercando o alejando del sujeto que ha fijado para que pueda ajustar rápidamente el enfoque por usted.

Y esto sobre la detección de la mirada:

Al mismo tiempo, está usando el poder de la «mirada». Esta detección de la mirada puede predecir a qué sujeto desea pasar a continuación y si una persona en su escena mira a otra o a un objeto en el campo, el sistema puede enfocar automáticamente a ese sujeto.

Y debido a que la cámara escanea la escena, también puede hacer predicciones de sujetos:

Un extractor de enfoque no espera a que el sujeto esté completamente encuadrado antes de hacer el bastidor, está anticipando y ha comenzado el bastidor, incluso antes de que la persona esté allí. Y nos damos cuenta de que al ejecutar el sensor completo podemos anticipar ese movimiento. Y, para cuando la persona aparece, ya está enfocada en ella.

Informaremos más sobre el modo cinemático cuando tengamos la oportunidad de jugar con él.

El (los) problema (s) con el modo cinemático

Como una función que requiere muchos recursos, el modo cinemático no está exento de problemas iniciales .

Al igual que los primeros días del modo Retrato nos trajeron cabello borroso y halo alrededor de los sujetos, estamos viendo problemas similares con el Modo cinemático. E incluso con todo el poder del silicio de Apple a su disposición, el modo cinemático se limita a disparar en una resolución de 1080p a 30 fps.

Joanna Stern de The Wall Street Journal es la única crítica importante de tecnología que se ha centrado casi exclusivamente (juego de palabras) en el modo cinemático en su revisión del iPhone 13 Pro . Con todo, ella no cree que Cinematic Mode esté listo para el horario estelar todavía.

Con los videos, Dios mío, estaba realmente entusiasmado con el nuevo modo cinemático. Y Dios mío, fue una decepción. La función, que podría llamarse «Modo de retrato para video», agrega un desenfoque artístico alrededor del objeto enfocado. Lo mejor es que puedes tocar para volver a enfocar mientras disparas (e incluso hacerlo después en la aplicación Fotos).

Excepto que, como puede ver en mi video, el software lucha por saber dónde comienzan y terminan los objetos. Se parece mucho a los primeros días del Modo Retrato, pero es peor porque ahora el desenfoque se mueve y se deforma. Grabé imágenes en las que el software perdió partes de la nariz y los dedos, y luché con elementos como un teléfono o una cámara.

Para ver el verdadero potencial de estas características, asegúrese de ver dos videos musicales que el camarógrafo Jonathan Morisson filmó en modo cinemático con la cámara de su iPhone 13 Pro, sin usar equipos adicionales como gimbals. Espere unos años y estaremos grabando videos de profundidad de campo con nuestros iPhones en 4K Dolby Vision HDR a sesenta cuadros por segundo.