Facebook quiere construir un dispositivo de RA para potenciar la audición

Facebook cambia el nombre de Oculus por el de Facebook Reality Labs. El 16 de septiembre se haran publicos mas detalles sobre este movimiento tan controversial Oculus

Las gafas de Facebook, crearían un HRTF personalizado a partir de una fotografía

El equipo de investigación de Facebook Reality Labs (FRL) compartió hoy algunas de sus últimas iniciativas de audio. El grupo tiene como objetivo incorporar tecnologías en unos auriculares de Realidad Aumentada (RA) que potenciarán tu audición al facilitar el aislamiento del sonido de tu conversación en un entorno ruidoso y poder reproducir sonidos virtuales que parecen provenir del mundo real alrededor tuyo.

Una HRTF (Función de Transferencia Relacionada con la Cabeza) personalizada, una versión digital de la forma única en que cada persona escucha el sonido en función de la forma de su cabeza y orejas, es clave para brindar tales experiencias, pero el proceso es lento y costoso. El equipo está investigando una solución escalable que generaría un HRTF preciso a partir de una simple fotografía de su oído.

Facebook Reality Labs será el nuevo nombre de Oculus

Facebook Reality Labs es el nombre recientemente adoptado por el equipo de Facebook que está creando tecnologías inmersivas (incluidos los auriculares Oculus). Facebook Reality Labs Research (FRLR) es la rama de investigación y desarrollo.

Hoy, Facebook Reality Labs Research compartió una actualización sobre una serie de iniciativas de investigación de audio inmersivo en curso, diciendo que el trabajo está “directamente conectado con el trabajo de Facebook para ofrecer gafas de RA“, aunque parte del trabajo también es ampliamente aplicable a la realidad virtual.

Uno de los objetivos del equipo es recrear sonidos virtuales que son “perceptualmente indistinguibles” del sonido de un objeto o persona real en la misma habitación que usted, es decir, el audio espacial.

Para lograr ese objetivo, los investigadores dicen que hay dos desafíos clave: comprender las características auditivas únicas del entorno del oyente y comprender la forma única en que el oyente escucha los sonidos en función de su fisiología.

La comprensión de las propiedades acústicas de la habitación (cómo los sonidos resuenan en todas partes) se puede hacer estimando cómo debería sonar la habitación en función de la geometría que ya está mapeada por los sensores de seguimiento de los auriculares.

En combinación con la inteligencia artificial capaz de estimar las propiedades acústicas de superficies específicas en la habitación, una idea aproximada de cómo se propagaría un sonido real a través del espacio puede usarse para hacer que los sonidos virtuales parezcan que realmente provienen del interior de la misma habitación.

Los investigadores de Facebook también dicen que esta información podría agregarse a LiveMaps, una copia de realidad aumentada del mundo real que Facebook está construyendo, y ser recuperada por otros dispositivos en el mismo espacio de manera que la estimación acústica podría mejorarse con el tiempo a través de la multitud datos obtenidos.

El segundo gran desafío es comprender la forma única en que todos escuchan el mundo en función de la forma de su cabeza y orejas. La forma de su cabeza y oídos no solo “colorea” la forma en que escucha, también es fundamental para su sentido de identificar de dónde provienen los sonidos a su alrededor. Si tomara prestados los oídos de otra persona por un día, le resultaría más difícil determinar de dónde provienen exactamente los sonidos.

La ciencia de cómo el sonido interactúa con oídos de diferentes formas se comprende lo suficientemente bien como para poder representarla con una función numérica compacta, llamada Función de Transferencia relacionada con la Cabeza (HRTF). Pero medir con precisión el HRTF de un individuo requiere herramientas especializadas y un procedimiento de calibración prolongado, similar a que un médico te haga una revisión de los ojos, lo que hace que no sea práctico escalar para muchos usuarios.

John Carmack hablará en vivo en la Facebook Connect

Con ese fin, Facebook Reality Labs Research dice que espera “desarrollar un algoritmo que pueda aproximarse a un HRTF personalizado viable a partir de algo tan simple como una fotografía de tus oídos”.

Para demostrar el trabajo que el equipo ha realizado en el frente del audio espacial, creó una especie de minijuego en el que los participantes que llevan un par de auriculares con seguimiento se paran en una habitación con varios altavoces reales repartidos por todas partes. Luego, el equipo reproduce un sonido y le pide al participante que elija si el sonido se produjo virtualmente y se reprodujo a través de los auriculares, o si se reprodujo a través del altavoz real de la habitación. El equipo dice que los resultados de muchos participantes muestran que los sonidos virtuales son casi indistinguibles de los sonidos reales.

Si bien los sonidos virtuales “perceptualmente indistinguibles” pueden hacer que suene como si tu amigo estuviera a tu lado, incluso cuando se comunican a través de un auricular en el otro lado del país, Facebook Reality Labs Research también quiere usar audio para mejorar la realidad, conversaciones cara a cara.

Oculus requerirá una cuenta de Facebook para poder utilizar sus dispositivos

Una forma en que lo están haciendo es creando una cancelación de ruido sensible al contexto. Si bien la tecnología de cancelación de ruido actual tiene como objetivo reducir todo el sonido exterior, la cancelación de ruido sensible al contexto intenta aislar los sonidos externos que desea escuchar mientras reduce el resto.

Para hacer esto, los investigadores de Facebook construyeron prototipos de auriculares y gafas con varios micrófonos, seguimiento de la cabeza y seguimiento de los ojos. Las gafas controlan los sonidos alrededor del usuario y también hacia dónde miran. Un algoritmo tiene como objetivo utilizar la información para averiguar el tema que el usuario quiere escuchar, ya sea la persona que está frente a él en la mesa o un televisor en la esquina de la habitación. Esa información se envía a la parte de procesamiento de audio del algoritmo que intenta filtrar los sonidos entrantes para resaltar los sonidos específicos del sujeto mientras reduce los sonidos de todo lo demás.

Facebook tiene claro que está trabajando en esta tecnología con el objetivo de llevarla eventualmente a los dispositivos AR y VR. Y aunque los investigadores dicen que han probado muchos de estos conceptos, todavía no está claro cuánto tiempo pasará hasta que se puedan sacar del laboratorio y llevarlos a los auriculares de uso diario.