Cientistas do laboratório Skoltech ADASE (Advanced Data Analytics em Ciência e Engenharia) descobriram uma maneira de melhorar a resolução do mapa de profundidade, o que deve tornar a realidade virtual e a computação gráfica mais realistas. Eles apresentaram seus resultados de pesquisa na prestigiada Conferência Internacional sobre Visão Computacional 2019 na Coréia.
Ao tirar uma foto, capturamos informações visuais sobre objetos ao nosso redor, com os diferentes pixels da imagem contendo as cores das respectivas partes do objeto. Mapas de profundidade são fotos que capturam informações espaciais e seus pixels contêm as distâncias da câmera até os respectivos pontos no espaço. Aplicativos como computação gráfica e realidade aumentada ou virtual usam informações espaciais para reconstruir a forma de um objeto 3D e, por exemplo, exibi-la na tela do computador.
Uma das questões das câmeras de profundidade é que sua resolução , ou seja, a frequência espacial das medições de distância, é insuficiente para restaurar a forma de alta qualidade do objeto, fazendo com que as reconstruções virtuais pareçam irreais.
Os pesquisadores enfrentam o desafio de encontrar uma maneira de obter mapas de profundidade de alta resolução a partir de mapas de profundidade de baixa resolução.
Cientistas do laboratório Skoltech ADASE propuseram avaliar a qualidade da reconstrução usando um novo método intimamente relacionado à percepção humana. O treinamento de uma rede neural artificial com essa técnica de avaliação da qualidade produz um método de super-resolução de mapas de profundidade que supera amplamente os métodos existentes na qualidade visual do resultado.
"Ao lidar com mapas de profundidade super resolvidos, deve-se avaliar a qualidade do resultado para comparar primeiro o desempenho de diferentes métodos e, em segundo lugar, usá-lo como feedback para melhorias adicionais. A maneira mais fácil é comparar o resultado com alguns A grande maioria dos trabalhos sobre super-resolução de mapas de profundidade usados para esse fim significa a diferença entre os valores de super-resolução e de profundidade de referência.Este método não reflete a qualidade visual da reconstrução 3D obtida a partir da super-resolução. mapa de profundidade resolvido ", explica o primeiro autor do estudo, Oleg Voynov.
"Propomos um método completamente diferente, que aproveita a percepção humana da diferença entre as visualizações das reconstruções em 3D obtidas de mapas super-resolvidos e de profundidade de referência. Os gráficos que você obtém com esse método parecem altamente realistas. Esperamos que nosso método encontrará uso extensivo ", diz um dos desenvolvedores, Alexey Artemov.
