¿Cuál es el mejor software para convertir videos a modelos 3D para videojuegos?

Realmente no hay tal cosa. El proceso es un poco más complicado.

Mis compañeros en Ten24 tienen un estudio que convierte fotografías en modelos 3D (para videojuegos)

Ten24 | Antics 3D

El estudio se ve así. Se utiliza principalmente para capturar personajes. No se usa a menudo para objetos, porque es más fácil y más barato modelar cosas a mano.


Cada una de esas cajas es una cámara fotográfica Canon SLR. Para crear un modelo de buena calidad, necesita más que un poco de video. Necesita imágenes fijas de alta resolución desde casi todos los ángulos.

Toman la secuencia de imágenes fijas de las cámaras y utilizan un software de fotogrametría comercial para procesar las imágenes resultantes en una sola malla. Pero estas mallas en bruto tienden a ser ruidosas, densas y exactamente el tipo incorrecto de cosas que necesitas para los juegos.

La malla en bruto se vuelve a topologizar, a mano, en una malla que se puede usar en el juego. Creo que usan Modo para hacer este paso.

¿Vídeo a modelos 3d casi usables?

¿Algún video? No me doy cuenta de nada ni remotamente así, porque la idea es absurda.

Hay algunas aplicaciones que te permiten realizar grabaciones de un objeto en un giradiscos y las convertirá a modelos en 3D, de las que tengo conocimiento es http://www.123dapp.com/catch&nbsp ; por autodesk.

También encontré este tutorial sobre formas de código abierto para hacer esto.
Fotogrametría de código abierto: Ditching 123D Catch

Cualquier software como ese no creará modelos listos para el juego, especialmente si pretendes animarlos. Van a ser demasiado altos y se puede esperar que la topología sea una mierda completa para la deformación. La cantidad de tiempo que le llevará re-topologizarlo para la animación, también puede reconstruirlo.

Independientemente del software que elija, necesitarán una gran cantidad de limpieza.

En cuanto a cuestiones legales, no creo que haya ninguna para usarlas, siempre que sea el propietario de las imágenes de origen de las que genere los modelos.

La idea no es “absurda” como algunas personas han dicho a continuación. Esa persona es evidentemente ignorante del trabajo que realizan los investigadores en USC Creative: https://arxiv.org/pdf/1612.00523

Otro grupo ha usado el aprendizaje automático para hacer esencialmente lo mismo con las voces de las personas: WaveNet: un modelo generativo para audio en bruto | Mente profunda

Espero que los modelos 3D completos del análisis de video / foto estén listos para el horario estelar en el SIGGRAPH de este año.

Aclamaciones,

Ben

La mejor pieza de software para esto es la que reside entre los oídos de un artista. El código no está a la altura de esta tarea todavía.