Hoy se ha anunciado el lanzamiento de SAM 3 y SAM 3D, las nuevas incorporaciones a la colección Segment Anything. Estos modelos avanzados prometen revolucionar las herramientas creativas en los medios al simplificar la edición de videos y ofrecer nuevas formas de interactuar y comprender el mundo visual.
SAM 3 permite la detección y seguimiento de objetos en imágenes y videos mediante el uso de indicaciones escritas y visuales. A diferencia de sus predecesores, SAM 3 introduce la capacidad de segmentación utilizando descripciones textuales detalladas. Esta tecnología soluciona la limitación tradicional de los modelos de IA, que solían tener dificultades para asociar con precisión el lenguaje con elementos visuales específicos. Ahora, SAM 3 puede segmentar conceptos más complejos, como «gorras de béisbol rojas», lo que amplía considerablemente las posibilidades creativas. En la aplicación de creación de videos Edits, el uso de SAM 3 permitirá aplicar efectos a personas u objetos específicos dentro de los videos.
Por otro lado, SAM 3D ofrece la capacidad de reconstruir objetos en 3D a partir de una sola imagen. Consta de dos modelos de código abierto que permiten la reconstrucción de objetos y escenas, así como la estimación de formas humanas. Esta tecnología tiene el potencial de avanzar en campos como la robótica y la medicina deportiva, además de ofrecer múltiples aplicaciones creativas. Con SAM 3D, se introduce la función «Ver en la habitación» en Marketplace de Facebook, que ayuda a los usuarios a visualizar cómo encajarán ciertos elementos decorativos en sus espacios antes de comprarlos.
Ambos modelos están disponibles en la nueva plataforma Segment Anything Playground, donde los usuarios, sin necesidad de conocimientos técnicos, pueden experimentar con estas tecnologías. A través de esta plataforma, es posible subir imágenes o videos y utilizar frases cortas para segmentar objetos o aplicar efectos 3D.
Con esta iniciativa, se comparten también los pesos del modelo de SAM 3 y nuevos conjuntos de datos de evaluación para facilitar la personalización y el ajuste fino del modelo. Asimismo, se proporcionan puntos de control y código de inferencia para SAM 3D, estableciendo un nuevo estándar en la reconstrucción en 3D que supera los benchmarks existentes y se adentra en una comprensión más profunda del mundo físico.
La comunidad creativa y científica está invitada a explorar estas herramientas innovadoras que empoderan y desafían los límites de lo posible, abriendo nuevos horizontes en el ámbito de la inteligencia artificial.
Fuente: Zona de prensa de Meta.
