La segmentación – la identificación de qué píxeles de una imagen pertenecen a un objeto – es crucial para tareas como el análisis de imágenes científicas o la edición de fotos. El Segment Anything Model (SAM), lanzado el año pasado, inspiró nuevas herramientas de edición de imágenes con inteligencia artificial en nuestras aplicaciones, como Backdrop y Cutouts en Instagram. SAM también ha catalizado diversas aplicaciones en la ciencia, la medicina y numerosas otras industrias. Por ejemplo, SAM ha sido utilizado en la ciencia marina para segmentar imágenes de sonar y analizar arrecifes de coral, en el análisis de imágenes satelitales para el alivio de desastres, y en el campo médico, segmentando imágenes celulares y ayudando a detectar el cáncer de piel.
Nuestro nuevo Segment Anything Model 2 (SAM 2) extiende estas capacidades al video. SAM 2 puede segmentar cualquier objeto en una imagen o video, y seguirlo consistentemente a través de todos los fotogramas de un video en tiempo real. Los modelos existentes han fallado en habilitar esto, ya que la segmentación en video es significativamente más desafiante que en imágenes. En los videos, los objetos pueden moverse rápidamente, cambiar de apariencia y ser ocultados por otros objetos o partes de la escena. Hemos resuelto muchos de estos desafíos al construir SAM 2.
Creemos que esta investigación puede desbloquear nuevas posibilidades, como una edición y generación de video más fácil, y permitir la creación de nuevas experiencias en realidad mixta. SAM 2 también podría ser utilizado para rastrear un objeto objetivo en un video para ayudar en la anotación más rápida de datos visuales para entrenar sistemas de visión por computadora, incluyendo los utilizados en vehículos autónomos. También podría habilitar formas creativas de seleccionar e interactuar con objetos en tiempo real o en videos en vivo.
Fieles a nuestro enfoque de ciencia abierta, estamos compartiendo nuestra investigación sobre SAM 2 para que otros puedan explorar nuevas capacidades y casos de uso. Estamos emocionados de ver qué hace la comunidad de IA con esta investigación.
Fuente: Zona de prensa de Meta.