SAM 3.1 de Meta: seguir 16 objetos a la vez en vídeo y a doble velocidad
Meta acaba de soltar SAM 3.1, una actualización de su Segment Anything Model que, sobre el papel, no parece gran cosa: ni nuevo número de versión rimbombante ni vídeo de keynote. Pero para los que trabajamos con vídeo e imagen, hay un detalle que sí importa: ahora puede seguir hasta 16 objetos en una sola pasada y procesa vídeo al doble de velocidad. Y lo mejor, es un reemplazo directo del anterior, así que no toca reescribir nada.
Vamos a aterrizarlo, porque entre la jerga de 'multiplexing' y 'global reasoning' se esconde algo práctico.
Qué ha pasado
SAM 3.1 es una mejora de SAM 3, el modelo que Meta presentó hace unos meses para detectar, segmentar y rastrear objetos en imágenes y vídeo. La novedad central es el llamado multiplexado de objetos: hasta ahora, cada objeto que querías seguir en un vídeo necesitaba su propia pasada por el modelo. Si seguías cinco objetos, cinco pasadas. Eso consume GPU y memoria a base de bien.
Con SAM 3.1, el modelo procesa hasta 16 objetos en una única pasada. Según Meta, esto duplica la velocidad en vídeos con un número medio de objetos, pasando de 16 a 32 fotogramas por segundo en una sola GPU H100. Traducido: tracking en tiempo real en escenas complejas y, ojo a esto, menos exigencia de hardware. Eso abre la puerta a que aplicaciones que antes pedían una bestia de servidor empiecen a funcionar en equipos más modestos.
Meta destaca también que este enfoque mejora la precisión en escenas con mucha gente o muchos objetos, precisamente por procesarlos juntos en lugar de por separado.
Los pesos del modelo están disponibles para descargar, el código sigue abierto y hay un Playground donde probarlo sin instalar nada. Es decir: continúa la línea de Meta de publicar estas piezas en abierto, que para los freelancers es oro.
Por qué importa si trabajas con IA
Aquí es donde separo el grano de la paja. SAM no es un modelo que vayas a usar para escribir textos ni para responder emails. Es una herramienta de visión por ordenador: identifica y aísla objetos o personas dentro de imágenes y vídeos. Si tu trabajo no toca audiovisual, esto te pilla lejos.
Pero si haces edición de vídeo, motion graphics, contenido para redes, e-commerce con fotos de producto o cualquier cosa que implique 'recortar', 'enmascarar' o 'seguir' algo en pantalla, esto sí te afecta. Lo que antes requería rotoscopiar a mano fotograma a fotograma (un infierno conocido por cualquiera que haya tocado After Effects) se está volviendo cuestión de un prompt.
Meta ya lo está metiendo en Edits de Instagram para aplicar efectos a personas u objetos concretos, y en Marketplace para el 'View in Room' que coloca un mueble en tu salón antes de comprarlo. Esos son los casos de uso reales que veremos filtrarse a las herramientas que usamos los demás.
La clave de SAM 3.1 frente a la versión anterior no es 'hace cosas nuevas', sino 'hace lo mismo más barato y más rápido'. Y eso, en producción real, es lo que decide si una función llega o no a una app comercial.
Qué cambia de verdad: antes y ahora
| Aspecto | SAM 3 | SAM 3.1 |
|---|---|---|
| Objetos por pasada | 1 por objeto | hasta 16 a la vez |
| Velocidad (H100) | 16 fps | 32 fps |
| Tracking en tiempo real | Limitado en escenas densas | Viable en escenas complejas |
| Requisitos de hardware | Más exigentes | Reducidos |
| Compatibilidad | — | Reemplazo directo de SAM 3 |
| Disponibilidad | Pesos y código abiertos | Pesos y código abiertos |
La fila de 'reemplazo directo' es la que más agradece quien ya tenía algo montado: cambias el checkpoint y listo, sin reescribir el pipeline.
Mi opinión
Me gustan estos lanzamientos porque son honestos. No venden una revolución, venden eficiencia, y la eficiencia es lo que de verdad mueve la aguja cuando montas un negocio pequeño. Doblar el rendimiento y bajar requisitos de GPU significa que tareas de vídeo con IA dejan de necesitar presupuesto de gran estudio.
Dicho esto, seamos realistas sobre quién lo va a tocar directamente. Un freelancer medio o una PYME no se descarga un checkpoint de Meta y se pone a programar inferencia en una H100 (que, por cierto, no tiene en casa). Lo que pasará es que estas mejoras se cuelan en las herramientas que sí usamos: editores de vídeo, plugins, apps de generación de contenido. El beneficio nos llega indirecto, vía producto, dentro de unos meses.
El matiz que sí me parece estratégico es que Meta lo mantenga abierto. En un panorama donde casi todo se cierra detrás de APIs de pago, tener un modelo de segmentación puntero descargable cambia el equilibrio: los desarrolladores independientes pueden construir encima sin pedir permiso ni pagar peaje por llamada. Eso, a medio plazo, abarata las herramientas que acabaremos contratando.
Mi consejo práctico: no te obsesiones con instalar SAM 3.1 tú mismo salvo que tengas perfil técnico y casos de uso de vídeo a volumen. Lo que sí merece la pena es entrar al Segment Anything Playground, jugar diez minutos y entender qué nivel de precisión ofrece hoy el 'recortar cualquier cosa'. Porque cuando esa capacidad aterrice en tu editor favorito, querrás haberla visto venir.