En el marco de un experimento técnico, Nvidia demostró un resultado impresionante: la precisión del modelo Cosmos 3 Nano en una prueba con cuatro opciones de respuesta aumentó del 54,41% al 93,35% en menos de 24 horas. La característica clave fue que todas las etapas de ajuste fino fueron realizadas por el agente de IA Codex, que actuó según instrucciones predefinidas en el ecosistema de herramientas TAO.

El experimento se llevó a cabo en el conjunto de datos especializado Woven Traffic Safety de Woven by Toyota, que contiene grabaciones de video de situaciones de tráfico y preguntas con cuatro opciones de respuesta. Para el entrenamiento y la validación se utilizaron más de 8000 ejemplos.

Sin adaptación adicional, el modelo Cosmos 3 Nano demostró solo un 54,41% de respuestas correctas. Los desarrolladores encargaron al agente Codex evaluar el rendimiento base y realizar un ajuste fino utilizando el método de adaptación de bajo rango (LoRA). El agente seleccionó de forma autónoma la instrucción adecuada Cosmos-reason, analizó las anotaciones del conjunto de datos e identificó el parámetro faltante de frecuencia de cuadros. Después de corregir la configuración, cargó los pesos del modelo, preparó los ajustes y ejecutó el contenedor de entrenamiento.

https://youtu.be/9AQkVbx3fKA?si=6y1p3qZHRgeqzuEq

El método LoRA, a diferencia del ajuste fino completo, no modifica todos los parámetros del modelo, sino que entrena pequeños adaptadores adicionales. Según los cálculos de Nvidia, este enfoque requirió aproximadamente siete veces menos horas de GPU que el ajuste completo de Cosmos 3 Nano. Una ejecución de LoRA en ocho aceleradores NVIDIA A100 con 80 GB de memoria tomó alrededor de 30 minutos, aumentando la precisión al 87,14%.

En la segunda etapa, los desarrolladores ejecutaron TAO AutoML para la selección automática de hiperparámetros: tasa de aprendizaje, tamaño de lote y parámetros de LoRA. El sistema realizó 43 pruebas paralelas, y el mejor resultado con optimización bayesiana alcanzó el 93,35%. Esta etapa tomó 19,5 horas en varios nodos A100 en Oracle Cloud Infrastructure.

Es importante destacar que el agente Codex no solo analizó los resultados, sino que seleccionó el flujo de trabajo, verificó los datos, corrigió configuraciones, ejecutó contenedores y comparó métricas. Aunque su autonomía estaba limitada por instrucciones preparadas previamente, este nivel de automatización abre nuevos horizontes para escalar el ajuste fino de modelos de IA.

Sin embargo, cabe señalar que el valor del 93,35% refleja la precisión en la parte de validación de un conjunto de datos de investigación. No es una medida de seguridad para la conducción autónoma ni confirma la capacidad del modelo para tomar decisiones en tiempo real. Es solo una demostración de la efectividad del enfoque automatizado para el ajuste fino.

Anteriormente, investigadores de Nvidia, Carnegie Mellon University y la Universidad de California en Berkeley presentaron el marco ENPIRE, que permite a los agentes de IA para programación mejorar las políticas de control de robots en equipos reales.

Comentario analítico: Este experimento es un paso importante hacia la democratización del ajuste fino de modelos grandes. La automatización de procesos que antes requerían conocimientos profundos y trabajo manual de ingenieros puede acelerar significativamente la implementación de la IA en áreas especializadas, como la conducción autónoma. Sin embargo, el desafío clave sigue siendo la generalización de estos resultados a escenarios reales no controlados.