VMware SafeCoder: asistente de código IA sin salir de la empresa

VMware, en colaboración con Hugging Face, lanzó en diciembre de 2023 SafeCoder, un asistente de programación basado en IA diseñado para funcionar íntegramente dentro de la infraestructura privada de la empresa. Sin envíar una sola línea de código fuente a servidores externos. La propuesta es directa: traer al entorno corporativo lo que GitHub Copilot ofrece en la nube, pero con el código propietario siempre bajo control del cliente.

El producto se presentó en VMware Explore Las Vegas en agosto de 2023 y llegó al mercado a finales de ese año, cuando la demanda empresarial de soluciones de IA que no comprometieran la confidencialidad del código ya era considerable. Para equipos de desarrollo en banca, farmacia, defensa o cualquier sector con requisitos estrictos de privacidad, el modelo «IA en la nube» no es siempre una opción viable.

StarCoder como base: 15.500 millones de parámetros

SafeCoder se construye sobre StarCoder, el modelo de lenguaje de gran escala (LLM) desarrollado por BigCode en colaboración con Hugging Face. StarCoder tiene 15.500 millones de parámetros y fue entrenado en The Stack, un corpus de código fuente procedente de repositorios GitHub bajo licencias permisivas, que cubre más de 80 lenguajes de programación. El equipo de BigCode filtró el conjunto de entrenamiento para reducir la presencia de código bajo licencias comerciales restrictivas, lo que facilitó su uso empresarial.

VMware añade sobre esa base la posibilidad de hacer fine-tuning con el código propio de la organización. El modelo aprende los estándares internos, las convenciones de nomenclatura y los patrones habituales de cada equipo, lo que en la práctica lo hace más útil que un asistente genérico en tareas de completado y revisión de código.

¿Cómo funciona en la práctica?

SafeCoder se despliega como un servidor de inferencia dentro de la red corporativa. El desarrollador instala una extensión en Visual Studio Code que se conecta a ese servidor local. Las peticiones de completado de código van al modelo interno, y la respuesta llega en tiempo real sin que los datos abandonen la infraestructura de la empresa. El comportamiento es similar al de Copilot o Tabnine en la experiencia de uso, pero el tráfico no sale al exterior.

Este patrón de procesamiento local no es exclusivo del código: otras herramientas como reader.me también han adoptado el enfoque de procesar en el dispositivo sin que los archivos salgan al exterior, lo que indica un interés creciente por alternativas que no dependan de servidores de terceros.

Ventajas sobre las alternativas en la nube

  • Privacidad del código fuente: el código propietario no sale de la red corporativa en ningún momento.
  • Personalización con código interno: el modelo se puede afinar con los repositorios y convenciones de la propia empresa.
  • Sin costes de API por uso: no hay facturación por tokens consumidos; el gasto es el de la infraestructura propia.
  • Cumplimiento normativo simplificado: al no transferir datos a terceros, los requisitos de privacidad (GDPR, políticas internas) son más fáciles de cumplir.

El contexto del mercado en diciembre de 2023

El lanzamiento de SafeCoder llega en un momento en que las empresas empezaban a cuestionar si era prudente enviar código fuente a modelos de IA en la nube. Samsung prohibió internáamente el uso de ChatGPT en mayo de 2023 después de que varios empleados filtraran accidentalmente código propietario. Ese incidente aceleró la búsqueda de alternativas que mantuvieran la productividad sin el riesgo de fuga de información.

El debate entre apertura y control en los modelos avanzados no ha hecho más que intensificarse desde entonces. La tendencia actual muestra que los modelos más avanzados se distribuyen con acceso vigilado, lo que refuerza el atractivo de propuestas como SafeCoder para organizaciones que necesitan control total sobre el entorno de inferencia.

Limitaciones a tener en cuenta

SafeCoder requiere infraestructura propia con GPU suficiente para ejecutar un modelo de 15.500 millones de parámetros. No es una solución para pequeñas empresas sin capacidad de computación interna. Además, el modelo base StarCoder, aunque competente en un amplio rango de lenguajes, no alcanza los resultados de los modelos más grandes en tareas de razonamiento complejo. El coste de la infraestructura GPU interna puede superar al de una suscripción a Copilot en equipos pequeños, por lo que la propuesta tiene más sentido cuanto mayor sea el equipo y más sensible el código.

Disponibilidad

SafeCoder está disponible para clientes empresariales de VMware (adquirida por Broadcom en noviembre de 2023). La documentación técnica y el modelo StarCoder están disponibles en Hugging Face. VMware ofrece la solución empaquetada con soporte comercial y herramientas de despliegue para su integración en entornos vSphere.

Preguntas frecuentes sobre VMware SafeCoder

¿En qué modelo de IA se basa VMware SafeCoder?
En StarCoder, un LLM de 15.500 millones de parámetros desarrollado por BigCode y Hugging Face, entrenado en más de 80 lenguajes de programación con código bajo licencias permisivas.

¿El código fuente sale de la empresa cuando se usa SafeCoder?
No. SafeCoder opera como servidor de inferencia dentro de la red corporativa. Las peticiones de completado de código se procesan localmente y ningún dato abandona la infraestructura de la empresa.

¿Se puede personalizar el modelo con código interno?
Sí. VMware ofrece la opción de hacer fine-tuning de StarCoder con el código propio de la organización, adaptando el modelo a los estándares y convenciones de codificación del equipo.

¿Con qué editores es compatible SafeCoder?
En su lanzamiento incluye una extensión para Visual Studio Code. La integración funciona mediante llamadas al servidor de inferencia local, por lo que en principio es extensible a otros entornos que soporten LSP o extensiones similares.

¿Necesita infraestructura GPU propia?
Sí. Ejecutar un modelo de 15.500 millones de parámetros requiere hardware de cómputo dedicado. No es una opción para equipos sin capacidad de infraestructura propia.

Fuente: Hugging Face — StarCoder

Scroll al inicio