Saltar al contenido
nuDefend
← Volver al blog

Dos fallos en LiteLLM en una semana: cómo crear una lista de destinos para las conexiones salientes de un servidor que ejecuta una pasarela de IA

·13 min de lectura

Si ejecutas LiteLLM o una pasarela similar que dirige las solicitudes a proveedores de modelos, es probable que el servidor almacene todas las claves de API de los proveedores, la clave maestra del proxy y la contraseña de la base de datos. En una sola semana, LiteLLM publicó información sobre dos fallos. El primero fue una versión maliciosa distribuida a través del proceso de publicación de la empresa. El segundo fue una vulnerabilidad crítica en el propio proxy. Las instrucciones de LiteLLM incluyen sustituir las claves y fijar las versiones. Son medidas necesarias, pero responden a un incidente que ya ha ocurrido. Antes del próximo incidente conviene plantearse otra pregunta: a qué destinos necesita conectarse el servidor y qué ocurre cuando intenta conectarse a otro.

Una semana, tres publicaciones

21 de octubre: una versión maliciosa. Según el informe del incidente de LiteLLM, la infraestructura de publicación de la empresa fue comprometida. A través de ella se publicó litellm==1.107.0 en PyPI y en los registros de contenedores. La versión contenía malware compilado que roba credenciales y carga herramientas para ejecutar código de forma remota. El paquete estuvo disponible en PyPI entre las 11:39 y las 13:23 UTC. Las etiquetas v1.107.0, latest, main-latest y main-stable de Docker Hub apuntaron a la imagen infectada entre las 11:46 y las 14:20 UTC. Según la empresa, quien instalara una versión sin fijar o ejecutara una de esas etiquetas durante ese intervalo debe asumir que su entorno fue comprometido. Los clientes Enterprise que descargaron desde el registro privado no se vieron afectados.

23 de octubre: la cadena de ataque. El análisis de las causas del incidente publicado por la empresa sustituye las hipótesis iniciales. El 27 de mayo se añadió a un repositorio público un archivo de configuración que contenía una clave de administración de un despliegue interno de LiteLLM Agent Platform. Se trata de una plataforma experimental en la que agentes en la nube abren pull requests. El archivo se eliminó unas tres horas después, pero la clave no se revocó por un error humano. El 10 de octubre, el atacante la utilizó y la API de la plataforma le devolvió la configuración de los agentes. Esa configuración incluía un token de GitHub CLI de uno de los propietarios de la organización en GitHub. Con ese token, el atacante ejecutó workflows temporales que enviaron secretos de CI a un endpoint en webhook.site. Entre esos secretos había tokens de otros dos mantenedores. El 21 de octubre, el atacante modificó el workflow de publicación para que compilara desde un repositorio de una organización con un nombre similar, Berri-AI. Aprobó el paso a producción con un token y eliminó los registros de ejecución con otro. Según la empresa, en otros sistemas internos el atacante buscó principalmente tokens de API de proveedores de modelos.

Parte de la cobertura inicial, como la de Help Net Security, todavía describe tokens extraídos de los registros de un despliegue interno de LiteLLM. Esa era la hipótesis inicial. El análisis posterior establece que el primer token se obtuvo de la API de Agent Platform.

27 de octubre: una vulnerabilidad con una puntuación de 10. El aviso de seguridad GHSA-w4c7-34wj-hqm8 describe una vulnerabilidad en el proxy de LiteLLM cuando se ejecuta con una licencia Enterprise. Una solicitud no autenticada a cualquier ruta LLM del proxy puede hacer que lea un archivo local y envíe su contenido a una dirección elegida por el atacante. Según el aviso, leer un archivo como /proc/self/environ expone LITELLM_MASTER_KEY y las claves de los proveedores, lo que da al atacante acceso administrativo completo al proxy. En algunas configuraciones, el atacante puede continuar y ejecutar código Python como root. La puntuación CVSS es 10.0. Las versiones corregidas son 1.103.10, 1.104.8, 1.105.6 y 1.106.5. Los despliegues de código abierto que se ejecutan sin licencia no están afectados. El informe del incidente del 21 de octubre indicaba que el registro privado distribuía una versión que corregía una vulnerabilidad cuya divulgación estaba prevista para el 27 de octubre. Esa es la fecha en que se publicó el aviso de seguridad.

El punto en común: una conexión saliente al destino elegido por el atacante

En ambos fallos, el atacante solo obtenía un beneficio si el servidor que ejecutaba la pasarela conseguía abrir una conexión saliente al destino que él eligiera. En la vulnerabilidad, esto forma parte del mecanismo: el contenido del archivo se envía a una dirección que determina el atacante. En cuanto a la versión maliciosa, LiteLLM lo indica expresamente en sus instrucciones de limpieza: si 1.107.0 se instaló alguna vez en un servidor con acceso saliente a Internet, hay que asumir que la extracción de datos se completó.

La cobertura añade detalles sobre los canales de comunicación. Según un análisis de Socket citado en Help Net Security, los datos recopilados se cifraron y se enviaron a una dirección «healthcheck» del dominio litellm[.]dev. Un segundo componente consultaba repetidamente un archivo en GitHub, del que debía obtener un dominio para descargar y ejecutar más código Python. Según Wiz, tal como recoge esa misma cobertura, unas cuatro horas y media después de que los datos salieran de los sistemas de las víctimas, el atacante empezó a probar las credenciales de AWS robadas. También comprobó si podían utilizarse para acceder a modelos en Amazon Bedrock.

La conclusión también figura en el propio aviso de seguridad. LiteLLM recomienda varias medidas de defensa en profundidad: cargar la clave maestra desde un gestor de secretos en lugar de hacerlo desde variables de entorno, configurar una LITELLM_SALT_KEY independiente y limitar el tráfico saliente del proxy a endpoints conocidos de los proveedores.

También hay una lección sobre la fijación de versiones. El 21 de octubre, la empresa recomendó fijar la versión 1.106.2. Según el aviso de seguridad, la versión corregida en esa rama es la 1.106.5. Por tanto, quien ejecute el proxy con una licencia Enterprise y haya fijado la versión 1.106.2 está dentro del intervalo de versiones vulnerables. Fijar la versión lo protegió de un fallo y lo dejó expuesto al otro. Una lista de destinos para las conexiones salientes es pertinente para ambos fallos.

Caso por caso: qué habría bloqueado una lista de destinos

El dominio de nombre similar. El dominio litellm[.]dev incluye el nombre LiteLLM. Una lista basada en los nombres de host exactos de los proveedores que hayas configurado no lo habría incluido, salvo que alguien lo hubiera autorizado por parecer que pertenecía a LiteLLM. El mismo patrón apareció en GitHub: Berri-AI en lugar de BerriAI. Autoriza solo nombres de host que hayas comprobado, no nombres que simplemente se parezcan a uno conocido.

El archivo en GitHub. Es fácil autorizar el acceso a todo GitHub suponiendo que la pasarela necesita obtener actualizaciones desde allí. Ese permiso habría dejado abierto el canal de instrucciones del segundo componente. Comprueba si una pasarela que ya está en ejecución necesita acceder a GitHub. La compilación y la actualización pueden hacerse en otro lugar. Si existe una necesidad real, autoriza el nombre de host exacto. Recuerda que las direcciones de un servicio como GitHub se comparten entre varios servicios. Según la cobertura, el componente que roba los datos funciona también sin ese archivo. Por eso hay que cerrar ambos canales, no solo uno.

webhook.site. En este incidente, el atacante lo utilizó desde los runners de GitHub Actions, no desde una pasarela. Aun así, su uso ilustra el tipo de canal que prefieren los atacantes: un servicio genérico que recibe contenido de cualquiera que se conecte a él. Una pasarela de IA no necesita un servicio así. Los sitios para pegar y compartir texto y los servicios de captura de solicitudes pertenecen al mismo grupo. Si ejecutas tus propios runners, recuerda que también son servidores que almacenan secretos y necesitan su propia lista de destinos.

La dirección elegida por el atacante en la vulnerabilidad. Cuando se aplica una lista de destinos, las conexiones a direcciones que no figuran en ella se bloquean. Por tanto, el proxy no podrá enviar el contenido del archivo de entorno directamente a la dirección elegida por el atacante. Sin embargo, la restricción no descarta la extracción de datos a través de un destino autorizado o de DNS. La solicitud sigue llegando al proxy si este es accesible, por lo que reducir la exposición a conexiones entrantes forma parte del mismo trabajo.

Las consultas DNS. Se puede ocultar información dentro del nombre enviado en una consulta DNS. Una lista de conexiones por sí sola no lo detecta, así que también hay que limitar las consultas a los nombres que hayas autorizado.

Los límites de una lista de destinos

Una lista de destinos es una capa de protección. Para configurar el entorno correctamente, hay que saber qué no cubre:

  • La instalación pasa por un canal autorizado. Por eso, construye la imagen en una fase independiente, fíjala por digest y ejecuta la pasarela sin acceso a PyPI.
  • El código en ejecución sigue pudiendo leer. La lista determina qué sale del servidor, no qué se lee del disco y del entorno. Tras una exposición, sigue siendo necesario realizar la limpieza y sustituir las claves.
  • La restricción debe cubrir todo el entorno. Según Socket, tal como recoge Help Net Security, el código malicioso se colocó en los archivos de inicio de Python. Se ejecuta cada vez que Python arranca en el entorno infectado, aunque la aplicación no cargue LiteLLM. Ejecuta la pasarela en su propio contenedor o venv, sin otras herramientas de Python junto a ella.
  • Lo que ocurrió fuera de tu servidor requiere medidas fuera de él. La cadena de ataque empezó con una clave expuesta en un repositorio público y una API interna a la que el atacante consiguió acceder. En este caso, la solución es sustituir de inmediato las claves expuestas, usar tokens con permisos limitados y bloquear el acceso a las interfaces desde Internet.

Medidas prácticas

  • Comprueba si has estado expuesto. Ejecuta pip show litellm en cada entorno y comprueba si se ha ejecutado la imagen con el digest infectado. Busca también litellm-1.107.0.dist-info, cook.pth y sitecustomize.py. Según LiteLLM, un hallazgo confirma la exposición, pero la ausencia de hallazgos no demuestra que el entorno esté limpio. Si has estado expuesto, no empieces con pip install. Sigue las instrucciones de limpieza y sustituye todas las credenciales a las que el servidor pudiera haber accedido: el rol de IAM, las claves de los proveedores en la base de datos del proxy, la clave maestra y las claves virtuales, y la contraseña de DATABASE_URL.
  • Si tienes una licencia Enterprise, actualiza a la versión corregida de tu rama.
  • Documenta antes de redactar la lista. Observa durante un periodo los destinos a los que se conecta el proceso de la pasarela y el volumen de tráfico hacia cada uno.
  • Redacta la lista. Incluye los nombres de host exactos de los proveedores que realmente hayas configurado, la base de datos (preferiblemente en una dirección privada), el gestor de secretos si cargas desde él la clave maestra y los servicios de registro que hayas configurado de forma deliberada. No uses comodines.
  • Deja fuera de la lista el acceso a todo GitHub, PyPI y los registros de contenedores durante la ejecución, los servicios de webhook y captura de solicitudes, los sitios para pegar y compartir texto y cualquier dominio que solo se parezca al nombre del proveedor.
  • Aplica la restricción en la red y por proceso, no en la configuración de la pasarela. En Linux puedes usar, por ejemplo, IPAddressAllow de systemd o una regla de nftables basada en el cgroup del servicio.
  • Limita también las consultas DNS a los nombres que hayas autorizado.
  • Limita las conexiones entrantes. No expongas las rutas del proxy a Internet pública. Carga la clave maestra desde un gestor de secretos y configura una LITELLM_SALT_KEY independiente, tal como recomienda el aviso de seguridad.
  • Reduce los permisos de los tokens en los servidores de agentes. En el caso de LiteLLM, la plataforma de agentes almacenaba un token de GitHub CLI del propietario de la organización, en lugar de un token limitado a los repositorios y las funciones necesarios. Un token expuesto debe revocarse de inmediato.

Cómo ayuda nuDefend

Qué se ejecuta y a dónde se conecta. nudefend workloads muestra las herramientas de IA que se ejecutan en el servidor, en el host o dentro de un contenedor, y en qué se basa la identificación de cada una. nuDefend registra a qué destinos se conecta cada herramienta de IA, cuánto tráfico se ha enviado a cada destino y cuándo se detectó por primera vez. Cuando el destino está identificado, se muestra su nombre junto a una descripción del tipo de actividad. nudefend egress review <workload> muestra todos los destinos de una herramienta e indica si se ha supervisado el periodo completo. Así, un destino inusual destaca y no queda perdido en una lista de números.

Una lista creada a partir del tráfico real. En la primera fase, nuDefend solo registra. Al terminar el periodo de supervisión, se obtiene una lista basada en el tráfico observado. En la pantalla Outbound autorizas los destinos que la herramienta necesita realmente. Por ejemplo, una dirección utilizada por GitHub puede servir también a otros servicios. Una dirección así solo se autoriza después de comprobarla.

Aplicación de la restricción en una capa inferior a la herramienta. Tras activar la restricción, la herramienta solo puede conectarse a los destinos que hayas autorizado. Cualquier intento de conectarse a otro destino se bloquea antes de que el tráfico salga del servidor. La restricción solo se aplica a la herramienta elegida y el resto del servidor sigue funcionando con normalidad. Puede aplicarse a casi cualquier herramienta que el sistema identifique. La pantalla indica si cada herramienta está restringida. Si no confirmas la restricción de forma definitiva en un plazo de diez minutos, se desactiva por sí sola. Así puedes activarla en una pasarela en funcionamiento, comprobar que sigue trabajando y confirmarla después.

También las consultas DNS de la herramienta. Una herramienta restringida solo puede enviar consultas DNS para los nombres que hayas autorizado. Cualquier otra consulta se bloquea antes de salir del servidor. Cada consulta bloqueada se muestra junto al nombre de la herramienta. A menudo, esta es la primera señal de que una herramienta intenta acceder a un destino que no has autorizado.

La capa de amenazas y las conexiones entrantes. Una lista de amenazas firmada, que se actualiza cada 30 minutos, bloquea el tráfico hacia y desde direcciones y dominios maliciosos. En el panel de control, la tarjeta del tráfico saliente bloqueado se vuelve roja como aviso temprano de que algo en el servidor ha intentado contactar con un destino malicioso. nudefend expose muestra todos los servicios que escuchan en el servidor y quién puede acceder a ellos. nuDefend avisa cuando un servicio que era interno pasa a ser accesible desde fuera. Un puerto que no debería estar abierto puede cerrarse con nudefend block add, tras una vista previa que muestra exactamente qué se bloqueará. Los informes permanecen en el servidor.

Más información en la página de tráfico saliente, en la página de exposición y en la documentación.

En resumen

En una sola semana, LiteLLM publicó información sobre dos fallos distintos. Ambos dependían de la misma condición: una conexión saliente desde la pasarela a un destino elegido por el atacante. La propia LiteLLM recomienda ahora limitar el tráfico saliente del proxy. Fijar versiones y sustituir claves aborda el incidente anterior. Una lista de destinos por proceso aborda la condición en sí. Créala a partir del tráfico observado, con nombres de host exactos, sin servicios genéricos de retransmisión y sin autorizar el acceso a todo GitHub. Limita también las consultas DNS.

nuDefend muestra a qué destinos se conectan las herramientas de IA de tu servidor y cuánto tráfico se ha enviado a cada uno. Permite limitar una herramienta a los destinos que hayas autorizado. Cualquier otro destino se bloquea antes de que el tráfico salga del servidor.

Revisar el tráfico saliente.

CompartirWhatsAppXLinkedInFacebook

¿Listo para proteger tus servidores con nuDefend?