Aller au contenu
nuDefend
← Retour au blog

Deux failles dans LiteLLM en une semaine : comment établir une liste de destinations pour les connexions sortantes d’un serveur qui exécute une passerelle IA

·13 min de lecture

Si vous exécutez LiteLLM ou une passerelle similaire qui achemine les requêtes vers des fournisseurs de modèles, le serveur détient probablement toutes les clés API des fournisseurs, la clé maître du proxy et le mot de passe de la base de données. En une semaine, LiteLLM a publié des informations sur deux failles. La première était une version piégée, publiée par le processus de livraison de l’entreprise. La seconde était une vulnérabilité critique dans le proxy lui-même. Les consignes de LiteLLM comprennent le remplacement des clés et le verrouillage des versions. Ces mesures sont nécessaires, mais elles répondent à un incident déjà survenu. Avant le prochain, une autre question mérite d’être posée : à quelles destinations le serveur doit-il pouvoir se connecter, et que se passe-t-il lorsqu’il tente d’en joindre une autre ?

Une semaine, trois publications

21 octobre : une version piégée. Selon le rapport d’incident de LiteLLM, l’infrastructure de publication de l’entreprise a été compromise. Elle a servi à publier litellm==1.107.0 sur PyPI et dans les registres de conteneurs. Cette version contenait un logiciel malveillant compilé qui vole des identifiants et charge des outils d’exécution de code à distance. Le paquet était disponible sur PyPI entre 11:39 et 13:23 UTC. Les tags v1.107.0, latest, main-latest et main-stable sur Docker Hub pointaient vers l’image infectée entre 11:46 et 14:20 UTC. Selon l’entreprise, toute personne ayant installé une version non verrouillée ou exécuté l’un de ces tags pendant cette période doit considérer son environnement comme compromis. Les clients Enterprise ayant téléchargé l’image depuis le registre privé n’ont pas été touchés.

23 octobre : la chaîne d’attaque. L’analyse des causes publiée par l’entreprise remplace les premières hypothèses. Le 27 mai, un fichier de configuration contenant une clé d’administration d’un déploiement interne de LiteLLM Agent Platform a été ajouté à un dépôt public. Il s’agit d’une plateforme expérimentale où des agents cloud ouvrent des pull requests. Le fichier a été supprimé environ trois heures plus tard, mais la clé n’a pas été révoquée en raison d’une erreur humaine. Le 10 octobre, l’attaquant l’a utilisée et l’API de la plateforme lui a renvoyé la configuration des agents. Celle-ci contenait un jeton GitHub CLI appartenant à l’un des propriétaires de l’organisation GitHub. Avec ce jeton, l’attaquant a exécuté des workflows temporaires qui ont envoyé des secrets CI vers un point de terminaison sur webhook.site. Parmi ces secrets figuraient les jetons de deux autres mainteneurs. Le 21 octobre, l’attaquant a modifié le workflow de publication pour qu’il construise la version depuis un dépôt d’une organisation au nom similaire, Berri-AI. Il a approuvé le passage en production avec un jeton et supprimé les journaux d’exécution avec un autre. Selon l’entreprise, dans les autres systèmes internes, l’attaquant cherchait surtout des jetons API de fournisseurs de modèles.

Certains des premiers articles, notamment celui de Help Net Security, décrivent encore des jetons récupérés dans les journaux d’un déploiement interne de LiteLLM. C’était l’hypothèse initiale. L’analyse ultérieure établit que le premier jeton a été renvoyé par l’API d’Agent Platform.

27 octobre : une vulnérabilité notée 10. L’avis de sécurité GHSA-w4c7-34wj-hqm8 décrit une vulnérabilité du proxy LiteLLM exécuté avec une licence Enterprise. Une requête non authentifiée vers n’importe quelle route LLM du proxy peut lui faire lire un fichier local et en envoyer le contenu à une adresse choisie par l’attaquant. Selon l’avis, la lecture d’un fichier comme /proc/self/environ expose LITELLM_MASTER_KEY et les clés des fournisseurs, donnant à l’attaquant un accès administrateur complet au proxy. Dans certaines configurations, l’attaquant peut ensuite exécuter du code Python en tant que root. Le score CVSS est de 10.0. Les versions corrigées sont 1.103.10, 1.104.8, 1.105.6 et 1.106.5. Les déploiements open source exécutés sans licence ne sont pas concernés. Le rapport d’incident du 21 octobre indiquait qu’une version corrigeant une vulnérabilité dont la divulgation était prévue le 27 octobre était distribuée dans le registre privé. C’est à cette date que l’avis de sécurité a été publié.

Le point commun : une connexion sortante vers une destination choisie par l’attaquant

Dans les deux cas, l’attaquant ne pouvait en tirer profit que si le serveur exécutant la passerelle parvenait à ouvrir une connexion sortante vers la destination de son choix. Pour la vulnérabilité, cela fait partie du mécanisme : le contenu du fichier est envoyé à une adresse définie par l’attaquant. Pour la version piégée, LiteLLM le précise dans ses consignes de nettoyage : si 1.107.0 a été installée à un moment quelconque sur un serveur disposant d’un accès sortant à Internet, il faut considérer que l’exfiltration a réussi.

Les articles apportent des précisions sur les canaux de communication. Selon une analyse de Socket citée par Help Net Security, les données collectées étaient chiffrées puis envoyées à une adresse « healthcheck » sur le domaine litellm[.]dev. Un second composant consultait régulièrement un fichier sur GitHub, censé lui fournir un domaine pour télécharger et exécuter du code Python supplémentaire. Selon Wiz, cité dans le même article, environ quatre heures et demie après la sortie des données des systèmes des victimes, l’attaquant a commencé à tester les identifiants AWS volés. Il a aussi vérifié s’ils permettaient d’accéder aux modèles d’Amazon Bedrock.

La conclusion figure aussi dans l’avis de sécurité lui-même. LiteLLM recommande plusieurs mesures de défense en profondeur : charger la clé maître depuis un gestionnaire de secrets plutôt que depuis les variables d’environnement, définir une clé LITELLM_SALT_KEY distincte et limiter le trafic sortant du proxy aux points de terminaison connus des fournisseurs.

Le verrouillage des versions appelle lui aussi une remarque. Le 21 octobre, l’entreprise recommandait de verrouiller la version sur 1.106.2. Selon l’avis de sécurité, la version corrigée dans cette branche est 1.106.5. Ceux qui exécutent le proxy avec une licence Enterprise et l’ont verrouillé sur 1.106.2 utilisent donc une version vulnérable. Le verrouillage les a protégés d’une faille tout en les laissant exposés à l’autre. Une liste de destinations pour les connexions sortantes est pertinente dans les deux cas.

Point par point : ce qu’une liste de destinations aurait bloqué

Le domaine au nom similaire. Le domaine litellm[.]dev contient le nom LiteLLM. Une liste fondée sur les noms d’hôte exacts des fournisseurs que vous avez configurés ne l’aurait pas inclus, sauf si quelqu’un l’avait autorisé parce qu’il semblait appartenir à LiteLLM. Le même procédé a été utilisé sur GitHub : Berri-AI au lieu de BerriAI. N’autorisez qu’un nom d’hôte que vous avez vérifié, pas un nom qui ressemble simplement à un nom connu.

Le fichier sur GitHub. Il est facile d’autoriser l’accès à tout GitHub en supposant que la passerelle doit y récupérer des mises à jour. Cette autorisation aurait laissé ouvert le canal d’instructions du second composant. Vérifiez si une passerelle en cours d’exécution a réellement besoin d’accéder à GitHub. La construction et la mise à jour peuvent se faire ailleurs. Si le besoin est réel, autorisez le nom d’hôte exact. Gardez à l’esprit que les adresses d’un service comme GitHub sont partagées par plusieurs services. Selon les articles, le composant de vol de données fonctionne aussi sans ce fichier. Il faut donc fermer les deux canaux, pas seulement l’un d’eux.

webhook.site. Dans cet incident, l’attaquant l’a utilisé depuis les runners de GitHub Actions, et non depuis une passerelle. Cet usage illustre néanmoins le type de canal que les attaquants privilégient : un service généraliste qui reçoit du contenu de toute personne qui le contacte. Une passerelle IA n’a pas besoin d’un tel service. Les sites de partage de texte et les services de capture de requêtes appartiennent à la même catégorie. Si vous hébergez vos propres runners, rappelez-vous qu’eux aussi sont des serveurs qui détiennent des secrets et qu’ils ont besoin de leur propre liste de destinations.

L’adresse choisie par l’attaquant pour exploiter la vulnérabilité. Lorsqu’une liste de destinations est appliquée, toute connexion à une adresse absente de la liste est bloquée. Le proxy ne peut donc pas envoyer le contenu du fichier d’environnement directement à l’adresse choisie par l’attaquant. Cette restriction n’exclut toutefois pas une exfiltration par une destination autorisée ou par DNS. La requête elle-même atteint toujours le proxy s’il est accessible. Réduire l’exposition aux connexions entrantes fait donc partie du même travail.

Les requêtes DNS. Des informations peuvent être dissimulées dans un nom envoyé dans une requête DNS. Une liste de connexions ne le détecte pas à elle seule. Il faut donc aussi limiter les requêtes aux noms que vous avez autorisés.

Les limites d’une liste de destinations

Une liste de destinations est une couche de protection parmi d’autres. Pour configurer correctement l’environnement, il faut savoir ce qu’elle ne couvre pas :

  • L’installation passe par un canal autorisé. Construisez donc l’image dans une étape distincte, verrouillez-la par son digest et exécutez la passerelle sans accès à PyPI.
  • Le code exécuté peut toujours lire les données. La liste détermine ce qui sort du serveur, pas ce qui est lu sur le disque ou dans l’environnement. Après une exposition, le nettoyage et le remplacement des clés restent nécessaires.
  • La restriction doit couvrir tout l’environnement. Selon Socket, cité par Help Net Security, le code malveillant était placé dans les fichiers de démarrage de Python. Il s’exécute chaque fois que Python démarre dans l’environnement infecté, même si l’application ne charge pas LiteLLM. Exécutez la passerelle dans son propre conteneur ou venv, sans autres outils Python à ses côtés.
  • Ce qui s’est produit hors de votre serveur doit être traité hors de celui-ci. La chaîne d’attaque a commencé par une clé exposée dans un dépôt public et une API interne à laquelle l’attaquant a pu accéder. La réponse consiste ici à remplacer immédiatement les clés exposées, à utiliser des jetons aux permissions restreintes et à bloquer l’accès aux interfaces depuis Internet.

Mesures pratiques

  • Vérifiez si vous avez été exposé. Exécutez pip show litellm dans chaque environnement et vérifiez si l’image correspondant au digest infecté a été exécutée chez vous. Recherchez aussi litellm-1.107.0.dist-info, cook.pth et sitecustomize.py. Selon LiteLLM, leur présence confirme une exposition, mais leur absence ne prouve pas que l’environnement est sain. Si vous avez été exposé, ne commencez pas par pip install. Suivez les consignes de nettoyage et remplacez toutes les clés auxquelles le serveur pouvait accéder : le rôle IAM, les clés des fournisseurs dans la base de données du proxy, la clé maître et les clés virtuelles, ainsi que le mot de passe de DATABASE_URL.
  • Si vous avez une licence Enterprise, passez à la version corrigée de votre branche.
  • Documentez les connexions avant d’établir la liste. Observez pendant une période les destinations auxquelles le processus de la passerelle se connecte et le volume de trafic envoyé à chacune.
  • Établissez la liste. Incluez les noms d’hôte exacts des fournisseurs réellement configurés, la base de données (de préférence à une adresse privée), le gestionnaire de secrets si vous y chargez la clé maître et les services de journalisation que vous avez délibérément configurés. N’utilisez pas de caractères génériques.
  • Laissez hors de la liste l’ensemble de GitHub, PyPI et les registres de conteneurs pendant l’exécution, les services de webhook et de capture de requêtes, les sites de partage de texte et tout domaine dont le nom ressemble simplement à celui du fournisseur.
  • Appliquez les restrictions au niveau du réseau et par processus, pas dans les paramètres de la passerelle. Sous Linux, vous pouvez par exemple utiliser IPAddressAllow de systemd ou une règle nftables fondée sur le cgroup du service.
  • Limitez aussi les requêtes DNS aux noms que vous avez autorisés.
  • Limitez les connexions entrantes. N’exposez pas les routes du proxy sur l’Internet public. Chargez la clé maître depuis un gestionnaire de secrets et définissez une clé LITELLM_SALT_KEY distincte, comme le recommande l’avis de sécurité.
  • Réduisez les permissions des jetons sur les serveurs d’agents. Dans le cas de LiteLLM, la plateforme d’agents détenait un jeton GitHub CLI d’un propriétaire de l’organisation, au lieu d’un jeton limité aux dépôts et aux fonctions nécessaires. Tout jeton exposé doit être révoqué immédiatement.

Comment nuDefend aide

Ce qui s’exécute et les destinations des connexions. nudefend workloads affiche les outils d’IA qui s’exécutent sur le serveur, sur l’hôte ou dans un conteneur, ainsi que les éléments ayant permis d’identifier chacun d’eux. nuDefend consigne les destinations auxquelles chaque outil d’IA se connecte, le volume de trafic envoyé à chacune et la date de sa première détection. Lorsqu’une destination est identifiée, elle apparaît sous son nom, avec une description du type d’activité. nudefend egress review <workload> affiche toutes les destinations d’un outil et indique si la période a été surveillée dans son intégralité. Une destination inhabituelle ressort ainsi au lieu de se perdre dans une liste de nombres.

Une liste établie à partir du trafic réel. Dans un premier temps, nuDefend se limite à consigner les connexions. À la fin de la période de surveillance, une liste est établie à partir du trafic observé. Dans l’écran Outbound, vous autorisez les destinations dont l’outil a réellement besoin. Par exemple, une adresse utilisée par GitHub peut aussi servir à d’autres services. Une telle adresse n’est autorisée qu’après vérification.

Des restrictions appliquées sous l’outil. Une fois la restriction activée, l’outil ne peut se connecter qu’aux destinations que vous avez autorisées. Toute tentative de connexion à une autre destination est bloquée avant que le trafic ne quitte le serveur. La restriction ne concerne que l’outil sélectionné ; le reste du serveur continue de fonctionner normalement. Elle peut être appliquée à presque tous les outils que le système identifie. L’écran indique pour chaque outil s’il est soumis à une restriction. Si vous ne confirmez pas définitivement la restriction dans les dix minutes, elle se désactive d’elle-même. Vous pouvez ainsi l’activer sur une passerelle en service, vérifier qu’elle continue de fonctionner, puis confirmer.

Les requêtes DNS de l’outil sont aussi concernées. Un outil soumis à une restriction ne peut envoyer des requêtes DNS que pour les noms que vous avez autorisés. Toute autre requête est bloquée avant de quitter le serveur. Chaque requête bloquée est affichée à côté du nom de l’outil. C’est souvent le premier signe qu’un outil tente d’accéder à une destination que vous n’avez pas autorisée.

La protection contre les menaces et les connexions entrantes. Une liste de menaces signée, mise à jour toutes les 30 minutes, bloque le trafic à destination et en provenance d’adresses et de domaines malveillants. Dans le tableau de bord, la carte du trafic sortant bloqué devient rouge pour signaler rapidement qu’un élément du serveur a tenté de contacter une destination malveillante. nudefend expose affiche chaque service en écoute sur le serveur et indique qui peut y accéder. nuDefend vous alerte lorsqu’un service jusque-là interne devient accessible depuis l’extérieur. Un port qui ne devrait pas être ouvert peut être fermé avec nudefend block add, après un aperçu montrant précisément ce qui sera bloqué. Les rapports restent sur le serveur.

Pour en savoir plus, consultez la page sur le trafic sortant, la page sur l’exposition et la documentation.

En résumé

En une semaine, LiteLLM a publié des informations sur deux failles distinctes. Toutes deux dépendaient de la même condition : une connexion sortante de la passerelle vers une destination choisie par l’attaquant. LiteLLM recommande désormais elle-même de limiter le trafic sortant du proxy. Le verrouillage des versions et le remplacement des clés répondent à l’incident précédent. Une liste de destinations par processus agit sur la condition elle-même. Établissez-la à partir du trafic réellement observé, avec des noms d’hôte exacts, sans services de relais généralistes ni autorisation globale de GitHub. Limitez aussi les requêtes DNS.

nuDefend affiche les destinations auxquelles les outils d’IA de votre serveur se connectent et le volume de trafic envoyé à chacune. Il permet de limiter un outil aux destinations que vous avez autorisées. Toute autre destination est bloquée avant que le trafic ne quitte le serveur.

Examiner le trafic sortant.

PartagerWhatsAppXLinkedInFacebook

Prêt à protéger vos serveurs avec nuDefend ?