Proxy LLM : une API pour vos modèles locaux et cloud
AISIA est un proxy LLM et une passerelle IA local-first. Vos applications envoient leurs requêtes à une API commune ; le routage détermine le modèle à utiliser selon votre configuration, vos accès et la disponibilité des fournisseurs.
Qu’est-ce qu’un proxy LLM ?
Un proxy LLM, aussi appelé LLM proxy ou AI gateway, s’intercale entre une application et les modèles de langage qu’elle appelle. L’application utilise une adresse d’API et un format de requête communs, tandis que la passerelle centralise l’authentification, la sélection du modèle et les règles d’accès.
Cette couche est utile lorsqu’un produit combine plusieurs fournisseurs, lorsque différentes équipes partagent les mêmes modèles ou lorsqu’une organisation veut privilégier une infrastructure locale. Elle ne remplace pas les modèles : elle organise leur utilisation.
Comment fonctionne le proxy LLM AISIA ?
Le chemin d’une requête est : votre application → API AISIA → moteur de routage → modèle local ou fournisseur cloud → réponse à votre application. Le point d’entrée de chat est /v1/chat/completions.
Vous pouvez demander un modèle explicite ou utiliser le routage configuré pour votre organisation. Un modèle présent au catalogue n’est pas nécessairement utilisable : son accès dépend notamment des autorisations, des identifiants fournisseur et de la disponibilité du runtime.
- API de chat compatible avec le format OpenAI pour intégrer des applications existantes.
- Modèles locaux via Ollama et adaptateurs vers des fournisseurs cloud configurés.
- Clés d’API et contrôle des accès dans le contexte de votre organisation.
- Politiques de routage, quotas et suivi des requêtes selon la configuration du service.
Appeler un modèle local avec une requête curl
L’exemple suivant utilise une clé d’API AISIA, conservée dans la variable d’environnement AISIA_API_KEY, et demande explicitement le modèle local llama3.2:1b. Ce modèle doit être disponible et autorisé pour votre compte. Consultez GET /v1/models avec votre authentification pour préparer votre intégration.
Exemple pour un terminal Bash :
curl https://api.aisia.fr/v1/chat/completions \
-H "Authorization: Bearer $AISIA_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"local/llama3.2:1b","messages":[{"role":"user","content":"Explique le rôle d’un proxy LLM en trois phrases."}],"stream":false}'Local-first et souveraineté : choisir le chemin des données
Privilégier un modèle local permet d’éviter l’envoi de son inférence à un fournisseur de modèles cloud. Cela ne signifie pas que tout appel à AISIA reste sur votre propre machine : avec l’API publique, votre requête est transmise à l’infrastructure AISIA.
L’emplacement de traitement dépend du déploiement et du routage choisis. Un appel vers un fournisseur cloud implique le traitement par ce fournisseur. Avant d’utiliser des données sensibles, vérifiez les paramètres de routage, les accès, la journalisation et les conditions de traitement applicables à votre organisation.
Quand utiliser un proxy LLM ?
Un proxy LLM apporte un point de contrôle commun pour les assistants internes, les applications de chat et les services qui alternent entre modèles locaux et cloud. Il facilite la gestion des accès et l’évolution des modèles sans disperser les intégrations fournisseur dans chaque application.
Pour choisir entre AISIA et une autre passerelle, comparez les endpoints nécessaires, les modèles effectivement accessibles, les contraintes de déploiement et les fonctions d’administration. Un comparatif aide à préparer cette évaluation ; un essai avec vos propres requêtes permet de vérifier l’adéquation à votre usage.
Compatibilité, disponibilité et limites à vérifier
La compatibilité du chat avec le format OpenAI ne garantit pas la prise en charge de toutes les API et options OpenAI. Validez les fonctionnalités dont votre application dépend, notamment le streaming, les outils et les entrées multimodales, pour le modèle et le fournisseur choisis.
La latence et la qualité des réponses dépendent du modèle, du matériel, de la charge et de la taille des requêtes. Les quotas et restrictions d’accès peuvent empêcher un appel. L’intégration doit gérer les erreurs et les délais d’attente ; la présence d’un modèle au catalogue ne constitue pas une garantie de service.
Questions fréquentes sur le proxy LLM
AISIA est-il un proxy LLM compatible OpenAI ?
AISIA expose /v1/chat/completions avec le format de messages OpenAI. Cette compatibilité concerne le contrat de chat pris en charge ; vérifiez la documentation avant de réutiliser des options ou d’autres endpoints OpenAI.
Peut-on appeler un modèle local avec AISIA ?
Oui, le routage accepte un identifiant explicite tel que local/llama3.2:1b. Le modèle doit être disponible sur le runtime et autorisé pour votre compte. Un modèle local sur l’infrastructure AISIA n’est pas un modèle exécuté sur votre ordinateur.
Faut-il fournir des clés pour les modèles cloud ?
L’accès cloud dépend de la configuration des fournisseurs et des droits de votre organisation. Un fournisseur sans identifiants utilisables n’est pas rendu disponible par sa seule présence au catalogue.
Un proxy LLM garantit-il la confidentialité des données ?
Non. Il permet de centraliser des règles, mais la confidentialité dépend du déploiement, des accès, de la journalisation et du fournisseur réellement appelé. Vérifiez le chemin des données et les conditions applicables avant l’intégration.