Saltar al contenido principal

Modelos

Cada LLM al que el Gateway puede llamar se registra como un modelo en esta página. Un modelo vincula un proveedor, un ID de modelo de proveedor específico, un tipo, un endpoint personalizado opcional y la clave API del proveedor ingresada al agregar el modelo. Los agentes y las claves virtuales hacen referencia a los modelos por el Display Name definido aquí.

La vista de lista muestra el nombre, proveedor, fabricante, tipo, estado y fecha de creación de cada modelo. Los filtros en la parte superior de la página permiten filtrar por proveedor y estado; los iconos por fila permiten editar y activar/desactivar.

Proveedores Compatibles​

El Gateway incluye soporte de primera clase para 15 proveedores:

Amazon Nova · Anthropic · Azure OpenAI · AWS Bedrock · Cohere · DeepSeek · Fireworks AI · Google Gemini · Google Vertex AI · Groq · Mistral AI · OpenAI · Perplexity · Together AI · xAI (Grok)

Cada proveedor expone su catálogo de modelos alojados a través del desplegable Model en el formulario de creación. La lista de IDs de modelos se obtiene en tiempo real del proveedor una vez que se proporcionan el proveedor y la clave API, por lo que las nuevas versiones aparecen sin necesidad de actualizar el Gateway.

Tipos de Modelos​

Cada modelo registrado declara un Type que determina en qué endpoints el Gateway lo sirve:

  • Chat — Completaciones conversacionales (/chat/completions). Predeterminado para todos los LLM modernos.
  • Embedding — Embeddings vectoriales para recuperación (/embeddings).
  • Completion — Completación de texto heredada (/completions).
  • Image Generation — Endpoints de texto a imagen.
  • Audio Transcription — Endpoints de voz a texto.

Una sola cuenta de proveedor puede registrar tantos modelos de tantos tipos como sea necesario. Por ejemplo, OpenAI puede exponer un modelo Chat (gpt-4o), un modelo Embedding (text-embedding-3-large) y un modelo Audio Transcription (whisper-1), todos respaldados por la misma cuenta de proveedor.

Agregar un Modelo​

Haga clic en + Add Model en la parte superior derecha de la página de Modelos.

  • Provider — Seleccione de la lista de proveedores compatibles.
  • Model — Seleccione el ID de modelo específico que ofrece el proveedor. Se completa después de elegir un proveedor.
  • Display Name — Se completa automáticamente a partir de la selección del modelo, editable. Es el nombre al que hacen referencia los agentes y las claves virtuales.
  • Type — Chat (predeterminado), Embedding, Completion, Image Generation o Audio Transcription.
  • API Base URL (opcional) — Anula el endpoint predeterminado del proveedor. Requerido para Azure OpenAI (https://your-endpoint.openai.azure.com/) y para implementaciones autoalojadas o privadas; de lo contrario, déjelo en blanco.
  • API Key — La clave API del proveedor que el Gateway utiliza para autenticarse con el fabricante, ingresada directamente en el formulario y almacenada cifrada. Las credenciales específicas del proveedor (por ejemplo, los detalles del endpoint de Azure OpenAI o las claves de acceso/secreto de AWS Bedrock) también se capturan aquí. Un modelo sin clave no puede ser invocado.

Haga clic en Create Model para guardar. El nuevo modelo aparece en la lista con estado Activo y está disponible de inmediato para los equipos que lo incluyan en su lista de permitidos.

Buenas Prácticas​

  • Mantenga los Display Names estables. Los agentes, las claves virtuales y las listas de respaldo de enrutamiento los referencian literalmente, por lo que cambiar el nombre supone un cambio disruptivo en las configuraciones posteriores.
  • Registre al menos un modelo por cada Type que necesiten sus agentes. El Gateway no convertirá automáticamente un modelo Chat en un rol Embedding.
  • Para Azure OpenAI, configure siempre el API Base URL con el endpoint de implementación: el endpoint público predeterminado no enrutará hacia su implementación privada.
  • Desactive los modelos en desuso con el icono de encendido en lugar de eliminarlos. La desactivación preserva los datos históricos de gasto para los informes.

Páginas Relacionadas​