Compatível com o SDK da OpenAI
Mantenha o código que já tem. Mude um URL e a chave.
O AI Gateway coloca os seus modelos self-hosted e fornecedores como OpenAI, Groq e Together atrás de um único endpoint compatível com OpenAI. Corre nos seus próprios servidores. As suas GPUs recebem o tráfego primeiro, os fornecedores entram quando é preciso, e é você quem decide quem usa o quê.
O uso de IA cresce mais depressa do que as regras que o acompanham.
Corre modelos nas suas próprias GPUs. As equipas também chamam a OpenAI, a Groq ou a Together com chaves partilhadas em conversas de chat. Funciona, até deixar de funcionar.
Sem failover. Quando um fornecedor vai abaixo, todas as aplicações que dependem dele vão abaixo também.
Sem limites. Um único script pode esgotar uma chave partilhada e bloquear toda a gente.
Sem visibilidade dos custos. Ninguém sabe dizer quem gastou o quê, em que modelo e com que fornecedor.
Sem porta de entrada. Paga-se por APIs mesmo quando as suas próprias GPUs podiam ter feito o trabalho.
O AI Gateway é a porta de entrada única que resolve os quatro.
Em funcionamento em quatro passos.
Passo 01. Instale-o nos seus servidores. O AI Gateway corre dentro da sua própria infraestrutura. Prefere não ser você a geri-lo? Podemos alojá-lo e geri-lo por si.
Passo 02. Ligue os seus fornecedores. Registe os seus servidores de GPU (vLLM, Ollama) e as contas dos seus fornecedores. Dê a cada modelo um nome que a sua equipa reconheça.
Passo 03. Convide a sua equipa. Cada pessoa recebe as suas próprias chaves, o seu próprio orçamento de tokens e a lista de modelos que pode usar.
Passo 04. Aponte as suas aplicações para um só URL. Os pedidos vão primeiro para as suas GPUs e passam automaticamente para um fornecedor quando é preciso. Cada token e cada dólar aparecem no dashboard.
Um gateway. Cinco tarefas resolvidas.
Tudo o que precisa para operar modelos self-hosted e de terceiros como um único serviço fiável.
As suas GPUs primeiro, fornecedores como reserva
Use o hardware pelo qual já paga e recorra a fornecedores pagos só quando precisa.
Controle quem usa o quê
Defina as regras uma vez e o gateway aplica-as em cada pedido.
Veja cada token e cada dólar
Saiba exatamente para onde vai o seu orçamento de IA.
Privado por natureza
Os seus dados passam. Nunca ficam.
Feito para a sua equipa.
Registe fornecedores, publique um catálogo de modelos e defina o orçamento e o acesso a modelos de cada utilizador quando o convida. Altere o catálogo em tempo real, sem reiniciar. Retire um servidor para manutenção sem perder um único pedido.
Antes e depois
| Sem AI Gateway | Com AI Gateway | |
|---|---|---|
| Integração | Uma configuração diferente para cada fornecedor | Um único endpoint compatível com OpenAI |
| As suas GPUs | Usadas à parte dos fornecedores | Usadas primeiro, com fornecedores como reserva |
| Falhas | Um fornecedor vai abaixo, a sua aplicação vai abaixo | Os pedidos passam automaticamente para o fornecedor seguinte |
| Acesso | Chaves partilhadas sem limites | Chaves pessoais, orçamentos e acesso a modelos por utilizador |
| Custos | Espalhados por faturas de vários fornecedores | Custo por utilizador, chave, modelo e fornecedor num só dashboard |
| Privacidade | Não se sabe quem regista o quê | Prompts e respostas nunca são guardados |
Funciona com os modelos que já usa.
- OpenAI
- OpenRouter
- Groq
- Together
- vLLM
- Ollama
Veja como o AI Gateway se adapta à sua infraestrutura.
Diga-nos o que usa hoje e quantas pessoas precisam de acesso. Entraremos em contacto para conhecer melhor a sua configuração.
Perguntas frequentes.
O que é o AI Gateway?
Uma API que fica à frente dos seus servidores de GPU self-hosted e dos fornecedores de IA externos. As suas aplicações enviam todos os pedidos para um só sítio, e o gateway encaminha-os, aplica os seus limites e regista o custo.
Onde corre o AI Gateway?
Nos seus próprios servidores, dentro da sua infraestrutura. Se preferir não ser você a geri-lo, podemos alojá-lo e geri-lo por si.
Temos de mudar o nosso código?
Não. Se usa o SDK da OpenAI, mude o URL base e a chave de API. Tudo o resto fica igual.
Que modelos e fornecedores podemos usar?
Qualquer fornecedor compatível com OpenAI, incluindo OpenAI, OpenRouter, Groq e Together, além dos seus próprios servidores com vLLM ou Ollama. Os modelos Anthropic e Gemini estão disponíveis através do OpenRouter.
O que acontece quando um fornecedor vai abaixo?
O gateway verifica todos os fornecedores periodicamente. Se um estiver em baixo, sobrecarregado ou com o limite de pedidos atingido, os pedidos passam automaticamente para o seguinte, e os fornecedores com problemas saem de rotação.
Guardam os nossos prompts?
Não. Prompts e respostas nunca são registados nem guardados. Registamos apenas dados de uso, como data, modelo, chave e número de tokens, para que possa ver o uso e o custo.
Podemos limitar quanto cada pessoa usa?
Sim. Cada utilizador tem orçamentos de tokens diários e mensais, cada chave tem um limite de pedidos por minuto, e os administradores escolhem que modelos cada utilizador pode chamar. Os custos são registados em dólares americanos para efeitos de relatório.
Que endpoints da API são suportados?
Chat completions, com e sem streaming, embeddings e listagem de modelos.
Quem tem acesso?
Decidem os seus administradores. Convidam cada utilizador, que entra com um código de 6 dígitos enviado por email. Sem palavras-passe.
Como começamos?
Fale connosco através do formulário acima. Marcamos uma chamada, olhamos para a sua configuração e mostramos como o AI Gateway se adapta.