proxy/llm
NEXUS AI Gateway
Proxy en Rust que traduce la API de mensajes de Anthropic a formato compatible con OpenAI y enruta el tráfico hacia NVIDIA NIM, Ollama u OpenRouter.
en curso · 2025
el problema
Una herramienta escrita contra la API de un proveedor queda casada con ese proveedor: cambiar de modelo obliga a tocar el código que llama. Y el que manda el tráfico paga cada corte del proveedor de turno, porque no tiene dónde caer.
qué hice
- Traducción de peticiones y respuestas entre dos formatos de API que no coinciden, incluido el streaming por SSE — que es donde se rompen casi todas las implementaciones.
- Reintentos y circuit breaker: cuando un backend empieza a fallar deja de recibir tráfico solo, en vez de agotar el tiempo de espera de cada petición.
- Concurrencia acotada con semáforos, para que una ráfaga no tumbe ni al proxy ni al backend que hay detrás.
stack
- Rust
- Tokio
- Axum
- SSE
- Docker
- Linux
siguiente
¿Quieres algo parecido?