[Proyecto] Gateway LLM compatible con OpenAI: tope de 3 reintentos y puntaje de salud público

Transparencia primero: trabajo en APIGOTO, un gateway de APIs de LLM independiente (sin relación con OpenAI, Anthropic ni Google).

En corto: apuntas el SDK de OpenAI a https://api.apigoto.com/v1 y con una key usas Claude, GPT, Gemini, DeepSeek, Qwen, etc. (los IDs exactos de modelo están en la página de precios).

Lo que nos parece más interesante a nivel técnico:

Si un upstream falla, se prueban otras credenciales máximo 3 veces; después se devuelve el error rápido.
Cada hora se calcula un puntaje por upstream: 502 = 1.0, 403 = 0.8, otros = 0.6, 429 = 0.5, y se publica en una página de estado.
BYOK sin comisión y log por cada request (modelo, tokens, cache, latencia, errores).

Ojo: es un salto de red extra y los prompts pasan por un intermediario. Hay créditos gratis de prueba para cuentas nuevas (límites en el sitio).

¿Alguien acá usa LLMs vía proxy propio? ¿Cómo manejan los 429?

www.china-aiapi.com