[Proyecto] Gateway LLM compatible con OpenAI: tope de 3 reintentos y puntaje de salud público
Transparencia primero: trabajo en APIGOTO, un gateway de APIs de LLM independiente (sin relación con OpenAI, Anthropic ni Google).
En corto: apuntas el SDK de OpenAI a https://api.china-aiapi.com/v1 y con una key usas Claude, GPT, Gemini, DeepSeek, Qwen, etc. (los IDs exactos de modelo están en la página de precios).
Lo que nos parece más interesante a nivel técnico:
- Si un upstream falla, se prueban otras credenciales máximo 3 veces; después se devuelve el error rápido.
- Cada hora se calcula un puntaje por upstream: 502 = 1.0, 403 = 0.8, otros = 0.6, 429 = 0.5, y se publica en una página de estado.
- BYOK sin comisión y log por cada request (modelo, tokens, cache, latencia, errores).
Ojo: es un salto de red extra y los prompts pasan por un intermediario. Hay créditos gratis de prueba para cuentas nuevas (límites en el sitio).
¿Alguien acá usa LLMs vía proxy propio? ¿Cómo manejan los 429?
