RAGbooster : un RAG honnête sans base de données vectorielle
RAGbooster est un petit RAG qui utilise BM25 et un client LLM universel (OpenAI, Groq, Anthropic, Ollama) pour traiter des documents trop volumineux. Pas de base de données vectorielle, pas de coûts de API d'embedding, pas de format de fichier propriétaire.
RAGbooster résout le problème de la taille des documents pour les LLM en les divisant en chunks overlappants, en les classant avec BM25 et en envoyant uniquement les chunks les plus pertinents au LLM. C'est tout. Pas de modification ou d'extension du contexte LLM. C'est un système de sélection de chunks pertinents pour faire entrer la plus grande partie du corpus dans le contexte LLM existant.
Le code est simple, la mémoire est faible, et la précision est élevée. C'est un bon choix pour les applications où la précision est cruciale et la complexité est à éviter.
La stack technique est simple : Python, BM25, FastAPI/uvicorn pour l'API HTTP.
- Python
- BM25
- FastAPI
- uvicorn