Open AI Box

Open AI Box est un package Python qui permet d'ouvrir la boîte noire de tout modèle de langage. Il utilise des hooks de PyTorch pour suivre une passe d'inference en direct et découvre automatiquement la structure de l'architecture, les points d'injection et les rôles des dimensions. Cela signifie que vous pouvez comprendre ce qui se passe à l'intérieur de tout modèle de langage, sans avoir besoin de le modifier.

Open AI Box est compatible avec tous les modèles de langage chargés à partir de HuggingFace AutoModelForCausalLM.

Il peut également être utilisé pour expliquer les dimensions spécifiques d'un modèle de langage.