R01 Recherche
Menterias
Exécution locale de modèles de langage volumineux.
- Objectif
- Permettre l'exécution de modèles de langage volumineux sur du matériel local maîtrisé.
- Problème technique
- Les modèles volumineux dépassent souvent la mémoire disponible (VRAM) d'une machine unique.
- Approche
- Recherche sur les échanges de poids entre SSD, RAM et VRAM, l'exploitation d'architectures Mixture-of-Experts et l'optimisation des ressources matérielles.
- État d’avancement
- Programme de R&D / prototype, non commercialisé à ce stade.