Modèle Granite Code d'IBM aligné par DPO (Direct Preference Optimization), orienté génération et complétion de code. Licence Apache 2.0.
Idéal pour
Complétion de codeAssistant dev localGPU 6-8 Go
02Mémoire requise
VRAM GPU approximative pour faire tourner ce modèle, overhead contexte de 4k tokens inclus. Pour un contexte plus long, ajoutez ~1 Go par tranche de 8k tokens.
Q4_K_M
Le plus léger, ~5% de perte
4.1 Go
Q5_K_M
Bon compromis qualité/taille
5 Go
Q8_0
Quasi-indistinguable de FP16
7 Go
FP16
Pleine précision — usage serveur
14 Go
Fallback CPU · Si vous n'avez pas de GPU, comptez 9 Go de RAM minimum pour faire tourner ce modèle à vitesse réduite.
Quel GPU pour faire tourner IBM Granite Code 7B DPO ?
Pour exécuter IBM Granite Code 7B DPO en local en quantification Q4, il faut environ 4.1 Go de VRAM. Le meilleur rapport prix/performance : un RTX 5060 (8 Go de VRAM).
Liens affiliés — commission possible sans surcoût pour vous, reco indépendante. En tant que Partenaire Amazon, QuelLLM réalise un bénéfice sur les achats remplissant les conditions requises.
Premier téléchargement : entre 2 et 40 Go selon la quantization choisie. Espace disque à prévoir, connexion stable recommandée. Les relances suivantes sont instantanées.