Tirer le max d'un Mac Apple Silicon

#Les forces du Mac pour les LLM

Mémoire unifiée

La RAM totale est accessible au GPU. Un Mac 64 Go peut allouer 48 Go à un modèle — impossible sur PC sans un GPU pro à 5 000 €.

Efficience énergétique

20-40 W en inférence contre 350-575 W pour un GPU PC équivalent. Le MacBook ne chauffe quasi pas.

Silence

Sur MBP 16" M4 Max, ventilos à peine audibles même sur un 70B. Usage bureau sans aucune gêne.

Écosystème logiciel

Ollama, LM Studio, llama.cpp, MLX : tous optimisés Metal. Marche out of the box.

#1. Relever la limite de mémoire GPU

Par défaut, macOS réserve environ 2/3 de la RAM pour le GPU. Pour charger un modèle plus gros, il faut relever ce plafond.

sysctl iogpu.wired_limit_mb
# Souvent 0 = défaut système, qui est ~67 % de la RAM totale

# 57 Go = 57344 Mo
sudo sysctl iogpu.wired_limit_mb=57344

# Non persistant : se remet à 0 au reboot.
# Pour rendre permanent :
echo "iogpu.wired_limit_mb=57344" | sudo tee -a /etc/sysctl.conf

#2. Choisir les modèles adaptés

Mac 16 Go (M1/M2/M3/M4 de base)

Mistral 7B Q4, Qwen 3B Q5, Llama 3.2 3B Q8. Confortable, 50-80 tok/s.

Mac 32 Go (Pro)

Mistral/Qwen 14B Q5, Llama 3.1 8B Q8. RAG confortable, Chat productif.

Mac 64 Go (Pro/Max)

Qwen 32B Q4, Llama 3.3 70B Q3/Q4, Mixtral 8x7B Q4. Un 32B en Q5 est un régal.

Mac 128 Go (Ultra)

70B Q6, voire 123B en Q4. Territoire workstation.

#3. Quantizations optimales sur Mac

Metal aime certaines quantizations plus que d'autres. Sur Apple Silicon, le throughput varie significativement :

⭐ Q4_K_M

Sweet spot : qualité proche de FP16, vitesse excellente sur Metal.

Q5_K_M / Q6_K

Excellent équilibre qualité/vitesse. Un peu plus lent que Q4 (-10 %).

Q8_0

Très rapide sur Metal (surprenant), mais gros en RAM. Pour les gros Mac.

IQ3_M / IQ4_XS

Compressent mieux mais lourds en décodage sur Metal. À éviter si Q4_K_M passe.

#4. Metal + Flash Attention

Flash Attention, longtemps exclusif CUDA, marche sur Metal depuis llama.cpp fin 2024. Gain important sur les contextes longs.

./build/bin/llama-cli \
  -m ./models/qwen2.5-32b-q4_k_m.gguf \
  -ngl 99 -fa \
  -c 16384

# Activer globalement via variable d'environnement
export OLLAMA_FLASH_ATTENTION=1
ollama serve

#5. KV cache quantifié

Sur les contextes longs, le KV cache peut consommer plus de mémoire que le modèle lui-même. Le quantifier (Q8 ou Q4) divise par 2 ou 4 cette empreinte, pour une perte de qualité quasi-nulle.

./build/bin/llama-cli \
  -m ./models/llama-3.3-70b-q4_k_m.gguf \
  -ngl 99 -fa \
  -ctk q8_0 -ctv q8_0 \
  -c 32768

export OLLAMA_KV_CACHE_TYPE=q8_0
ollama serve

#6. Outils : MLX, Ollama, LM Studio

Ollama

Le plus simple. Reconnaît automatiquement Metal. Pour un usage quotidien, aucun effort.

LM Studio

UI au top, réglages fins, Mac-native. Excellent pour explorer des modèles.

llama.cpp (compilé maison)

Accès aux dernières optimisations Metal 4-6 semaines avant qu'Ollama les intègre. Utile pour power users.

MLX / mlx-lm

Framework Apple spécifique. Pour du fine-tuning en local et certains modèles MLX-natifs. Communauté grossit.

#Impact batterie

Sur MacBook Pro, l'inférence LLM est étonnamment économe — bien plus qu'une exportation vidéo 4K.

Chat Mistral 7B, batterie

~15 W de conso, ~6-8h d'autonomie en usage continu.

Chat Qwen 32B, batterie

~25 W de conso, ~4h d'autonomie.

Chat Llama 70B, batterie

~40 W, ~2h d'autonomie. Mieux sur secteur.