Tirer le max d'un Mac Apple Silicon

#Les forces du Mac pour les LLM

Mémoire unifiée

La RAM totale est accessible au GPU. Un Mac 64 Go peut allouer 48 Go à un modèle — impossible sur PC sans un GPU pro à 5 000 €.

Efficience énergétique

20-40 W en inférence contre 350-575 W pour un GPU PC équivalent. Le MacBook ne chauffe quasi pas.

Silence

Sur MBP 16" M4 Max, ventilos à peine audibles même sur un 70B. Usage bureau sans aucune gêne.

Écosystème logiciel

Ollama, LM Studio, llama.cpp, MLX : tous optimisés Metal. Marche out of the box.

#1. Relever la limite de mémoire GPU

Par défaut, macOS réserve environ 2/3 de la RAM pour le GPU. Pour charger un modèle plus gros, il faut relever ce plafond.

sysctl iogpu.wired_limit_mb
# Souvent 0 = défaut système, qui est ~67 % de la RAM totale

# 57 Go = 57344 Mo
sudo sysctl iogpu.wired_limit_mb=57344

# Non persistant : se remet à 0 au reboot.
# Pour rendre permanent :
echo "iogpu.wired_limit_mb=57344" | sudo tee -a /etc/sysctl.conf

#2. Choisir les modèles adaptés

Mac 16 Go (M1/M2/M3/M4 de base)

Qwen 3.5 9B Q4 (6,6 Go), Granite 4.2 8B (5,3 Go), Gemma 4 12B (7,6 Go). Confortable, 50-80 tok/s.

Mac 32 Go (Pro)

Mistral Small 24B (14 Go), gpt-oss 20B (14 Go), Qwen 3.8 27B (18 Go). RAG confortable, chat productif.

Mac 64 Go (Pro/Max)

Qwen 3.6 35B-A3B (23 Go), Qwen3-Coder 30B-A3B en Q8 (32 Go), Granite 4.2 30B (18 Go). Un MoE 35B en pleine qualité est un régal.

Mac 128 Go (Ultra)

MoE 35B en Q8, ou plusieurs modèles chargés en parallèle (un généraliste + un spécialiste code). Territoire workstation.

#3. Quantizations optimales sur Mac

Metal aime certaines quantizations plus que d'autres. Sur Apple Silicon, le throughput varie significativement :

⭐ Q4_K_M

Sweet spot : qualité proche de FP16, vitesse excellente sur Metal.

Q5_K_M / Q6_K

Excellent équilibre qualité/vitesse. Un peu plus lent que Q4 (-10 %).

Q8_0

Très rapide sur Metal (surprenant), mais gros en RAM. Pour les gros Mac.

IQ3_M / IQ4_XS

Compressent mieux mais lourds en décodage sur Metal. À éviter si Q4_K_M passe.

#4. Metal + Flash Attention

Flash Attention, longtemps exclusif CUDA, marche sur Metal depuis llama.cpp fin 2024. Gain important sur les contextes longs.

./build/bin/llama-cli \
  -m ./models/qwen3.6-35b-a3b-q4_k_m.gguf \
  -ngl 99 -fa \
  -c 16384

# Activer globalement via variable d'environnement
export OLLAMA_FLASH_ATTENTION=1
ollama serve

#5. KV cache quantifié

Sur les contextes longs, le KV cache peut consommer plus de mémoire que le modèle lui-même. Le quantifier (Q8 ou Q4) divise par 2 ou 4 cette empreinte, pour une perte de qualité quasi-nulle.

./build/bin/llama-cli \
  -m ./models/qwen3-coder-30b-a3b-q4_k_m.gguf \
  -ngl 99 -fa \
  -ctk q8_0 -ctv q8_0 \
  -c 32768

export OLLAMA_KV_CACHE_TYPE=q8_0
ollama serve

#6. Outils : MLX, Ollama, LM Studio

Ollama

Le plus simple. Reconnaît automatiquement Metal. Pour un usage quotidien, aucun effort.

LM Studio

UI au top, réglages fins, Mac-native. Excellent pour explorer des modèles.

llama.cpp (compilé maison)

Accès aux dernières optimisations Metal 4-6 semaines avant qu'Ollama les intègre. Utile pour power users.

MLX / mlx-lm

Framework Apple spécifique. Pour du fine-tuning en local et certains modèles MLX-natifs. Communauté grossit.

#Impact batterie

Sur MacBook Pro, l'inférence LLM est étonnamment économe — bien plus qu'une exportation vidéo 4K.

Chat Qwen 3.5 9B, batterie

~15 W de conso, ~6-8h d'autonomie en usage continu.

Chat Qwen 3.6 35B-A3B, batterie

~25 W de conso, ~4h d'autonomie.

Chat Qwen3-Coder 30B Q8, batterie

~40 W, ~2h d'autonomie. Mieux sur secteur.