Question 1

Le MacBook Air M3 peut-il faire tourner Llama 3.1 70B ?

Accepted Answer

Non. Même en Q2, le modèle pèse plus de 25 Go, hors d'atteinte d'un MBA (max 24 Go). Pour le 70B, il faut un MacBook Pro M3/M4 Max 64 Go+ ou un Mac Studio.

Question 2

Combien de tokens/seconde pour Mistral 7B sur MBA M3 16 Go ?

Accepted Answer

Entre 28 et 32 tokens/seconde en Q4_K_M sur secteur. Sur batterie, comptez 24-28 tok/s. En Low Power Mode, autour de 18-22 tok/s.

Question 3

MBA M3 8 Go ou MBA M2 16 Go ?

Accepted Answer

Le M2 16 Go sans hésiter pour l'IA. La quantité de RAM est bien plus importante que la génération de puce : sur M3 8 Go vous êtes limité aux modèles 3B, sur M2 16 Go vous ouvrez les 8B.

Question 4

Peut-on utiliser le Neural Engine (NPU) pour les LLM sur M3 ?

Accepted Answer

Oui, via Core ML ou MLX, sur certains modèles optimisés. Ollama/llama.cpp n'exploitent pas le NPU : ils passent par le GPU Metal. Le NPU est surtout utile pour des modèles dédiés (Whisper, détection d'images).

Question 5

Le MacBook Air M3 chauffe-t-il trop pour un usage LLM quotidien ?

Accepted Answer

Usage chat ponctuel : aucun problème, la machine reste tiède. Usage batch (RAG sur 1000 PDF, embeddings en masse) : oui, throttle après 10-12 min. Pour du batch, préférez un Mac mini ou un MacBook Pro.

Question 6

Quel modèle pour du code sur MBA M3 16 Go ?

Accepted Answer

Qwen 2.5 Coder 7B Q5_K_M est l'un des meilleurs choix : spécialisé code, rentre largement en RAM, 20-25 tok/s. Alternative : DeepSeek Coder v2 Lite 16B Q4 (pour 24 Go uniquement).