MiniCPM en local (Ollama) : le multimodal compact

#Quelle version de MiniCPM installer en 2026

MiniCPM-V est la série de modèles vision-langage compacts d'OpenBMB, développée par THUNLP (université Tsinghua) et ModelBest, dont les poids et le code sont publiés sous licence Apache 2.0. Dans Ollama, trois tags coexistent et prêtent à confusion. Le tag minicpm-v, sans suffixe, correspond encore à MiniCPM-V 2.6, un modèle de 8 milliards de paramètres pesant 5,5 Go avec 32K de contexte. Le tag minicpm-v4.5 charge une version plus récente de 8 milliards (6,1 Go, 40K de contexte). Le tag minicpm-v4.6, entré dans la bibliothèque officielle d'Ollama le 25 juin 2026 d'après le dépôt du projet, pèse 1,6 Go pour environ 1,3 milliard de paramètres. Pour découvrir la vision locale sur une petite machine, commencez par le 4.6 ; gardez le 4.5 pour comparer sur vos documents denses, car rien ne garantit qu'un modèle de 1,3 milliard lise aussi bien qu'un 8 milliards sur du texte serré.

#Ce que la série apporte, et ce qu'il faut relativiser

La série cherche le meilleur rapport capacité/taille. Selon le dépôt d'OpenBMB, MiniCPM-V 4.5 atteint 77,0 sur OpenCompass et dépasse, avec 8 milliards de paramètres, GPT-4o-latest, Gemini 2.0 Pro et Qwen2.5-VL 72B. Pour la version 4.6, le projet indique un encodeur visuel dont le calcul baisse de plus de 50 %, une compression des jetons visuels au choix (4 fois ou 16 fois) et un débit de jetons d'environ 1,5 fois celui de Qwen3.5-0.8B. La fiche Ollama du même modèle annonce 2,4 fois : les deux chiffres viennent du projet, et aucun protocole de mesure n'est détaillé dans ces pages. Ce sont des annonces, pas des mesures indépendantes : chronométrez sur votre matériel.

Multimodal compact

Texte et image, plusieurs images à la fois, et de la vidéo. Le 4.5 compresse jusqu'à 6 images de vidéo en 64 jetons selon le dépôt, ce qui permet de lire plus d'images sans surcoût pour le modèle de langage.

OCR haute résolution

Le 4.5 traite des images de toute proportion jusqu'à 1,8 million de pixels (par exemple 1344 x 1344). L'éditeur affirme qu'il mène sur OCRBench et sur l'analyse de PDF (OmniDocBench) parmi les modèles multimodaux généralistes ; le 4.6 est dit atteindre le niveau de Qwen3.5 2B sur plusieurs benchmarks dont OCRBench.

Licence permissive

Le dépôt annonce des poids et du code sous licence Apache 2.0, et les fiches Hugging Face des versions 4.5 et 4.6 portent la même mention. Vérifiez la licence exacte de la version précise que vous téléchargez.

Nombreux formats

Le projet propose des variantes GGUF, BNB, AWQ et GPTQ, et une compatibilité annoncée avec SGLang, vLLM, llama.cpp et Ollama.

#Combien de mémoire, vraiment

Ces chiffres décrivent les poids et l'exécution de base : le contexte et les images demandent de la mémoire en plus. Les images se traduisent en jetons visuels qui occupent la fenêtre de contexte, et la documentation d'Ollama précise qu'il applique par défaut 4 000 jetons de contexte sous 24 Gio de VRAM, agrandir la valeur augmentant la mémoire requise. Le contexte annoncé de 256K pour le 4.6 n'est donc pas alloué d'office. Enfin, le tableau du dépôt indique une exécution sur CPU pour la version GGUF du 4.6, sans publier de vitesse : mesurez avant de promettre du temps réel.

#Installer MiniCPM-V avec Ollama

Ollama gère le téléchargement, le projecteur visuel et le serveur d'API : il n'y a rien d'autre à installer. Commencez par mettre Ollama à jour, car le 4.6 est récent dans la bibliothèque. La page du tag minicpm-v mentionne déjà qu'il exigeait Ollama 0.3.10 ou plus.

1. 01
   Télécharger le modèle

   ollama pull minicpm-v4.6 récupère les poids du modèle de langage et le projecteur visuel, soit environ 1,6 Go. Pour le 4.5, utilisez minicpm-v4.5 (6,1 Go).
2. 02
   Lancer un premier chat

   ollama run minicpm-v4.6 ouvre une session interactive. Posez une question texte avant de tester la vision.
3. 03
   Envoyer une image

   La documentation d'Ollama montre le chemin du fichier placé avant la question, par exemple ollama run minicpm-v4.6 ./photo.jpg suivi de « Décris cette image ».
4. 04
   Brancher une interface

   Une fois tiré, le modèle apparaît dans Open WebUI ou dans tout client qui pointe vers le port 11434.

# Le plus léger (1,6 Go)
ollama pull minicpm-v4.6

# La version 8 milliards, pour comparer
ollama pull minicpm-v4.5

# Vérifier ce qui est installé, puis discuter
ollama list
ollama run minicpm-v4.6 ./photo.jpg Décris cette image

#Vision et OCR au quotidien

MiniCPM-V est à l'aise sur les tâches documentaires : lire une facture, transcrire une capture d'écran, extraire les lignes d'un tableau, décrire une photo. Les images en haute résolution comptent beaucoup en OCR, parce qu'un texte fin illisible sur une miniature devient exploitable en pleine résolution. Formulez des prompts précis : « Décris cette image » donne une description générale, alors que « Transcris fidèlement tout le texte visible, en conservant la mise en page » donne un résultat bien plus propre. Pour extraire des données, demandez un format explicite : JSON, Markdown ou tableau.

import base64, requests

with open("facture.png", "rb") as f:
    img = base64.b64encode(f.read()).decode()

r = requests.post("http://localhost:11434/api/generate", json={
    "model": "minicpm-v4.6",
    "prompt": "Extrais le total, la date et le numéro de facture en JSON.",
    "images": [img],
    "stream": False,
})
print(r.json()["response"])

L'API REST d'Ollama attend l'image encodée en base64 dans le champ images, comme le rappelle sa documentation ; les SDK acceptent en plus un chemin de fichier. Si vous passez par Transformers plutôt que par Ollama, le dépôt documente un réglage utile pour le 4.6 : le paramètre downsample_mode vaut 16x par défaut, et 4x conserve quatre fois plus de jetons visuels pour un détail plus fin. C'est le réglage à essayer quand un texte très petit est mal lu.

Quand préférer un moteur d'OCR dédié ? Si vous traitez des milliers de pages et que la traçabilité prime, un moteur spécialisé produit des erreurs visibles au lieu de valeurs plausibles. PaddleOCR-VL, un modèle de moins d'un milliard de paramètres, affiche 96,33 % sur OmniDocBench v1.6 selon son éditeur, et Tesseract reste le choix léger pour du texte propre. MiniCPM-V garde l'avantage quand vous voulez aussi décrire l'image ou répondre à une question dessus.

• PaddleOCR : l'OCR qui comprend la page
• Tesseract OCR : lire un scan en local
• Extraire les données d'une facture de bout en bout

#Face à Qwen3-VL et aux autres compacts

Le concurrent direct de MiniCPM-V dans la catégorie des modèles vision compacts est Qwen3-VL, disponible dans Ollama notamment en 2, 4 et 8 milliards de paramètres. Les deux couvrent le même terrain : description d'image, OCR, questions sur un document. Le README d'OpenBMB affirme que MiniCPM-V 4.6 dépasse en performance un modèle plus gros, Gemma4-E2B-it, et se montre plus efficace que Qwen3.5-0.8B : ce sont des comparaisons publiées par l'éditeur, sur ses propres évaluations.

Le choix se joue sur vos images plus que sur une fiche technique. Les deux familles tournent sous le même Ollama et la même API : passer de l'une à l'autre revient à changer le nom du modèle dans la requête, rien n'empêche de garder les deux et de router selon la tâche.

ollama run minicpm-v4.6 ./ticket.jpg Transcris le texte de ce ticket
ollama run qwen3-vl:2b ./ticket.jpg Transcris le texte de ce ticket

• Qwen3-VL en local : le modèle vision de référence
• Moondream : le modèle de vision qui tient partout

#Edge, mobile et serveur : ce que le projet documente

MiniCPM a été conçu pour l'appareil. Le dépôt indique que MiniCPM-V 4.6 se déploie sur iOS, Android et HarmonyOS, avec le code d'adaptation ouvert, et montre des enregistrements d'écran bruts sur un iPhone 17 Pro Max, un Redmi K70 et un HUAWEI nova 14. Un dépôt d'applications propose le téléchargement et le guide de déploiement. Pour servir plusieurs utilisateurs, le projet annonce la compatibilité avec vLLM et SGLang, en plus de llama.cpp et Ollama.

1. 01
   Numérisation locale de documents

   Un mini-PC ou un NAS avec un GPU d'entrée de gamme transforme un dossier de scans en texte cherchable, sans envoyer un document sensible dans le cloud.
2. 02
   Assistant hors ligne

   Sur un portable Apple Silicon ou une carte modeste, le 4.6 lit l'écran et répond sur des captures, même sans connexion.
3. 03
   Prétraitement d'un pipeline

   En amont d'un système plus lourd, il trie : type de document, champs évidents. Seuls les cas difficiles partent vers un gros modèle.
4. 04
   Texte alternatif en masse

   Générer des descriptions d'images pour un site ou une médiathèque, en lot, sans coût à l'appel une fois le matériel amorti.

• SGLang : servir un LLM local à plusieurs utilisateurs
• vLLM : c'est quoi, pour qui, et quand l'utiliser ?

#Dépannage

Le modèle ignore l'image

Vérifiez le chemin du fichier et son accès depuis l'endroit où tourne Ollama. En API, l'image doit être en base64 dans le champ images.

OCR bâclé ou tronqué

L'image est probablement trop compressée ou de trop basse résolution. Fournissez une version nette et plus grande, et demandez explicitement une transcription fidèle avec la mise en page. Avec Transformers, essayez downsample_mode 4x.

Réponses lentes

Sur CPU pur, c'est attendu. Sur GPU, contrôlez avec ollama ps que le modèle n'est pas partiellement déchargé vers la RAM à cause d'un contexte ou d'une image trop lourds.

Sortie non structurée

Pour un JSON fiable, imposez le schéma dans le prompt et, si votre client le permet, utilisez le format structuré d'Ollama.

Version inattendue

Le tag minicpm-v sans suffixe pointe encore vers la 2.6. Nommez explicitement minicpm-v4.6 ou minicpm-v4.5 pour un comportement reproductible.

#Pour aller plus loin

• Installer Ollama en 5 minutes
• LLM multimodal vision en local avec Ollama
• Choisir sa quantification
• Open WebUI avec Ollama
• Source : dépôt officiel MiniCPM-V d'OpenBMB
• Source : fiche Ollama de minicpm-v4.6
• Source : fiche Hugging Face de MiniCPM-V 4.6
• Source : documentation d'Ollama sur la vision