Modèles abliterated (non censurés) en local : guide pratique

#Qu'est-ce qu'un modèle abliterated

Un modèle dit « abliterated » (parfois « decensored » ou « uncensored ») est un LLM open-weight dont on a retiré la capacité à refuser. Quand vous demandez quelque chose qu'un Llama 3 standard refuserait avec « I cannot help with that », la version abliterated répond directement, sans message d'alignement, sans préambule moralisateur, sans détourner la question.

Important : ce n'est pas un jailbreak par prompt. Le modèle a été modifié au niveau de ses poids. Le refus est devenu mécaniquement impossible — ou en tout cas extrêmement rare — parce qu'on a supprimé la direction interne qui le déclenchait.

#Comment fonctionne l'ablation

L'ablation s'appuie sur un résultat publié en 2024 par Arditi et al. (« Refusal in Language Models Is Mediated by a Single Direction »). Les auteurs montrent que, dans la plupart des LLM alignés, le refus est piloté par une direction unique dans l'espace des activations internes — un vecteur que l'on peut isoler en comparant les activations sur des prompts inoffensifs et des prompts qui déclenchent un refus.

L'ablation consiste à projeter cette direction hors des poids du modèle, couche par couche. Concrètement, on modifie les matrices de projection pour qu'elles ne puissent plus produire la composante associée au refus. Le modèle continue à fonctionner normalement, mais le « signal interne » qui le faisait basculer en mode « je refuse » a été coupé.

Étape 1 — Sonder

On fait passer dans le modèle des dizaines de paires de prompts : des prompts neutres et des prompts qui font refuser. On enregistre les activations à chaque couche.

Étape 2 — Isoler

On calcule la différence moyenne des activations entre les deux groupes. Ce vecteur, normalisé, est la direction de refus.

Étape 3 — Projeter

On modifie les poids de chaque couche pour rendre cette direction inaccessible. C'est une simple soustraction d'une projection orthogonale, pas un réentraînement.

Étape 4 — Tester

On vérifie que le modèle ne refuse plus, et que ses capacités générales (raisonnement, code, FR) ne se sont pas effondrées.

#Où trouver des modèles abliterated

L'essentiel de l'écosystème vit sur Hugging Face. Quelques publishers font autorité dans la communauté pour la qualité de leurs ablations :

mlabonne

Maxime Labonne, l'un des premiers à avoir popularisé la technique. Variantes abliterated de Llama 3.1 / 3.2 / 3.3, Qwen2.5, Phi-3 — toutes documentées sur huggingface.co/mlabonne.

huihui-ai

Couvre une matrice très large : Qwen2.5 (1.5B à 72B), Llama 3.x, Gemma 2, DeepSeek distillés. Variantes notées « -abliterated » ou « -abliterate ».

failspy

Auteur de plusieurs variantes phares (Llama-3-8B-Instruct-abliterated, Phi-3-mini-abliterated). Très commenté côté qualité.

Orenguteng / Lexi

La série « Lexi-Uncensored » (Llama-3.1-8B-Lexi-Uncensored par exemple) mélange ablation et fine-tune léger. Réputée pour son ton conversationnel.

Pour un usage Ollama, le registre officiel héberge aussi de nombreuses variantes — recherchez les tags contenant abliterated ou uncensored sur ollama.com/library, ou utilisez les variantes communautaires publiées par huihui_ai et mlabonne, directement pullables.

#Installation dans Ollama

La voie la plus simple pour faire tourner un LLM abliterated en local passe par Ollama. Le daemon écoute par défaut sur http://localhost:11434 et accepte les variantes communautaires sans configuration spéciale.

1. 01
   Vérifier qu'Ollama tourne

   Lancer ollama --version dans un terminal. Si la commande échoue, suivre le guide d'installation Ollama avant de continuer.
2. 02
   Choisir un modèle adapté à votre VRAM

   Reprenez les ordres de grandeur : un 7-8B Q4 prend ~5 Go, un 14B ~9 Go, un 32B ~19 Go, un 70B ~40 Go. Une RTX 3060 12 Go suffit pour un 8B confortable, une RTX 4090 24 Go ouvre les 32B.
3. 03
   Pull et run

   Utilisez ollama run avec le nom complet de la variante. Le modèle est téléchargé puis chargé en VRAM, et la conversation démarre.
4. 04
   Tester un refus typique

   Posez une question que le modèle de base refuserait. Si la variante est correctement abliterated, vous obtenez une réponse directe, sans préambule.

ollama run huihui_ai/qwen2.5-abliterate:7b

ollama run mannix/llama3.1-8b-abliterated
# ou, depuis Hugging Face directement :
# ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF

Une fois le modèle chargé, la vie devient celle de n'importe quel autre LLM Ollama : endpoint OpenAI-compatible sur :11434, intégrable dans Open WebUI, Continue.dev, LiteLLM, vos scripts Python. Aucune option spéciale n'est requise pour qu'un abliterated « marche » — l'absence de refus est dans les poids, pas dans la config.

#Avec GGUF (LM Studio, llama.cpp)

Si vous préférez LM Studio ou llama.cpp directement, vous travaillerez avec des fichiers GGUF. La plupart des ablations sont déjà disponibles dans plusieurs quantizations sur Hugging Face — Q4_K_M reste le compromis recommandé (qualité préservée, VRAM minimale), Q5_K_M si vous avez de la marge, Q8_0 si vous voulez la fidélité maximale.

1. 01
   Identifier le repo GGUF

   Sur Hugging Face, repérez les repos taggés -GGUF. Par exemple : mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF ou bartowski/<modele>-abliterated-GGUF.
2. 02
   Télécharger la bonne quantization

   Dans LM Studio, l'interface filtre par taille et par publisher. Préférez Q4_K_M pour la plupart des cas. Pour les modèles très petits (1-3B), Q5_K_M ou Q6_K évite une perte sensible.
3. 03
   Charger et tester

   LM Studio charge automatiquement les couches sur GPU si la VRAM est suffisante. Surveillez l'indicateur d'offload — si le modèle déborde sur RAM, la vitesse chute.
4. 04
   Exposer via l'API

   Activez le serveur local OpenAI-compatible si vous voulez le brancher dans vos apps. Le port par défaut est 1234 pour LM Studio (contre 11434 pour Ollama).

#Limites et perte de qualité

L'ablation n'est pas gratuite. Supprimer une direction dans le résidu modifie tout ce qui transitait par cette direction, y compris des composantes utiles. Les effets de bord observés en pratique :

Légère baisse sur les benchmarks de raisonnement

On voit typiquement -1 à -3 points sur MMLU ou GSM8K. C'est mesurable, mais rarement bloquant en usage réel.

Réponses parfois plus mécaniques

Le modèle perd une partie de la nuance d'alignement : moins de demandes de clarification, moins de mises en garde même quand elles seraient utiles.

Hallucinations à peine plus fréquentes

Sur des questions où le modèle aurait normalement répondu « je n'en suis pas certain », il a tendance à inventer une réponse confiante.

Comportements résiduels

Certains refus passent quand même, surtout sur les ablations approximatives. À l'inverse, certains modèles très bien abliterated répondent à tout — y compris à des choses où vous préféreriez qu'ils se taisent.

#Risques et usage responsable

Un modèle qui ne refuse plus rien n'est pas un jouet. Quelques principes simples avant de l'intégrer dans un usage réel :

Vous restez responsable des sorties

Que vous utilisiez un modèle aligné, abliterated ou cloud, c'est vous qui décidez de l'usage que vous faites des réponses. Le RGPD, le droit pénal, le droit d'auteur ne changent pas selon la version du modèle.

Ne l'exposez pas en libre-service sans filtres

Si vous montez un endpoint pour une équipe, prévoyez au minimum un filtrage côté application (mots-clés, modération en sortie). Un modèle abliterated brut sur un chat interne est une mauvaise idée par défaut.

Soyez transparent avec les utilisateurs

Si une app branchée sur un abliterated produit du contenu qui pourrait surprendre, prévenez vos utilisateurs. Pas de surprises, pas de procès.

Usage légitime, usage réel

Recherche en sûreté IA, red-teaming, traitement de corpus sensibles (médical, juridique, sécurité) où les refus d'un modèle aligné rendent l'outil inutilisable : ce sont les cas où l'ablation a une vraie valeur. Le « j'ai retiré la censure pour rigoler » expose à des sorties très indésirables sans bénéfice.

#Astuces et dépannage

Le modèle refuse quand même

Certaines ablations laissent passer des refus sur des thèmes précis (politique, médecine, mineurs). Essayez une autre ablation du même modèle, ou un publisher différent — la qualité d'ablation varie beaucoup.

Le modèle est devenu incohérent

Symptôme d'une ablation trop agressive (trop de directions supprimées, ou direction mal isolée). Préférez une variante d'un publisher reconnu plutôt qu'une ablation maison non documentée.

Mauvaises performances en français

Comme pour tout modèle open-weight, le FR dépend du modèle de base. Llama 3.x, Qwen2.5, Mistral et Gemma 2 sont solides ; Phi-3 et certains modèles plus anciens sont plus faibles. L'ablation ne change pas cela.

Préambules « As an AI, I cannot... » résiduels

Plutôt qu'un jailbreak, ajoutez un system prompt court qui rappelle le rôle et le format attendu. Ça suffit souvent à éliminer les vestiges d'alignement.

VRAM saturée

Sur 8 Go, restez sur un 7-8B en Q4_K_M. Sur 12 Go, vous pouvez monter en Q5_K_M ou tenter un 14B Q4. Sur 24 Go, un 32B Q4 passe confortablement.

#Pour aller plus loin

L'ablation est une porte d'entrée vers la personnalisation des modèles open-weight. Pour pousser plus loin :

Personnaliser un modèle avec Ollama Modelfile

Si vous voulez surcouche système prompt, paramètres et template par-dessus une variante abliterated, le Modelfile est l'outil à connaître.

Choisir sa quantification (Q4, Q5, Q8, FP16)

Pour comprendre quel GGUF charger en fonction de votre VRAM et de la qualité visée — l'ablation ne change pas les arbitrages.

Fine-tuning LLM en local : LoRA et QLoRA

Si l'ablation seule ne vous suffit pas et que vous voulez adapter le ton ou le domaine, un LoRA léger sur une variante abliterated est souvent le meilleur compromis.