● IA locale · Modèle principal

Modèle Qwen 35B

Ce module installe le modèle principal du Golden Build, qwen3.6:35b-a3b. Si votre machine Strix Halo ou votre quantité de mémoire UMA diffère du Jarvis de référence, une matrice de choix propose également plusieurs modèles alternatifs adaptés à la capacité mémoire et à la puissance GPU disponibles. Deux chemins d’installation restent proposés : téléchargement Ollama ou restauration depuis le seed Golden vérifié du NAS.

Point de départ

Modules précédents validés

Point d’arrivée

Modèle Qwen 35B opérationnel

Données privées

Aucune valeur réelle publiée

Avant de commencer

Prérequis

Module 03 validé.
Ollama actif et backend ROCm validé.
Espace disque suffisant pour le modèle et sa marge de fonctionnement.
Pour la méthode NAS : Module 01 validé et seed Golden accessible.

Valeurs à personnaliser

Chemin du seed QwenMETTRE_VOTRE_SEED_QWEN

Règle : ne lancez jamais une commande qui contient encore un texte METTRE_VOTRE_.... Remplacez d’abord la valeur dans votre terminal, puis relisez la commande avant validation.

Légende des commandes

Lecture seuleModificationValidationOptionnel

Choisir le modèle selon votre Strix Halo

La quantité de mémoire unifiée disponible est le critère principal pour savoir quels modèles peuvent être chargés confortablement. Le nombre de Compute Units du GPU influence surtout la vitesse. Un même processeur peut être vendu avec plusieurs capacités de RAM : vérifiez donc toujours le CPU, le GPU et la mémoire réellement installée sur votre machine.

Identifier votre plateforme

lscpu | grep -E 'Model name|Nom de modèle'
lspci | grep -Ei 'VGA|Display|AMD|Radeon'
free -h
cat /proc/meminfo | grep MemTotal

Ces commandes sont en lecture seule. Elles permettent d’identifier le processeur, le GPU et la mémoire UMA totale avant de choisir un modèle.

Règle de dimensionnement

Ne choisissez pas un modèle uniquement parce que son fichier “rentre” en mémoire. Conservez idéalement 20 à 30 % de marge pour le contexte, le cache KV, Ollama, les buffers GPU et les autres services.

Golden Build : pour reproduire Jarvis à l’identique, conservez qwen3.6:35b-a3b avec un contexte de 65536.

Familles AMD Strix Halo

APU Strix Halo	GPU intégré	Compute Units	Profil LLM conseillé
Ryzen AI Max PRO 380	Radeon 8040S	16 CU	Priorité à la réactivité : modèles 4B à 14B. Les modèles 20B+ peuvent fonctionner selon la mémoire mais seront moins rapides.
Ryzen AI Max 385 / 390	Radeon 8050S	32 CU	Très bon compromis pour 14B à 35B. Avec 64 Go ou plus, Qwen 35B devient un choix naturel.
Ryzen AI Max+ 388 / 392 / 395	Radeon 8060S	40 CU	Meilleur niveau Strix Halo pour gros modèles. Avec 128 Go, les modèles 70B et certains MoE autour de 120B deviennent réalistes.

Recommandations selon la mémoire UMA

Mémoire unifiée	Choix conseillés	Poids Ollama approximatif	Usage / commentaire
32 Go	`qwen3:8b` `qwen3:14b` `gemma3:12b` `phi4:14b`	~5 à 10 Go	Recommandé pour garder une bonne marge système. Idéal pour Max PRO 380 ou pour privilégier vitesse et faible consommation.
64 Go	`qwen3.6:35b-a3b` `qwen3.6:27b` `qwen3:30b` `deepseek-r1:32b` `gemma3:27b` `mistral-small3.2:24b` `gpt-oss:20b`	~14 à 23 Go	Sweet spot Jarvis. Très adapté aux Radeon 8050S/8060S. C’est la zone recommandée pour un agent Hermes puissant avec contexte généreux.
96 Go	`llama3.3:70b` `qwen3.6:35b-a3b-q8_0` tous les modèles de la ligne 64 Go	~39 à 43 Go pour les plus gros exemples	Permet d’augmenter la qualité de quantification ou de passer à un 70B tout en gardant de la marge. Vérifiez la mémoire GPU réellement accessible sous Linux.
128 Go	`gpt-oss:120b` `llama4:scout` `llama3.3:70b` `qwen3.6:35b-a3b-bf16`	~43 à 71 Go	Gros modèles locaux. Sur Max+ 395/392/388, le 8060S offre le meilleur débit Strix Halo. Les très gros modèles restent plus lents qu’un 35B mais peuvent apporter davantage de qualité.

Attention : les tailles indiquées correspondent approximativement aux poids publiés par Ollama, pas à la consommation mémoire totale en exécution. Un contexte long peut ajouter plusieurs Go de cache KV. Si ollama ps montre un offload CPU important, réduisez le contexte ou choisissez un modèle plus petit.

Alternatives intéressantes à Qwen 35B

Gemma 3 27B

gemma3:27b — environ 17 Go. Multimodal, 128K de contexte, bon choix si vous voulez vision + texte avec une empreinte inférieure au Qwen 35B.

Mistral Small 3.2 24B

mistral-small3.2:24b — environ 15 Go. Très intéressant pour instruction following et function calling, donc pertinent pour un agent.

DeepSeek-R1 32B

deepseek-r1:32b — environ 20 Go. Alternative orientée raisonnement, avec un coût mémoire proche du Qwen 35B.

GPT-OSS 20B / 120B

gpt-oss:20b (~14 Go) est une alternative agentique légère. gpt-oss:120b (~65 Go) devient pertinent surtout sur une machine 128 Go.

Llama 3.3 70B

llama3.3:70b — environ 43 Go. Bon choix pour une configuration 96/128 Go qui privilégie la qualité à la vitesse.

Llama 4 Scout

llama4:scout — environ 67 Go. Modèle multimodal MoE ; à réserver plutôt à une configuration 128 Go avec suffisamment de mémoire GPU accessible.

Conseil pour Hermes : privilégiez un modèle qui supporte correctement les outils et le function calling, puis validez-le avec vos vrais workflows. Le modèle “le plus gros” n’est pas automatiquement le meilleur choix : un 24–35B rapide peut être plus efficace qu’un 70–120B beaucoup plus lent pour un agent interactif.

Installation pas à pas

04.1 · Vérifier Ollama avant le modèle

Validation

ollama --version
sudo systemctl is-active ollama
curl -fsS http://localhost:11434/api/version | jq .

Pourquoi : Ne pas lancer un téléchargement de plusieurs dizaines de Go si le moteur n’est pas sain.

Résultat attendu : Ollama répond en CLI, le service est active et l’API locale renvoie sa version.

04.2 · Vérifier l’espace disque disponible

Lecture seule

df -h /
du -sh /usr/share/ollama/.ollama/models 2>/dev/null || true

Pourquoi : Le modèle Qwen principal occupe environ 23 Go, auxquels s’ajoutent les fichiers temporaires et autres données Ollama.

Résultat attendu : Le stockage disponible laisse une marge confortable au-delà de la taille du modèle.

04.3 · Vérifier la mémoire disponible

Lecture seule

free -h

Pourquoi : Contrôler l’état de la mémoire UMA avant le premier chargement du modèle.

Résultat attendu : La mémoire système est disponible et aucune pression mémoire anormale n’est visible.

04.4 · Choisir la méthode d’installation

Lecture seule

# Méthode A : téléchargement Internet
#   utiliser les étapes 04.5 à 04.8

# Méthode B : seed Golden sur NAS
#   utiliser les étapes 04.9 à 04.15

# Puis reprendre à l’étape 04.16

Pourquoi : Éviter d’exécuter les deux méthodes inutilement. La méthode A est la plus simple ; la méthode B permet une restauration hors ligne vérifiée.

Résultat attendu : Vous avez choisi une seule méthode d’installation du modèle.

04.5 · Méthode A — Télécharger Qwen depuis Ollama

Modification

ollama pull qwen3.6:35b-a3b

Pourquoi : Télécharger le tag exact retenu par le Golden Build depuis la bibliothèque Ollama.

Résultat attendu : Le téléchargement se termine sans erreur.

04.6 · Méthode A — Vérifier que le modèle est présent

Validation

ollama list | grep -F 'qwen3.6:35b-a3b'

Pourquoi : Confirmer que le tag attendu est enregistré localement.

Résultat attendu : Une ligne qwen3.6:35b-a3b est affichée.

04.7 · Méthode A — Inspecter le modèle

Validation

ollama show qwen3.6:35b-a3b

Pourquoi : Vérifier que le modèle est lisible par Ollama avant le premier chargement.

Résultat attendu : Les informations du modèle, ses capacités et ses paramètres sont affichés.

04.8 · Méthode A — Passer à la validation commune

Lecture seule

echo 'Téléchargement Internet terminé — reprendre à l’étape 04.16'

Pourquoi : Marquer clairement la fin du chemin A.

Résultat attendu : Vous pouvez ignorer les étapes 04.9 à 04.15 si vous avez utilisé le téléchargement Internet.

04.9 · Méthode B — Vérifier le seed Golden

Validation

test -d METTRE_VOTRE_SEED_QWEN/blobs
test -d METTRE_VOTRE_SEED_QWEN/manifests
test -f METTRE_VOTRE_SEED_QWEN/SHA256SUMS
test -f METTRE_VOTRE_SEED_QWEN/.complete

Pourquoi : S’assurer que le seed contient bien les blobs, manifests et marqueurs attendus avant toute copie.

Résultat attendu : Les quatre tests terminent sans erreur.

04.10 · Méthode B — Vérifier les checksums du seed

Validation

cd METTRE_VOTRE_SEED_QWEN
sha256sum -c SHA256SUMS

Pourquoi : Le Golden Build exige une validation d’intégrité avant restauration.

Résultat attendu : Chaque fichier contrôlé retourne OK. Ne poursuivez pas en cas d’échec.

STOP immédiat : un checksum en échec signifie que le seed ne doit pas être restauré.

04.11 · Méthode B — Arrêter Ollama

Modification

sudo systemctl stop ollama

Pourquoi : Éviter de modifier le store de modèles pendant que le daemon peut y accéder.

Résultat attendu : ollama.service est arrêté.

04.12 · Méthode B — Préparer le store Ollama

Modification

sudo mkdir -p /usr/share/ollama/.ollama/models/{blobs,manifests}

Pourquoi : Créer la structure standard du store Linux si elle n’existe pas encore.

Résultat attendu : Les répertoires blobs et manifests existent.

04.13 · Méthode B — Restaurer blobs et manifests

Modification

sudo rsync -a --info=progress2 METTRE_VOTRE_SEED_QWEN/blobs/ /usr/share/ollama/.ollama/models/blobs/
sudo rsync -a METTRE_VOTRE_SEED_QWEN/manifests/ /usr/share/ollama/.ollama/models/manifests/

Pourquoi : Copier uniquement les données de modèle du seed Golden vers le store officiel Linux d’Ollama.

Résultat attendu : Les copies se terminent sans erreur.

04.14 · Méthode B — Restaurer les droits et relancer Ollama

Modification

sudo chown -R ollama:ollama /usr/share/ollama/.ollama/models
sudo systemctl start ollama

Pourquoi : Le service standard Ollama doit pouvoir lire et écrire son store de modèles.

Résultat attendu : Le service redémarre sans erreur.

04.15 · Méthode B — Vérifier la restauration

Validation

ollama list | grep -F 'qwen3.6:35b-a3b'

Pourquoi : Confirmer que les manifests restaurés sont reconnus par le daemon.

Résultat attendu : Le modèle qwen3.6:35b-a3b est visible. Si ce n’est pas le cas, ne modifiez pas les manifests à la main : revenez au seed ou utilisez la méthode A.

04.16 · Lancer un premier test Qwen

Validation

ollama run qwen3.6:35b-a3b "Réponds uniquement par : OK"

Pourquoi : Forcer le premier chargement du modèle et vérifier qu’une inférence simple fonctionne.

Résultat attendu : Le modèle répond OK ou une réponse équivalente sans erreur de chargement.

04.17 · Vérifier le placement GPU et le contexte

Validation

ollama ps

Pourquoi : Le Golden Build attend le modèle principal entièrement placé sur le GPU et un contexte de 65536.

Résultat attendu : La ligne du modèle indique qwen3.6:35b-a3b, un contexte 65536 et un placement GPU complet ou équivalent à 100% GPU.

Ne poursuivez pas si une partie significative du modèle tombe sur CPU ou si le contexte n’est pas 65536. Revenez au Module 03 et contrôlez le backend et les variables systemd.

04.18 · Tester l’API de génération locale

Validation

curl -fsS http://localhost:11434/api/generate   -H 'Content-Type: application/json'   -d '{"model":"qwen3.6:35b-a3b","prompt":"Réponds uniquement par OK","stream":false}'   | jq '{model,response,done}'

Pourquoi : Vérifier le même modèle via l’API locale qui sera utilisée ensuite par Hermes.

Résultat attendu : Une réponse JSON est retournée avec le modèle attendu, une réponse et done=true.

04.19 · Contrôler les journaux après chargement

Validation

journalctl -u ollama -n 120 --no-pager | grep -Ei 'ROCm|gfx1151|Radeon|GPU|loaded|memory'

Pourquoi : Vérifier qu’aucune erreur GPU ou mémoire n’est apparue pendant le premier chargement.

Résultat attendu : Les journaux confirment l’utilisation du GPU AMD sans erreur fatale.

04.20 · Mesurer une première performance

Optionnel

ollama run qwen3.6:35b-a3b --verbose "Explique en quelques phrases le rôle d’un hyperviseur."

Pourquoi : Conserver un premier ordre de grandeur de performance après installation. Cette mesure n’est pas un benchmark scientifique.

Résultat attendu : Ollama affiche la réponse ainsi que ses statistiques d’évaluation.

04.21 · Vérifier le modèle une dernière fois

Validation

ollama list
ollama ps

Pourquoi : Obtenir l’état final avant de passer à Hermes Agent.

Résultat attendu : Le tag qwen3.6:35b-a3b est installé et le modèle peut être chargé avec les paramètres Golden.

Pourquoi 65K alors que le modèle supporte davantage ? La bibliothèque Ollama annonce actuellement une fenêtre maximale supérieure, mais le Golden Build Jarvis fixe volontairement le contexte à 65536. Cette valeur a été validée avec la mémoire disponible et doit rester la référence tant qu’un nouveau benchmark n’a pas justifié un changement.

Store Ollama sous Linux : l’installation standard utilise /usr/share/ollama/.ollama/models. Le chemin peut être changé avec OLLAMA_MODELS, mais ce module conserve le chemin standard pour rester conforme au Golden Build.

Références officielles

Validation du Module 04

Ne passez au module suivant que lorsque tous les points applicables sont validés.

Ollama est opérationnel avant installation du modèle.

Le modèle qwen3.6:35b-a3b est installé ou restauré.

Si le seed NAS est utilisé, tous les SHA256 sont valides.

ollama show lit correctement le modèle.

Une inférence simple fonctionne.

ollama ps indique le contexte 65536.

Le modèle est placé entièrement sur le GPU ou équivalent 100% GPU.

L’API locale génère une réponse avec le modèle attendu.

Les journaux ne montrent pas d’erreur GPU ou mémoire fatale.

Le modèle est prêt pour le Module 05 — Hermes Agent.

STOP — Module 04 validé

Si tous les contrôles sont corrects, ce module est terminé. En cas d’écart, restez sur ce module et diagnostiquez la dernière étape en erreur.

← Module précédent Revenir à l’ordre des modules Ordre des modules