● IA locale · Golden Build · Documentation modulaire

Jarvis, mon assistant IA local basé sur Hermes Agent

Une plateforme IA personnelle hébergée localement sous Ubuntu, construite autour de Hermes Agent, Ollama et d’un modèle Qwen 35B, avec accès Web, Telegram, voix locale, Home Assistant, Network gateway, Gmail et Google Calendar. L’objectif est de conserver les données et les traitements critiques au sein de l’infrastructure locale, avec une installation reproductible et documentée.

Consulter le guide d’installation → Découvrir l’architecture

Vue d’ensemble

Ubuntu 26.04.1 LTS AMD Ryzen AI Max 385 Radeon 8050S / ROCm 64 Go UMA Qwen3.6 35B Hermes Agent Open WebUI Telegram
65KContexte LLM
100% GPUPlacement Qwen attendu
~55–64 tok/sGénération observée
10 minWatchdog système

Stack IA locale

Le cœur du système est entièrement local : le modèle est servi par Ollama via ROCm, et Hermes orchestre les outils, la mémoire, les skills et les canaux d’accès.

Machine Jarvis

Workstation IA locale sous Ubuntu, basée sur une plateforme AMD Strix Halo avec mémoire unifiée CPU/GPU.

Ollama + ROCm

Ollama fonctionne comme moteur d’inférence local, avec Flash Attention, cache KV optimisé et contexte étendu.

Qwen3.6 35B

Modèle principal qwen3.6:35b-a3b, environ 22 Go, prévu pour rester à 100 % sur le GPU AMD.

Hermes Agent

Hermes sert d’agent principal : mémoire, skills, outils, terminal protégé, délégation contrôlée et API locale.

Open WebUI

Interface Web exécutée en conteneur et accessible uniquement depuis le réseau privé. L’accès distant passe par un VPN.

Voix locale

STT avec faster-whisper small en français sur CPU. TTS avec NeuTTS French Q4 sur CPU, conversion Opus/OGG via ffmpeg pour Telegram.

PC / mobileRéseau privé ou VPN
→
Open WebUI / TelegramTexte + voix
→
Hermes AgentSkills · mémoire · outils
DomotiqueAccès local protégé
RéseauSupervision en lecture seule
MessagerieClient local sécurisé
CalendrierLecture seule
Ollama / QwenROCm · 65K context

Hardware et utilisation mémoire

La machine repose sur une architecture à mémoire unifiée : la RAM système et la mémoire utilisée par le GPU proviennent du même pool physique. Les chiffres ci-dessous correspondent au Golden Build documenté.

Détails du hardware

PlateformeAMD Strix Halo
ProcesseurAMD Ryzen AI Max 385
GPUAMD Radeon 8050S
Architecture GPUgfx1151
Mémoire physique64 Go de mémoire unifiée (UMA)
Mémoire affectée au GPUenviron 32 Go
Mémoire visible côté Linuxenviron 30,5 Go
Backend IAROCm
Modèle principalQwen3.6 35B A3B
Taille du modèleenviron 22 Go
Contexte LLM65 536 tokens

RAM / VRAM — ordre de grandeur

Mémoire unifiée totale 64 Go
Pool GPU réservé ~32 Go / 64 Go
Modèle Qwen chargé ~22 Go / ~32 Go GPU
Mémoire disponible côté Linux ~30,5 Go / 64 Go
Important : sur cette plateforme UMA, RAM et VRAM ne sont pas deux mémoires physiques séparées. Le GPU utilise une portion de la mémoire unifiée. Le modèle principal représente environ 22 Go sur un pool GPU d’environ 32 Go, ce qui laisse de la marge pour le contexte, les buffers et les traitements GPU associés. Les services voix sont volontairement exécutés sur CPU afin de ne pas concurrencer le LLM sur la mémoire GPU.

Intégrations

Home Assistant

Intégration domotique avec droits limités. Les actions sensibles nécessitent une confirmation explicite.

Network gateway

Intégration réseau en lecture seule avec droits strictement limités.

Telegram

Canal conversationnel texte et voix, avec transcription et réponse audio locale.

Gmail

Messagerie intégrée via un client local, avec secrets conservés hors de l’interface et protégés localement.

Google Calendar

Consultation du calendrier en lecture seule, avec gestion des événements récurrents.

Recherche Web

Skill research-watch : recherche/extraction Web d’abord, puis Camofox en fallback pour pages JavaScript ou sessions persistantes.

Sécurité et principes d’exploitation

La sécurité est pensée selon un principe simple : limiter l’exposition, réduire les privilèges, isoler les composants et demander une validation humaine avant toute action sensible. Cette page ne publie volontairement aucune donnée permettant d’identifier ou de cibler l’infrastructure.

Exposition minimale

Les services sensibles ne sont pas exposés directement sur Internet. Les accès distants passent par un réseau privé sécurisé, et les composants internes restent limités au réseau local.

Droits minimaux

Chaque intégration utilise le niveau de privilège le plus faible possible. Les services de supervision sont privilégiés en lecture seule et les actions d’écriture sont limitées aux cas réellement nécessaires.

Secrets protégés

Les secrets, identifiants d’accès et informations sensibles sont stockés localement dans des fichiers protégés. Ils ne sont ni intégrés au code, ni affichés dans l’interface, ni publiés dans les sauvegardes publiques.

Confirmation humaine

Les opérations pouvant impacter le système, le réseau, les services critiques, la domotique sensible ou les données nécessitent une approbation explicite avant exécution.

Lecture avant action

Hermes vérifie autant que possible l’état réel avant d’agir, puis contrôle le résultat après l’action. Les diagnostics sont séparés des opérations de modification.

Isolation des composants

Les composants d’IA, d’automatisation Web, de supervision et d’interface sont cloisonnés autant que possible. L’objectif est qu’un service compromis ne donne pas automatiquement accès au reste de l’environnement.

Pas de contournement

Les outils de navigation et d’automatisation ne sont pas utilisés pour contourner CAPTCHA, paywalls, authentifications ou restrictions d’accès. Ils restent dans un cadre d’usage normal et contrôlé.

Sauvegarde contrôlée

Les sauvegardes sont vérifiées avant restauration. Les archives sont contrôlées par empreinte, restaurées de façon prudente et accompagnées de mécanismes de retour arrière.

Supervision continue

Un contrôle de santé périodique vérifie les composants principaux. Les alertes sont déclenchées en cas de changement d’état afin d’éviter les notifications inutiles et de détecter rapidement une anomalie.

Principes retenus

  • Accès externe via réseau privé sécurisé uniquement.
  • Privilèges minimaux pour chaque intégration.
  • Supervision réseau en lecture seule dès que possible.
  • Secrets séparés de la documentation et des interfaces.
  • Validation humaine avant toute action critique.
  • Contrôle de l’état avant et après modification.

Règles d’exploitation

  • Ne pas exposer directement les services d’administration.
  • Ne pas publier d’adresse réseau, identifiant, secret ou détail d’authentification.
  • Ne pas lancer d’action destructive ou irréversible sans confirmation.
  • Ne pas faire de restauration complète sans vérification préalable.
  • Ne pas forcer un changement de backend ou de performance sans mesure.
  • Traiter les logs anciens comme des indices, pas comme une panne active.

Sauvegarde et installation

Le “Golden Build” vise à pouvoir installer Jarvis de manière reproductible à partir d’un Ubuntu minimal.

Backup quotidien

Snapshot cohérent de Hermes, Camofox, Open WebUI et caches voix, archive locale contrôlée, copie NFS et vérification SHA256.

NAS NFS

Sauvegarde vers un stockage réseau privé avec rotation automatique.

Seed du modèle

Le modèle principal est conservé séparément sur le stockage de sauvegarde afin de permettre une restauration hors ligne vérifiée.

Bootstrap

jarvis-bootstrap v1.1 restaure la pile dans l’ordre : base système, IA, backup Golden, voix, Camofox, Open WebUI, timers et contrôle final.

Health check

jarvis-health contrôle système, mémoire, stockage, GPU/ROCm, Ollama, Hermes, WebUI, Home Assistant, Network gateway et réseau.

Watchdog

Exécution toutes les 10 minutes ; alerte Telegram uniquement lors d’un changement d’état, puis notification au rétablissement.

Après la validation finale : place aux prompts

Les Modules 00 à 16 sont volontairement détaillés commande par commande : avant de déléguer des actions à un agent, il faut d’abord installer, sécuriser, sauvegarder et valider l’agent lui-même. Une fois le cœur Jarvis réceptionné au Module 16, la méthode change.

Pourquoi pas avant ?

Avant la validation finale, Hermes fait partie du système que l’on est encore en train de construire. Les commandes manuelles permettent de comprendre l’état réel, de vérifier les permissions et de diagnostiquer précisément un écart sans dépendre d’un agent potentiellement mal configuré.

Pourquoi maintenant ?

Après le Module 16, Hermes, ses hooks de sécurité, le backup et le watchdog ont été testés. Les extensions optionnelles peuvent donc être confiées à des prompts d’installation contraints : Hermes exécute, demande les secrets au bon moment, valide le résultat et laisse les actions sensibles sous contrôle humain. L’Option 01 fournit désormais un prompt générique adaptable pour encadrer proprement les besoins qui ne disposent pas encore d’un prompt spécialisé.

Options — Après validation finale, place aux prompts → Option 01 · Prompt générique Option 02 · Gmail / Himalaya Option 03 · Google Calendar / iCal Option 04 · UniFi Option 05 · Home Assistant

Exemple de rapport quotidien IA

Jarvis peut également générer automatiquement des synthèses quotidiennes sur l’actualité IA et infrastructure, avec un focus sur les tendances technologiques, les annonces hardware et les impacts potentiels pour les workloads locaux.

Exemple de sortie générée automatiquement

7. Macro Synthèse

La consolidation NVIDIA s'affirme en tant que pivot de l'écosystème IA : Blackwell est en production de masse, Vera Rubin est confirmé et le deal Groq US$20 Mrds marque l'intégration verticale (GPU + LPU + CPU). Le capex data center hyperscaler à +59% YoY confirme un cycle d'investissement soutenu à travers 2026.

Concurrentiellement, AMD ROCm 7.10 progresse sur Strix Halo avec le nouveau build system TheRock — bon signe pour nos workloads locaux. Intel maintient sa position Gaudi 3 comme alternative HBM-based (US$125k vs NVIDIA), et Dell / HPE / Amazon diversifient avec du hardware souverain.

La tendance de fond : l'IA se déplace de l'entraînement vers l'inférence à échelle massive (Rubin CPX, Groq LP30, Dell AI Factory agentic blueprints).

📌 Prochain focus : vérifier la disponibilité ROCm 7.2 production pour Strix Halo + GTC 2026 détaillant Vera Rubin NVL8 / DGX.
Les rapports peuvent être générés de manière planifiée et adaptés selon les sujets suivis : IA locale, GPU, ROCm, NVIDIA, AMD, hyperscalers, serveurs, agents ou infrastructure.