L’histoire derrière Projekt ULTIA

Tout a commencé le soir du 19 septembre 2026 avec une idée : un JARVIS personnel. Le modèle était le majordome numérique des films Iron Man, un assistant qui connaît tout l’ordinateur, écoute et agit de lui-même.

Le point de départ était modeste. Un portable sous Windows 11 avec un AMD Ryzen 5 5500U, 16 Go de mémoire soudée et la carte graphique Radeon intégrée. L’écran du portable était cassé ; depuis, il est branché sur la télévision. Internet passait par le réseau mobile, car le routeur fixe n’était pas encore livré.

Local plutôt que cloud. La première tentative utilisait le framework d’agents Hermes et un modèle en ligne via OpenRouter. Elle a échoué le soir même, d’abord sur une requête mal formée, puis faute de crédit. Conclusion : « Au diable la connexion en ligne. » Depuis, le modèle de langage tourne en local, d’abord via Ollama. Le choix s’est porté sur un modèle non censuré, car les règles de protection devaient être fixées par le propriétaire et non par le fabricant.

Un téléchargement pénible. Le fichier du modèle, d’environ 6,5 Go, se téléchargeait par le réseau mobile, parfois à 350 Ko/s. La première nuit, le téléchargement a fait planter le routeur. Ce n’est qu’après plusieurs tentatives et un détour par un téléphone en point d’accès que le modèle était là, le soir du 20.09.

JARVIS devient ULTIA. Le 20.09., le premier tableau de bord est né : sombre, futuriste, avec un grand noyau lumineux. Après des essais en orange doré et en violet minuit, il est resté au vert toxique qu’ULTIA porte encore aujourd’hui. Au lieu de la voix masculine du film, ce serait une voix féminine. À 18 h 28, le nom est tombé : ULTIA. Comme protection supplémentaire, les trois lois de la robotique d’Asimov sont entrées dans sa façon de travailler.

Les premiers souhaits de ce jour figurent en partie encore sur la liste : connecter e-mail, agenda, WhatsApp et Discord, donner à ULTIA l’accès à l’écran et à la saisie, protéger les données sensibles avec le lecteur d’empreintes, écouter une commande vocale et la rendre muette d’un bouton ou de la voix.

Le 21 septembre, ULTIA a fonctionné pour la première fois : le modèle local comme cerveau, le tableau de bord comme visage et une note sur sa personnalité. On y lisait : assurée, humour pince-sans-rire, phrases courtes, pas de formules creuses. Cette note est devenue plus tard le fichier de personnalité qui façonne ULTIA aujourd’hui encore.

• 21.09.: le premier jour de travail avec ULTIA. Après avoir supprimé un fichier sans demander dès le premier jour, elle demande désormais avant chaque action. Elle reçoit son propre compte utilisateur avec droits d’administrateur et un coffre Obsidian comme mémoire.
• 22.09.: un service vocal avec mot d’éveil et reconnaissance vocale (faster-whisper). Dans le tableau de bord, ULTIA prend sa forme faite de points. La première ébauche « ressemblait à Minecraft » et est devenue plus fine et plus délicate.
• 24.09.: une conception détaillée de la figure dans DAZ Studio.
• 25.09.: Un clic sur la poitrine de la figure affiche les valeurs du processeur et du réseau directement depuis le système.
• 26.09.: Le modèle de langage tourne désormais avec llama.cpp au lieu d’Ollama, plus vite et plus directement.
• 06.10.: le premier vrai programme ULTIA : une fenêtre à lui au lieu du navigateur, des conversations avec le modèle de langage, de premiers outils pour les valeurs système, les commandes et la recherche web. Il démarre avec Windows.
• 08.10.: un plan de dossiers fixe, un guide pour une reconstruction propre, des tests de vitesse, une première voix avec Piper.

Rien qu’entre le 6 et le 8 octobre, le nouveau programme a été lancé 34 fois. Le principal problème était la vitesse : le modèle de langage partageait la carte graphique avec tout le reste, et chaque réponse prenait de nombreuses secondes.

Le 9 octobre, ULTIA a déménagé sur sa propre partition Linux. Sous Ubuntu, la carte graphique AMD pouvait être exploitée bien davantage : avec plus de mémoire graphique partagée, la place pour le modèle est passée de 6,5 à environ 11 Go. Le même jour, ULTIA a obtenu un accès complet au système et un mode plein écran. Pour la première fois, on a remarqué qu’elle annonçait les choses au lieu de les faire. Ce fut le début d’une longue série d’améliorations de sa fiabilité.

Le cerveau. Le modèle par défaut est Gemma 4 ; Qwen 3.5 et Hermes 3 sont disponibles en alternative. Un point de départ enregistré permet à ULTIA de répondre en quelques secondes après le démarrage. Le 23.10., la mémoire de travail des conversations a été triplée.

La mémoire. Notes, personnalité, tâches et journal de toutes les actions se trouvent dans un coffre Obsidian. Depuis le 20.10., l’historique des conversations survit aussi à un redémarrage et à un changement de modèle.

Les outils. Jusqu’au 14.10. se sont ajoutés : écrire des fichiers, fouiller des dossiers, exécuter son propre code et manier elle-même la souris et le clavier. Sont venus ensuite captures d’écran, analyse d’images, recherche de code et édition de fichiers.

Agir plus, parler moins. Les petits modèles aiment annoncer au lieu d’agir. C’est pourquoi, depuis le 25.10., ULTIA repère quand elle se contente de parler ou annonce un succès alors qu’un outil a refusé, et relance d’elle-même. Depuis le 27.10., elle sort seule des boucles sans fin.

ULTIA est une silhouette féminine faite de milliers de points lumineux. Sa couleur et son éclat traduisent son humeur. Un clic sur la tête ou la poitrine affiche les valeurs du système.

La silhouette. Du 9 au 11.10., jour après jour, il a été question de pondération et d’animation : la main droite, le coude gauche, des poses qui traversaient son propre corps, des cheveux qui semblaient « agrafés à la tête ». Le 11.10. est né un modèle entièrement reconstruit : pieds nus, bien à plat sur le sol, la main gauche sur la hanche.

Elle se pilote elle-même. Avec de courtes commandes dans sa réponse, ULTIA bouge chaque partie de son corps. En parlant, elle bouge selon chaque phrase ; au repos, elle s’étire, bâille ou fait quelques flexions.

De vrais mouvements plutôt que des formules. Depuis le 12.10., un moteur de mouvement choisit, parmi de vrais enregistrements du corps entier, le mouvement suivant le plus adapté et l’enchaîne en douceur. Aujourd’hui, près de 2 000 enregistrements librement utilisables sont disponibles, plus de 30 exercices qu’elle peut montrer.

Un poste de travail. Quand ULTIA travaille, elle tape à dix doigts sur un clavier holographique exactement le texte qu’elle est en train d’écrire. Quand elle attend un outil, elle joue avec une balle.

L’écran holographique. À côté d’elle flotte un petit écran pour les listes, les résultats et les images. Depuis fin octobre, il affiche tous les médias, des animations comme le radar de pluie aux vidéos et PDF, en plein écran sur demande.

Voix. Le 9.10., toutes les voix féminines allemandes de Piper ont été comparées ; aucune n’a convaincu. La gagnante fut une version de Chatterbox qui calcule sur la carte graphique en 4 bits. Depuis le 11.10., ULTIA parle avec elle, à partir d’une vraie locutrice. L’intonation suit son humeur et le texte apparaît phrase par phrase au rythme de la parole.

Ouïe. Un service dédié écoute en permanence et transcrit avec Whisper, en local sur le portable. ULTIA réagit à son mot d’éveil et reconnaît la voix de son propriétaire.

Vue. Si l’on dit « regarde », ULTIA reçoit l’image actuelle de la caméra. Depuis le 19.10., son modèle de langage analyse lui-même les images et peut zoomer. Elle connaît l’heure et la position du soleil et s’en sert pour interpréter la lumière de la pièce.

Sens de l’espace. Depuis le 20.10., ULTIA connaît une vue 3D de l’appartement et sait, grâce à la caméra, où se trouve son propriétaire. Par Bluetooth sur le téléphone et la tablette, elle sait si son propriétaire est à la maison et peut surveiller la pièce quand personne n’est là.

En deux nuits, les 19 et 20.10., une application Android dédiée a vu le jour. Jusqu’au 27.10., 16 versions ont suivi.

Un réseau à soi. Le téléphone et la tablette sont reliés au portable par un VPN privé, appairés par code QR. En déplacement, l’application trouve seule son chemin.

Le vrai tableau de bord en main. L’application affiche le tableau de bord d’ULTIA depuis le portable, tout fonctionne en même temps. S’y ajoutent le chat, la saisie vocale et un bouton photo.

Toujours joignable. Le téléphone écoute le mot d’éveil et vérifie la voix. S’il est verrouillé, ULTIA répond quand même, mais les droits complets n’y sont accordés qu’avec une voix reconnue de façon sûre.

Le téléphone comme organe sensoriel. Toutes les 30 secondes, l’appareil transmet position, mouvement, lumière, bruit, batterie et plus encore. En retour, ULTIA pilote le téléphone : verrouiller, sonner, lampe torche, réveil, notification, photo.

L’objectif d’ULTIA est une assistante de bureau numérique : elle doit accomplir des tâches seule, plusieurs à la fois, et pas seulement répondre.

Deux voies de travail. Depuis le 19.10., les tâches longues continuent sur une voie secondaire pendant qu’ULTIA poursuit la conversation normalement.

Routines et déclencheurs. ULTIA crée des routines fixes et des déclencheurs, comme un mouvement à l’image ou un appareil qui quitte l’appartement, puis exécute la tâche sans demander.

Ses propres outils. S’il manque une capacité à ULTIA, depuis le 23.10. elle se fabrique elle-même un outil, le teste et l’utilise aussitôt. Les clients disposent aussi de cette capacité.

Connexions. Depuis le 25.10. : e-mail, agenda, contacts, tâches, fichiers cloud, Telegram, Discord et un accès bancaire en lecture seule.

S’améliorer elle-même. ULTIA peut s’appliquer des modifications à l’essai. Si elle plante ensuite, la modification est annulée automatiquement.

Presque chaque règle de sécurité d’ULTIA est née d’un incident réel.

Sa personnalité est protégée. ULTIA peut lire son fichier de personnalité, mais jamais le modifier elle-même. Chaque tentative d’écriture ouvre une fenêtre de connexion pour le propriétaire.

L’empreinte pour ce qui est sensible. Les actions risquées exigent une validation par empreinte, sur le portable ou, depuis le 23.10., sur le téléphone. Là, c’est une clé qui ne quitte jamais l’appareil qui signe.

Plus jamais de redémarrage nocturne. Le 20.10. à 2 h 28, le portable a redémarré parce qu’une commande l’avait déclenché. Depuis, ULTIA ne peut plus redémarrer l’ordinateur par commande.

Double validation pour les mises à jour. Chaque mise à jour exige deux confirmations, d’abord sur le portable, puis sur le téléphone. Avant cela, une fenêtre de contrôle montre chaque ligne modifiée, ce qui est suspect étant surligné en couleur.

Le 20.10., la décision a été prise de vendre ULTIA. Depuis, il existe cinq éditions, un installateur, un serveur de licences dédié et un système de mises à jour qui atteint chaque composant.

Éditions. Démo, Lite et Complète, Business et la version Master du propriétaire. L’application mobile et le contrôle des appareils sont inclus dans Complète et Business.

Installateur et Windows. Un installateur pour Linux et Windows configure ULTIA avec une clé de licence. Les 21 et 22.10., la version Windows a été mise à niveau.

Serveur de licences. Un serveur dédié gère clés, clients et mises à jour. ULTIA y dispose de son propre accès, strictement limité.

Site web et serveur de messagerie. À partir du 27.10. ce site a été créé, en huit langues, avec comptes clients, commandes et téléchargements. Le 28.10., il a été mis en ligne sous son propre domaine. Un serveur de messagerie dédié est prêt.

Système de mises à jour. Chaque ordinateur porte un numéro de build composé du système, de la carte graphique et de la mémoire. Les mises à jour peuvent viser uniquement les ordinateurs compatibles ; les correctifs de sécurité et de bugs vont toujours à tous.

La dernière semaine d’octobre a servi à corriger des défauts de jeunesse, presque tous issus du vrai quotidien avec ULTIA.

• Surveillance avec la mauvaise image : ULTIA devait photographier la pièce et a enregistré l’écran. Désormais elle prend de vraies photos avec la caméra et ne peut plus détourner des outils inadaptés.
• Captures de fenêtres : ULTIA photographie des fenêtres isolées, même cachées à l’arrière-plan.
• Tous les médias sur l’écran holographique : images, animations, vidéos, son et PDF, plus un mode plein écran.
• 20 minutes pour un radar de pluie : Au lieu d’afficher le radar, ULTIA a chargé le fichier image comme texte dans la conversation. Désormais ces données n’y entrent plus, et elle sait tout de suite comment montrer quelque chose.
• Plus de place : La partition d’ULTIA est passée de 69 à 107 Go.

La prochaine grande étape est une carte graphique externe. Avec elle, ULTIA obtiendra un modèle de langage plus puissant et plus de rapidité.

• une bêta ouverte, puis l’application sur le Play Store et une application iPhone
• ses propres enregistrements de mouvement et un avatar masculin
• reconnaître les bruits, pas seulement la parole
• WhatsApp et davantage de fonctions professionnelles
• un système de sauvegarde
• rendre la version Windows pleinement utilisable au quotidien