Projekt ULTIA の誕生ストーリー

すべては 2026 年 9 月 19 日の夜、ひとつのアイデアから始まりました。パーソナル JARVIS です。お手本は映画『アイアンマン』のデジタル執事。パソコン全体を把握し、話を聞き、自分で行動するアシスタントです。

出発点は質素でした。 Windows 11 のノートパソコンに AMD Ryzen 5 5500U、オンボードの 16 GB メモリ、内蔵の Radeon グラフィックス。画面が壊れていたので、それ以来テレビにつないで使っています。固定回線のルーターがまだ届いておらず、インターネットはモバイル回線でした。

クラウドではなくローカルで。 最初の試みでは、エージェントフレームワーク Hermes と OpenRouter 経由のオンラインモデルを使いました。その夜のうちに、まず不正なリクエストで、次に残高不足で失敗しました。結論は「もうオンライン接続なんてどうでもいい」。それ以来、言語モデルはローカルで動いています。最初は Ollama 経由でした。選んだのは検閲なしのモデル。保護のルールはメーカーではなく持ち主が決めるべきだからです。

苦労したダウンロード。 約 6.5 GB のモデルファイルをモバイル回線で、時には 350 KB/s でダウンロードしました。最初の夜にはダウンロードでルーターがダウン。何度も試し、スマートフォンをアクセスポイントにする回り道をして、ようやく 9 月 20 日の夜にモデルがそろいました。

JARVIS が ULTIA になる。 9 月 20 日、最初のダッシュボードが完成しました。暗く未来的で、中央に大きく光るコアがあります。オレンジゴールドやミッドナイトパープルを試したあと、今も ULTIA がまとう毒々しいグリーンに落ち着きました。映画の男性の声ではなく、女性の声にすることに。18 時 28 分、名前が決まりました。ULTIA です。追加の安全策として、アシモフのロボット工学三原則が彼女の働き方に組み込まれました。

その日の最初の願い の一部は今もリストに残っています。メール、カレンダー、WhatsApp、Discord の連携、ULTIA に画面と入力へのアクセスを与えること、指紋リーダーで機密データを守ること、音声コマンドを聞き取ること、ボタンや呼びかけでミュートできること。

9 月 21 日、ULTIA が初めて動きました。ローカルモデルが頭脳、ダッシュボードが顔、そして性格についてのメモ。そこには「堂々として、ドライなユーモア、短い文、決まり文句なし」とありました。このメモが後に、今も ULTIA を形づくる性格ファイルになりました。

• 21.09.: ULTIA との最初の仕事の日。初日にいきなり確認なしでファイルを削除したため、今ではすべての操作の前に確認します。管理者権限付きの専用ユーザーアカウントと、記憶としての Obsidian 保管庫を手に入れました。
• 22.09.: ウェイクワードと音声認識（faster-whisper）を備えた音声サービス。ダッシュボードでは、ULTIA が点でできた姿になりました。最初の案は「マインクラフトみたい」で、より繊細で華奢になりました。
• 24.09.: DAZ Studio でフィギュアを詳細にデザイン。
• 25.09.: フィギュアの胸をクリックすると、プロセッサーとネットワークの値をシステムから直接表示します。
• 26.09.: 言語モデルが Ollama ではなく llama.cpp で動くようになり、より速く、より直接的に。
• 06.10.: 初めての本格的な ULTIA プログラム。ブラウザではなく専用ウィンドウ、言語モデルとの会話、システム値・コマンド・ウェブ検索のための最初のツール。Windows と一緒に起動します。
• 08.10.: 決まったフォルダー構成、クリーンな再構築の手順書、速度テスト、Piper による最初の声。

10 月 6 日から 8 日だけで、新しいプログラムは 34 回起動されました。最大の問題は速度。言語モデルがグラフィックスを他のすべてと共有していたため、毎回の返答に何秒もかかりました。

10 月 9 日、ULTIA は専用の Linux パーティションに引っ越しました。Ubuntu では AMD のグラフィックスをずっと活用でき、共有グラフィックメモリを増やしたことで、モデル用の領域は 6.5 GB から約 11 GB に広がりました。同じ日に ULTIA はシステムへのフルアクセスと全画面モードを得ました。そして初めて、彼女が実行する代わりに宣言だけすることがあると気づきました。それが、信頼性を高める長い改善の始まりでした。

頭脳。 標準は Gemma 4 モデルで、代替として Qwen 3.5 と Hermes 3 を用意しています。保存した起動ポイントのおかげで、ULTIA は起動後すぐに数秒で返答します。10 月 23 日、会話用の作業メモリが 3 倍になりました。

記憶。 メモ、性格、タスク、すべての操作の記録は Obsidian 保管庫にあります。10 月 20 日以降、会話の履歴は再起動やモデルの切り替えにも耐えます。

ツール。 10 月 14 日までに、ファイルの書き込み、フォルダーの検索、自分のコードの実行、マウスとキーボードの自力操作が加わりました。その後、スクリーンショット、画像分析、コード検索、ファイル編集が続きました。

話すより、行動を。 小さなモデルは行動するより宣言しがちです。そこで 10 月 25 日以降、ULTIA は自分が話しているだけのときや、ツールが拒否したのに成功だと言っているときに気づき、自ら確認し直します。10 月 27 日以降は、無限ループから自分で抜け出します。

ULTIA は何千もの光る点でできた女性の姿です。色と輝きが気分を表します。頭や胸をクリックするとシステムの値が表示されます。

フィギュア。 10 月 9 日から 11 日まで、毎日ウェイトとアニメーションに取り組みました。右手、左ひじ、自分の体を突き抜けるポーズ、「頭にホチキスで留めた」ような髪。10 月 11 日、完全に作り直したモデルが誕生しました。裸足で床にしっかり立ち、左手を腰に当てた姿です。

自分で体を動かす。 返答の中の短いコマンドで、ULTIA は体のあらゆる部分を動かします。話すときは一文ごとに合わせて動き、何もしていないときは伸びをしたり、あくびをしたり、スクワットをしたりします。

数式ではなく本物の動き。 10 月 12 日以降、モーションエンジンが本物の全身モーションキャプチャから次に合う動きを選び、なめらかにつなぎます。現在は自由に使える約 2,000 の動きに加え、手本を見せられる 30 種類以上の運動があります。

作業スペース。 仕事中の ULTIA は、ホログラムのキーボードで、今書いている文章をそのまま十本指でタイプします。ツールを待つ間はボールで遊びます。

ホロスクリーン。 彼女の横には、リストや結果、画像を表示する小さな画面が浮かんでいます。10 月末からは、雨雲レーダーのようなアニメーションから動画や PDF まで、あらゆるメディアを表示でき、必要なら全画面にもなります。

声。 10 月 9 日、Piper のドイツ語女性音声をすべて比べましたが、どれも決め手に欠けました。勝ったのは、グラフィックス上で 4 ビットで計算する Chatterbox の一版です。10 月 11 日から ULTIA はこの声で話し、実在の女性ナレーターを手本にしています。抑揚は気分に合わせて変わり、文字は話す速さに合わせて一文ずつ表示されます。

聴覚。 専用のサービスが常に耳を傾け、ノートパソコン上でローカルに Whisper で文字起こしします。ULTIA はウェイクワードに反応し、持ち主の声を聞き分けます。

視覚。 「見て」と言えば、ULTIA は現在のカメラ映像を受け取ります。10 月 19 日以降は言語モデルが自分で画像を分析し、拡大もできます。時刻と太陽の位置を知っていて、それをもとに部屋の光を読み取ります。

空間の感覚。 10 月 20 日以降、ULTIA は部屋の 3D 全体図を把握し、カメラで持ち主がどこに立っているかを知ります。スマホとタブレットの Bluetooth で持ち主が在宅かどうかを判断し、誰もいないときは部屋を見守れます。

10 月 19 日と 20 日の二晩で、専用の Android アプリが誕生しました。10 月 27 日までに 16 のバージョンが続きました。

専用ネットワーク。 スマホとタブレットは専用の VPN でノートパソコンとつながり、QR コードでペアリングします。外出先では、アプリが自分で接続経路を見つけます。

本物のダッシュボードを手のひらに。 アプリはノートパソコンの ULTIA のダッシュボードを表示し、すべてが同時に動きます。さらにチャット、音声入力、写真ボタンもあります。

いつでもつながる。 スマホはウェイクワードを聞き取り、声を確認します。ロック中でも ULTIA は返答しますが、完全な権限は声が確実に認識されたときだけです。

感覚器官としてのスマホ。 端末は 30 秒ごとに位置、動き、明るさ、騒音、バッテリーなどを報告します。逆に ULTIA はスマホを操作します。ロック、着信音、ライト、目覚まし、通知、写真。

ULTIA の目標はデジタルの事務アシスタントです。答えるだけでなく、自分でタスクをこなし、しかも同時に複数を処理します。

2 本の作業レーン。 10 月 19 日以降、長い作業はサブレーンで続き、その間も ULTIA は普段どおり会話を続けます。

ルーティンとトリガー。 ULTIA は決まったルーティンやトリガーを設定します。たとえば映像の中の動きや、端末が部屋を離れたときなど。そして確認なしでタスクを実行します。

自分のツール。 足りない能力があれば、10 月 23 日以降の ULTIA は自分でツールを作り、テストしてすぐに使います。この機能はお客様にもあります。

連携。 10 月 25 日から：メール、カレンダー、連絡先、タスク、クラウドファイル、Telegram、Discord、そして閲覧専用の銀行アクセス。

自分を改善する。 ULTIA は自分への変更を試しに適用できます。その後に落ちた場合、変更は自動的に元に戻されます。

ULTIA のセキュリティルールのほとんどは、実際の出来事から生まれました。

性格は守られている。 ULTIA は自分の性格ファイルを読めますが、自分で変更することは決してできません。書き込もうとするたびに、持ち主向けのログイン画面が開きます。

大事なことは指紋で。 リスクのある操作には指紋による承認が必要です。ノートパソコンで、または 10 月 23 日以降はスマホで。スマホでは、端末から決して出ない鍵が署名します。

夜中の再起動はもうない。 10 月 20 日の午前 2 時 28 分、あるコマンドが原因でノートパソコンが再起動しました。それ以来、ULTIA はコマンドでパソコンを再起動できなくなりました。

アップデートは二重承認。 すべてのアップデートには 2 回の確認が必要です。まずノートパソコン、次にスマホ。その前に確認画面が変更された行をすべて表示し、怪しい箇所は色で示します。

10 月 20 日、ULTIA を販売すると決めました。それ以来、5 つのエディション、インストーラー、専用のライセンスサーバー、そしてあらゆる部分に届くアップデートの仕組みがあります。

エディション。 Demo、Lite とフル版、Business、そして持ち主専用の Master 版。スマホアプリと端末の操作はフル版と Business に含まれます。

インストーラーと Windows。 Linux と Windows 用のインストーラーが、ライセンスキーで ULTIA をセットアップします。10 月 21 日と 22 日に Windows 版が追いつきました。

ライセンスサーバー。 専用サーバーがキー、顧客、アップデートを管理します。ULTIA はそこに、厳しく制限された専用のアクセス権を持っています。

ウェブサイトとメールサーバー。 10 月 27 日からこのウェブサイトを作りました。8 つの言語に対応し、顧客アカウント、注文、ダウンロードがあります。10 月 28 日に独自ドメインで公開しました。専用のメールサーバーも準備済みです。

アップデートの仕組み。 各パソコンには、システム、グラフィックカード、メモリから成るビルド番号があります。アップデートは条件に合うパソコンだけに届けることもでき、セキュリティ修正と不具合修正は常に全員に届きます。

10 月最後の週は、初期の不具合の修正に費やしました。ほとんどが ULTIA との実際の日常から見つかったものです。

• 見守りで間違った画像： ULTIA は部屋を撮影するはずが、画面を保存していました。今はカメラで本物の写真を撮り、合わないツールを別の目的に使うこともできなくなりました。
• ウィンドウのスクリーンショット： ULTIA は個々のウィンドウを撮影できます。背景に隠れたウィンドウもです。
• ホロスクリーンであらゆるメディア： 画像、アニメーション、動画、音声、PDF に加え、全画面モード。
• 雨雲レーダーに 20 分： レーダーを表示する代わりに、ULTIA は画像ファイルをテキストとして会話に読み込んでいました。今ではそうしたデータは入らず、表示の仕方もすぐにわかります。
• 容量の拡大： ULTIA のパーティションは 69 GB から 107 GB に増えました。

次の大きな一歩は外付けのグラフィックカードです。これで ULTIA はより強力な言語モデルと、さらなるスピードを手に入れます。

• オープンベータ、その後 Play ストアでのアプリ公開と iPhone アプリ
• 自前のモーションキャプチャと男性のアバター
• 言葉だけでなく物音も認識すること
• WhatsApp とビジネス向け機能の追加
• バックアップの仕組み
• Windows 版を日常で完全に使えるようにすること