(作業メモ 20261017) ollama と ollama をつなぐ

17 10月

windows 版の ollama は GUI のインターフェイスを持っています。ollama の API サーバーを ubuntu で立てたのですが,これを windows から利用するのにこの GUI を利用できないかと思って試してみました。通常なら Open WebUI とかを使うところなんでしょうが,それはまだ試したことがありません。

クライアントとなる ollama の方のパソコンには大したビデオカードを搭載していません。それで大きな LLM を利用するには必ず他のパソコンとつなぐ必要があります。つなぐには環境変数に追加すれば良いようです。

上図のように OLLAMA__HOST を項目に追加して http://192.168.100.210:11434 などと記入します。端末を開いて ollama list を実行してみると下図のように API サーバーで用意してある言語モデルが列挙されます。

これで GUI の方もつながるかと思ったのですが,まだつながっていませんでした。windows を起動したときからなのか,下図のように ollama が常駐しています。これをいったん停止する必要がありました。

再度 ollama の GUI を起動すると接続されています。

上図のように利用できるモデルを表示させてみると,API サーバーに導入されているモデルがダウンロードせずに利用可能と表示されています。

この方法だとつなぐサーバーを切り替えるのが面倒ですが,それがほぼ固定されているならOKかなと思います。