WindowsにOllamaをインストールしてローカルLLM環境を構築する

はじめに

前回、OpenClaudeのインストールを行いましたのでその続きになります。
ローカルモデルと連携させて動かすことを考えているので今回はOllama（オラマ）をインストールしてローカルLLM環境を構築していきます。

動作環境

検証用PCの環境とコメントは以下のとおりです。

Ollamaインストール

• 公式サイトにアクセスしてからダウンロードページに移動して、Windows版インストーラをダウンロードする
  https://ollama.com/
  
• ダウンロードが完了したら、OllamaSetup.exeを実行する
  Installを押下してあとは画面の指示に従って進めていくだけです。
  
• 知っておくべきこと
  • インストール時にOllamaへのパスが自動で設定されますが、インストール前から開いていたPowerShellウインドウには設定が反映されないため再起動が必要です
  • Ollamaをインストールすると、タスクトレイに常駐してOllamaサーバがバックグラウンド実行された状態になります

実行方法

Ollamaサイトでcode生成に特化していそうなモデルを検索してみる

code ﾂｷ Ollama

Search for models on Ollama.

ollama.com

候補の中から、今回はqwen2.5-coderを実行してみます。
chromeのAIモードで聞いてみたところ、”3080 Tiをお持ちであれば、7Bモデルは「設定を気にせず最高品質で振り回せる」サイズ感”ということですので以下コマンドでよさそうです。

ollama run qwen2.5-coder:7b

未取得のモデルは、自動的にダウンロード（pull）してから起動してくれます。
このモデルは、5GB弱のファイルサイズでした。回線速度に応じて時間がかかりますのでしばらく待ちましょう。

pulling manifest
pulling 60e05f210007: 100% ▕██████████████████████████████████████████████████████████▏ 4.7 GB
pulling 66b9ea09bd5b: 100% ▕██████████████████████████████████████████████████████████▏   68 B
pulling 1e65450c3067: 100% ▕██████████████████████████████████████████████████████████▏ 1.6 KB
pulling 832dd9e00a68: 100% ▕██████████████████████████████████████████████████████████▏  11 KB
pulling d9bb33f27869: 100% ▕██████████████████████████████████████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success

準備が整ったら、プロンプトが表示されます。
ここに質問や指示を送ることで、AIが応答を生成してくれます。

>>> Send a message (/? for help)

利用サンプル

試しに1から10までを足し算するコードを書いてもらいました。
プロンプトに「javaで1から10までを足し算するコードを書いてください」と指示してEnterを押します。

>>> javaで1から10までを足し算するコードを書いてください
以下はJavaで1から10までの数を足し合わせるコードです：

```java
public class SumNumbers {
    public static void main(String[] args) {
        int sum = 0;
        for (int i = 1; i <= 10; i++) {
            sum += i;
        }
        System.out.println("1から10までの合計: " + sum);
    }
}
```

このコードでは、for文を使用して1から10までの数を順に足し合わせています。sumという変数に結果が累積され、最後にその合計値を出力しています。

AIとの対話を終了してプロンプトから抜けるには「/bye」と入力してEnterを押します。

>>> /bye

おわりに

WindowsにOllamaをインストールしてローカルLLM環境を構築することができました。
次はOpenClaudeと連携してローカルLLMを利用してみようと考えています。