Windows WSL2 Ubuntu + Docker + Ollama で IBM の LLM granite-code を動かしたメモです。

経緯

Ollama のモデル には様々なモデルがあって試すのが楽しいのですが、なんと、

最近オープンになった IBM の LLM もあるかなーと granite と検索したところ、

granite-code 見つかりましてさっそく試してみたくなりました！

やってみる

https://www.1ft-seabass.jp/memo/2024/05/26/windows-wsl2-ubuntu-docker-ollama-llama3/

Windows の WSL2 で入れた Ubuntu で Docker + Ollama + llama3 を動かしたメモ – 1ft-seabass.jp.MEMO

こちらの環境を使います。

さきほどの granite-code をよく見ると、最近リリースした 0.1.39 じゃないとダメよと書かれているので先週インストールした 0.1.38 からアップデートします。

Dockerイメージとコンテナの削除方法 #Docker - Qiita

この辺りを参考に

• 動いている ollama コンテナを停止
• 停止した ollama コンテナを削除
• 0.1.38 の ollama イメージを削除

を行いました。

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

を実行すると 0.1.39 の最新のものが入りました。

granite-code のところもコマンドを把握して、

docker exec -it ollama ollama run granite-code:34b

を実行します。

19GB のモデルが入ります！

しばらく待つとチャットができます。うまく返答来ました！

このように、うまく返答してくれます！

いやー IBM の AI をオープンにしていく流れが、このように手元でサッと試せるようなところですぐに実感できるのが楽しいです！

いろいろと試してみますー。