GitHub Codespaces で Ollama をインストールして軽量な TinyLlama を試してみるメモ

GitHub Codespaces で Ollama をインストールして軽量な TinyLlama を試してみるメモです。

背景

Ollama が Linux 環境でかなり素直に動いてくれる印象なので GitHub Codespaces で立ち上がるコンテナ環境でも動くんじゃないかと試してみたくなりました。

github-codespaces-ollama-tinyllama_09.png

あと GitHub Codespaces は起動後のストレージ容量によって無料枠を消費するんですが tinyllama だと、超軽量の 700 MB くらいなのでストレージを圧迫せずにいけるんじゃないかという目論見です。

GitHub Codespaces の無料枠の話はこちらに。

やってみる

github-codespaces-ollama-tinyllama_00.png

Codespaces を何か起動したいので、とりあえずシンプルめなリポジトリで Node-RED 環境をシンプルに扱える 1ft-seabass/codespace-node-red-starter-simple をベースに起動します。

github-codespaces-ollama-tinyllama_10.png

起動。

github-codespaces-ollama-tinyllama_11.png

待ちます。

github-codespaces-ollama-tinyllama_05.png

ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models. を参考に Linux のコマンドを実行します。

curl -fsSL https://ollama.com/install.sh | sh

こちらをターミナルで実行します。

github-codespaces-ollama-tinyllama_12.png

あっさり入ります。はやい。

ollama serve

こちらで ollama を起動します。

github-codespaces-ollama-tinyllama_01.png

いまのターミナルはサーバー起動中になるので、

ollama run tinyllama

ターミナルで別のターミナルタブを立ち上げてこちらを実行します。

github-codespaces-ollama-tinyllama_07.png

ダウンロード中。

57m とか出てますが、実際はどんどん早まって 3 分くらいでダウンロードできました。

github-codespaces-ollama-tinyllama_04.png

そして success !入力待ちになります。

github-codespaces-ollama-tinyllama_08.png

hello! でこんな回答が来ます。TinyLlama 結構応答早いですねー。

github-codespaces-ollama-tinyllama_06.png

おなじみウォンバット質問。日本語はあんまり強くないので英語で聞きます。

By the way, I love a wombat! Do you think a wombat about a cute aspect?

Certainly! If you’re referring to a cute animal in the shape of a woombat, I’d say that would be a great idea! Woombats are a type of small, round, and fluffy mouse found in Australia. They have a soft, furry coat and often sleep on the ground or near plants. Their cuteness is celebrated through various cute-related activities, such as costumes, toys, and decorations. The woombat itself could be an adorable addition to your home decor or a fun character to use in games or other activities. Enjoy!

おお!ウォンバット知ってる!いい感じに語ってくれます。うまくいきました!

github-codespaces-ollama-tinyllama_03.png

実際 My Codespaces で容量見てみても、ベースの環境構築で 1 GBにプラスで TinyLlama のモデルが軽量なので 1.85 GBとストレージを圧迫しない環境をつくれました!目論見通り!

2-core 8GB RAM 32 GB で、それなりのレスポンスで動くのも楽しいですね!

github-codespaces-ollama-tinyllama_02.png

ちなみに 10 GBオーバーとかのガッツリ LLM で試すとあっという間にストリーム警告が出るので、軽量 LLM のありがたさが身に沁みますね~。

いろいろやってみますー。