GitHub Codespaces で Ollama をインストールして軽量な TinyLlama を試してみるメモです。
背景
Ollama が Linux 環境でかなり素直に動いてくれる印象なので GitHub Codespaces で立ち上がるコンテナ環境でも動くんじゃないかと試してみたくなりました。
あと GitHub Codespaces は起動後のストレージ容量によって無料枠を消費するんですが tinyllama だと、超軽量の 700 MB くらいなのでストレージを圧迫せずにいけるんじゃないかという目論見です。
GitHub Codespaces の無料枠の話はこちらに。
やってみる
Codespaces を何か起動したいので、とりあえずシンプルめなリポジトリで Node-RED 環境をシンプルに扱える 1ft-seabass/codespace-node-red-starter-simple をベースに起動します。
起動。
待ちます。
ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models. を参考に Linux のコマンドを実行します。
curl -fsSL https://ollama.com/install.sh | sh
こちらをターミナルで実行します。
あっさり入ります。はやい。
ollama serve
こちらで ollama を起動します。
いまのターミナルはサーバー起動中になるので、
ollama run tinyllama
ターミナルで別のターミナルタブを立ち上げてこちらを実行します。
ダウンロード中。
57m とか出てますが、実際はどんどん早まって 3 分くらいでダウンロードできました。
そして success ！入力待ちになります。
hello! でこんな回答が来ます。TinyLlama 結構応答早いですねー。
おなじみウォンバット質問。日本語はあんまり強くないので英語で聞きます。
By the way, I love a wombat! Do you think a wombat about a cute aspect?
Certainly! If you’re referring to a cute animal in the shape of a woombat, I’d say that would be a great idea! Woombats are a type of small, round, and fluffy mouse found in Australia. They have a soft, furry coat and often sleep on the ground or near plants. Their cuteness is celebrated through various cute-related activities, such as costumes, toys, and decorations. The woombat itself could be an adorable addition to your home decor or a fun character to use in games or other activities. Enjoy!
おお！ウォンバット知ってる！いい感じに語ってくれます。うまくいきました！
実際 My Codespaces で容量見てみても、ベースの環境構築で 1 GBにプラスで TinyLlama のモデルが軽量なので 1.85 GBとストレージを圧迫しない環境をつくれました！目論見通り！
2-core 8GB RAM 32 GB で、それなりのレスポンスで動くのも楽しいですね！
ちなみに 10 GBオーバーとかのガッツリ LLM で試すとあっという間にストリーム警告が出るので、軽量 LLM のありがたさが身に沁みますね～。
いろいろやってみますー。