mdx.jpの1GPUパックとOllamaを使ってローカルLLMを実行する機会がありましたので、備忘録です。
https://mdx.jp/mdx1/p/guide/charge
以下の記事を参考にしました。
https://highreso.jp/edgehub/machinelearning/ollamainference.html
モデルのダウンロード#
ここでは、llama3.1:70bを対象にします。
ダウンロード完了後、以下のように選択可能となります。
使用例#
以下の『渋沢栄一伝記資料』を使用します。
https://github.com/shibusawa-dlab/lab1
APIの利用#
以下に記載がありました。
https://docs.openwebui.com/api/
以下でJWTトークンとは別に、APIキーを発行します。
以下が実行例です。
結果、以下が得られました。ただし、結果が返却されるまでに60s弱かかってしまいました。
六月十四日は晴れで風がなくて暑かった。朝は少し風邪気がありましたが、8時に洗面をし、その後6人の王宮の神官や同志社の安藤氏などが来訪しました。その後、大阪支店長の野口氏や神戸・名古屋支店長などの諸氏と共に嵐山に着き、三軒屋で昼食を取り、船を浮かべて大江川を遡りました。船の中では囲碁をするなど楽しく過ごしました。嵐山の緑葉は少し少なくて繁茂していませんでしたが、両岸には山花が咲き乱れて風景がよかったです。午後4時すぎに玉川楼に帰宿し、その後尾崎司法大臣の秘書黒田氏や林和太郎氏（桂氏の父）が来て話をしました。午前10時から各支店主任と共に嵐山に着き、三軒屋で昼食を取り、大江川に船を浮かべて遡りました。午後4時に帰宿し、その後玉川楼で晩酌会を開き、種々の余興もありました。夜10時すぎに散会しましたが、中井三郎兵衛氏も来てくれました。
なお、modelをllama3.1:latest（8.0B）に変更した場合、6s程度で結果が返却されました。
六月十四日 晴\u3000風ナクシテ暑気昨日ニ比シテ少ク加フルヲ覚フ。朝起八時、洗面後、三軒屋で午食した。嵐山に遡り、大江川を船で遡った。おはなを囲み、三軒屋では午食し、船中では囲碁の興味をあげた。嵐山では両岸の緑葉が少なく繁茂し、花が咲き乱れ風致があった。午後四時大江川に船が浮いて帰ると、今朝より尾崎司法大臣の秘書・黒田氏と林和太郎氏が来訪した。三軒屋で再び午食し、大江川に船を浮かべ、午後四時に玉川楼に帰り今夜は晩会を開いて種々余興があった夜十時散会となった。中井三郎兵衛も来会した
時間がかかってしまいますが、llama3.1:70b（70.6B）のほうが日本語が自然なように感じます。
まとめ#
mdx.jpの1GPUパックとOllamaを使ってローカルLLMを実行しました。
ローカルLLMの利用にあたり、参考になりましたら幸いです。