mdx.jpの1GPUパックとOllamaを使ってローカルLLMを実行する
概要 mdx.jpの1GPUパックとOllamaを使ってローカルLLMを実行する機会がありましたので、備忘録です。 https://mdx.jp/mdx1/p/guide/charge 参考 以下の記事を参考にしました。 https://highreso.jp/edgehub/machinelearning/ollamainference.html モデルのダウンロード ここでは、llama3.1:70bを対象にします。 ダウンロード完了後、以下のように選択可能となります。 使用例 以下の『渋沢栄一伝記資料』を使用します。 https://github.com/shibusawa-dlab/lab1 APIの利用 以下に記載がありました。 https://docs.openwebui.com/api/ 以下でJWTトークンとは別に、APIキーを発行します。 以下が実行例です。 i i t 朝 A u h } t d } r # p p m m e 来 P r e h a e r r p p x 少 I l a r t s レ i i o o t シ K d e a p ス n n r r ク E = e " " s " " ] o ポ t t t t = 風 Y r A C = m m n ン ( ( 邪 " s u o = o e s ス r r r j 気 = h t n { d s e の e e e s ナ t = h t 3 e s { } 表 s s q o ' ル " t o e 0 l a = 示 p p u n 六 ニ s p { r n 0 " g o o e 月 ヨ k : i t : e r n n s 十 リ - / z - s " " e s s t 四 晏 x / a T " " r c q e e s 日 起 x l t y l : o o u . . 、 x o i p l l n e s j 日 x c o e a [ e t s t s 八 " a n " m " e t a o 晴 時 l " : a : n s t n h : 3 t . u ( 風 洗 o " . " " p s ) ナ 面 s f a 1 u : o _ ) ク ヲ t " p : s s c シ ナ : B p 7 e f t o テ ス 8 e l 0 r " ( d 暑 、 0 a i b " 次 u e 気 後 8 r c " , の r ) 昨 、 0 e a , テ l 日 六 / r t キ , ニ 孫 a i ス 比 王 p { o ト h シ 宮 i A n は e テ ノ / P / 渋 a 少 神 c I j 沢 d ク 官 h K s 栄 e 加 又 a E o 一 r フ ハ t Y n の s ル 同 / } " 日 = ヲ 志 c " 記 h 覚 社 o , の e フ 員 m 一 a p 部 d 安 l で e 藤 e す r t 。 s 氏 i テ , 等 o キ 来 n ス d 訪 s ト a ス " を t 、 { a t = 十 h j 時 r s e o 大 s n 阪 } . 支 字 d 店 程 u 長 度 m に p 野 要 s 口 約 ( し d 、 て a く t 神 だ a 戸 さ ) い ) 杉 。 田 要 約 、 文 の 名 み 古 を 屋 改 行 清 せ 水 ず に 及 返 し 西 て 京 く だ 支 さ 店 い 長 。 句 中 読 川 点 を 、 適 其 宜 他 使 用 小 し 林 て く 、 だ さ 片 い 野 。 \ 、 n \ 前 n 原 { t 等 e ノ x 諸 t 氏 } ヲ " 伴 ヒ 嵐 山 ニ 抵 リ 、 三 軒 屋 ニ テ 午 飧 シ 、 船 ヲ 浮 ヘ テ 大 江 川 《 （ 堰 ） 》 ヲ 遡 ル 、 船 中 囲 碁 ノ 興 ア リ 、 嵐 山 ノ 緑 葉 少 シ ク 繁 茂 ニ 過 ル モ 両 岸 ニ ハ 山 花 咲 乱 レ テ 頗 ル 風 致 ア リ 、 午 後 四 時 過 玉 川 楼 ニ 帰 宿 ス 、 今 朝 、 尾 崎 司 法 大 臣 ノ 秘 書 黒 田 氏 来 ル 、 又 、 林 和 太 郎 氏 （ 桂 氏 ノ 父 ） 来 話 ス 、 午 前 十 時 ヨ リ 各 支 店 主 任 ト 共 ニ 嵐 山 ニ 抵 リ 三 軒 屋 ニ テ 午 飧 ス 、 後 、 大 江 川 《 （ 大 堰 川 ） 》 ニ 船 ヲ 浮 ヘ 、 午 後 四 時 帰 宿 ス 、 後 、 玉 川 楼 ニ 於 テ 晩 飧 会 ヲ 開 ク 、 種 々 ノ 余 興 ア リ 、 夜 十 時 散 会 ス 、 中 井 三 郎 兵 衛 氏 モ 来 会 ス ' ' ' 結果、以下が得られました。ただし、結果が返却されるまでに60s弱かかってしまいました。 ...