Azure OpenAIとLlamaIndexとGradioを用いたRAG型チャットの作成

概要 Azure OpenAIとLlamaIndexとGradioを用いたRAG型チャットの作成を試みたので、備忘録です。 Azure OpenAI Azure OpenAIを作成します。 その後、「エンドポイント:エンドポイントを表示するには、ここをクリックします」をクリックして、エンドポイントとキーを控えておきます。 その後、Azure OpenAI Serviceに移動します。 「モデルカタログ」に移動して、「gpt-4o」と「text-embedding-3-small」をデプロイします。 結果、以下のように表示されます。 テキストのダウンロード 今回は、青空文庫で公開されている源氏物語を対象とします。 https://www.aozora.gr.jp/index_pages/person52.html 以下により、一括ダウンロードします。 i f i u r s f m r m r e e o p o p l s l r o m o p e r r = o c s m f t b t n t e e o s " s i l m r r 4 o h e o e b e s t n c e m a f f q i t = s t r e o o o u m p i s m z r r e p s r = o b o s o : e n = e r m i a f o i r r s d t o w t r / q r r a e f o i p f e e o i x s i s t / u e i s _ t z l a s s u v t . t g e s n e i u a m o e t o p p p m h B e s p l n r d e a r n h s c # o o = = a f e n t o s e l a t o a a . o n n = k o . a j s n e c m s t a z _ m = p n p s s s d e p w u i . s l t e a d o u e a t a e e B o i d e r t . g e e i m = a r r f t i s . e u v i n i i d e [ c o b i t a l = " h n s = e a p . r ( t f l t " t n e [ n a _ d . u n u . g s o e u . ( s i [ r ] [ u i a a e e r c t f e ( p ( l i u e o " s m " r n o t x e o i i t o a t S t r l n m : e l l z a i q d f n _ s t x o c l e s e m a s a o / s u i u d t . h t u . ) c : m b b o r t t e n l ( e p , ) p u . t b e e = z a e s s g S " x a - j i e r l o _ x ( t o d t t " t s o r [ " m r u t o s = u i ( h w o o n s " ] e a r / p . p v ) . " k n s " m t _ l { a g r ( " . d ) y ( " ] e = a u . f t e e r , s i o ) ] t = d r s i h t s e t r a . a a l p l ) ( p s c r n s a d " t s l e : a o p l i a c a a a : i n o n o a p m f . t o [ t a z s n s ( e : j a z " ( m o e s s ) ( p " o v " e r . e _ o / ] r a / } a a . = p d : a l " . _ p t " a a " u ) t u p e m t t : e [ x r a x a h a " - t l r t i ) / ] 1 " ) e , n , i . ] n _ n s . t " t e f p s _ h e x o l p e t x i . i l n m t s j t i c l " t s ( t o . ) _ o " ( d p o n , " i a k " . n r = " " g s T ) ) e r [ r u 0 " e ] ) ) Indexの作成 環境変数を用意します。 A A Z Z U U R R E E _ _ O O P P E E N N A A I I _ _ E A N P D I P _ O K I E N Y T = = x x x x x x x x そして、以下により、indexを作成します。 i f f f # a a a # l # e S S # d # i i m r r r p p z l m e e o . n n p o o o 環 i i u L m E b t t D c l 保 d d o m m m 境 _ _ r L m e t t a u o 存 e e r 変 k v e M = m d a a a b d m d a a a i i t m i a x x t l l l 数 e e _ o e p z p e _ o e p z p n n a e n d . l l l y r e A d p i u i d m d p i u i g g n p _ = s o a a a s n z e l _ r _ d o e l _ r _ s s S t u d t s m m m = i d u l o k e v i d l o k e v . . o s t a V o a a a o p r = y e _ e n e = y e _ e l e u _ t e r _ _ _ o n o e " m y e r g l " m y e r l m r = d a c a i i i s i O g e = n s t e = n s m b c i ( t g n n n . = n p p n a d i = e n a d i e e S r ) o e d d d g t e t t p p o x t p p o = d i = r _ e e e e " n - _ i o n A t _ i o n _ m " S c x x x t 2 = A 4 n _ i = z - n _ i = l m p . t o . . . e 0 I o a k n a u e a k n a l o l / o n l e c n 2 o ( " m e t p r m m e t p m d D e d r t l m o v 4 s , e y = i e b e y = i e o D a e e m b r ( - . = , a _ O e = , a _ l c i t I x s e e " 0 g " z v p d " z v u r a n t . d A 5 e g u e e d t u e = m e / d . a d i Z - t p r r n i e r r e c t e p z i m U 0 e t e s A n x e s e n t e x e u n p R 1 n - _ i I g t _ i m t o x . r r g o E - v 4 e o E - - e o b s r t f s e s r _ p ( o n n m 3 e n n e 化 y " r i _ . t O r " " d , b - m d , d を R o s o a P e A , p e s b p _ 行 e m t p z S E v Z o d m e o m う a _ ( e u i N i U i d a d i o S d d p n r m A e R n i l d n d t e o e a e p I w E t n l i t e e r c r i _ l _ " _ , g " n , l p ( u s o e A O ( , g m i i p D P P - e s m e i I E 3 n t p n r _ N - t _ o a e K A s s d r i c E I m ( i t t Y _ a d r i o " E l o = A m r ) N l c " z p y D " u . u o R P , m / r r e O e d e t a I n a O d N t t p A e T s a e z r " ) / n u , ) i A r n I e S d O e e p t x e t " n i ) A n I g E s m , b e V d e d c i t n o g r S t o r e I n d e x Gradio 最後にGradioを用いたアプリを作成します。 i i f f f a a a l # e S S # s # i q # d d d m m r r r p p z l m e e t n u e e e p p o o o i i u m Y b t t r o l d e F f m m o o m m m _ _ r o e t t e r o e r u o o r r k v e = m d a a a u d m d a a a i i b a a x y n e p c f r h r f e ] t . t t l l l e e _ o e p z p _ o e p z p n n u g d _ c c r o u e i e = n x , i l l l l y r e A d p i u i n m d p i u i g g i e = e t h i n l s s t = a t a o g a a a s n z e l _ r _ e o e l _ r _ s s l _ i n i o n t l p t u g e m l u s r m m m = i d u l o k e v e d l o k e v . . d c n l g o ( t e _ o o r r c p " " e n a a a a o p r = y e _ e d e = y e _ e l e o d o i n m ( x c n r n . h l 光 夕 = c d _ _ _ o n o e " m y e r l " m y e r l m s n e a n e " t o s y C o e 源 顔 " h i i i i s i O g e = n s t t e = n s m b t t x d e t s H n e . r h , s 氏 は L ( o n n n . = n p p n a d i o = e n a d i e o e _ o s i = t a e a = は ど l ) d d d g t e t t p p o x t p p o = d r x i = a s e = p s t [ ど の a a e e e e " n - _ i o n d A t _ i o n _ a t n h g t " x p p I の よ m s x x x t 2 = A 4 n _ i = e z - n _ i = l m g d i a e o \ t q e o n よ う a . . . e 0 I o a k n a p u e a k n a l o e = e n n , r n u n n t う な g c l e n 2 o ( " m e t p l r m m e t p m d x d d y " = e d s e な 人 I r o l m v 4 s , e y = i o e b e y = i e c S _ e l h : . r ( e r 人 物 n r m b ( - . = , a _ y O e = , a _ l o t f x e i " j f y ( f 物 で d e s e " 0 g " z v p d " z v n o r . s , o " _ m # a で す e . d A 5 e g u e y e d t u e = t r o a c t i { e e c す か x i a d Z - t p r r o n i e r r e a m s h o h n c n s h e か ？ m z i U 0 e t e s u A n x e s e x g _ _ a r i ( o g s i ( ？ " C p u n R 1 n - _ i r I g t _ i m t e s q t y s [ n i a s " h o r g E - v 4 e o E - - e o b C t u ) t f t n g t , a r e s _ p ( o n n o m 3 e n n e o o e m : o " e e e o t t _ . O r " " d , w b - m d , d n r r e r U x . , r b o a P e A , p n e s b p _ t a y s y s t q y o S p z E v Z o d m e o m e g _ s ) e } u r t t e u N i U i e d a d i o x e e a r \ e e " o n r A e R n m i l d n d t ( n g : n r s , r a e I w E t b n l i t e . s g e U y p a i _ _ " _ , e g " n , l f t i s { s ( o g o A O d ( , g r o n u e f n e i p P P d - o r e w s r u s C m e I E i 3 m a ( i e : l e o p n _ N n - _ g s t r l ) n o a K A g s d e i h _ { _ ) t r i E I m e _ m m m c e t Y _ m a f c i h s e o x i " E o l a o l i g s n t A m ) N d l u n a s } s t , z p D e " l t r t \ a e u o P l , t e i o n g x l r r O s x t r B e t o e t I a ( t y y o } ) a O N s p ) _ t " . d p A T e t : r _ e z " w r o e i n u ) e s p { s n A r l i _ b p d I e l s k o o e O t = t n x p a _ 1 _ s _ e s d 0 m e f n i ) s r A y r g o I o = } m E u " " _ m r . s b / f t e o d o o d w a r r d n t a i a u g n c / s e g h i e , a n r t d _ S e m e c x s t o " g t m ) , i p n l b g e o s t t i _ o m n s g m o i d n e l h i s t o r y ] ) 以下のように、チャットボットを作成できました。 まとめ 間違った理解をしている点があるかもしれませんが、参考になりましたら幸いです。

概要#

Azure OpenAI#

テキストのダウンロード#

Indexの作成#

Gradio#

まとめ#

概要

Azure OpenAI

テキストのダウンロード

Indexの作成

Gradio

まとめ