Jpcos

概要 以下の記事で、学習指導要領コードの推薦アプリについて紹介しました。 今回は、GradioのAPIを使って、上記の推薦アプリを使用する方法について紹介します。 使い方 ライブラリをインストールします。 p i p i n s t a l l g r a d i o _ c l i e n t 例えば、以下のデータを使用してみます。 テキスト 学校種別 空気鉄砲や水鉄砲、ペットボトルロケットなどのしくみを調べ、空気はおし縮められ体積が小さくなるにつれて反発する力が大きくなるが、水はおし縮められないことに気づく。 小学校 JSONデータは実行結果の配列の2つ目の要素に格納されているため、result[1]で取得します。 f c r j r l e s o i s t c a o m e u e o p n n l x u i _ g t t t r _ d r = s n a a = = " e a t d 空 O m a i C c 気 f e o l l 鉄 S = = _ i i 砲 t " c e e や u / r l n n 水 d p e i t t 鉄 y r s e ( . 砲 = e u n " p 、 [ d l t n r ペ " i t a e ッ 小 c [ i k d ト 学 t 1 m a i ボ 校 " ] p m c ト " o u t ル ] r r ( ロ , t a ケ 1 ッ C 9 ト l 6 な i / ど e j の n p し t - く c み o を s 調 " べ ) 、 空 気 は お し 縮 め ら れ 体 積 が 小 さ く な る に つ れ て 反 発 す る 力 が 大 き く な る が 、 水 は お し 縮 め ら れ な い こ と に 気 づ く 。 " , 結果、以下のようなJSONデータが得られます。 ...

概要 学習指導要領コードの推薦アプリを作成しましたので、その紹介です。以下のhuggingfaceのspaceでお試しいただけます。学習指導要領LODを利用しました。 https://huggingface.co/spaces/nakamura196/jp-cos 使い方 テキストフォームに任意のテキストを入力します。「学校種別」は任意項目です。 結果が画面右側に表示されます。 サンプルも用意していますので、お試しください。NHK for Schoolの情報を利用しています。 仕組み 以下の記事を参考に、学習指導要領のテキストをベクトル化し、同様にベクトル化した質問文と類似する学習指導要領を返却します。 https://zenn.dev/yumefuku/articles/llm-langchain-rag 上記の記事の通り、ベクトル検索ライブラリには「FAISS」、埋め込みモデルには「multilingual-e5-large」を使用しています。 https://huggingface.co/intfloat/multilingual-e5-large 推論部分のソースコードは以下でご確認いただけます。 https://huggingface.co/spaces/nakamura196/jp-cos/blob/main/app.py 工夫点 「学校種別」などを用いたフィルタリング 「学校種別」が指定された場合、langchainのFAISS.similarity_search_with_scoreによる類似度検索において、フィルタリングを行っています。 具体的には、以下のfilterを用いています。 m i t e e f r x t y c a g : e d r m d p p r a a e o t r e t d t c i t a e a s E n u : d _ x t r = a a c ( n t n e f { a d p " [ } [ _ t E ] " s i r 学 c o r 校 o n o 種 r r 別 e a " s s d ] u = e r = : i i n g n g r d a e s d x e e . a s r i c m h i : l a { r e i } t " y ) _ s e a r c h _ w i t h _ s c o r e ( i n p u t _ t e x t , f i l t e r = m e t a d a t a ) 今後 「教科等」による絞り込み 「学校種別」による絞り込みに加えて、「教科等（理科、社会、数学など）」も追加予定です。 ...

概要 学習指導要領LODは以下のように説明されています。 学習指導要領LODは、文部科学省が公開している学習指導要領と教育要領の内容・コードおよび関連する情報をLinked Open Data (LOD) として公開します。LOD化の対象は、現在公開されている全ての学校種別の新旧学習指導要領と教育要領（一部改正を含む）コード表の最新版です。 https://jp-cos.github.io/ このデータセットを使う機会がありましたので、使い方に関する備忘録です。 SPARQLエンドポイントの構築 今回は、DYDRAを使用します。 https://dydra.com/ 以下が登録した結果です。 https://dydra.com/ut-digital-archives/jp-cos/ Snorqlの作成 SPARQLエンドポイントを使いやすくするため、Snorqlを用意しました。 https://sukilam-educational-metadata.github.io/etc/jp-cos/ 検索例 以下のクエリにより、「学習指導要領（jp-cos:CourseOfStudy）」毎の「細目（jp-cos:Item）」の数を把握することができます。 https://sukilam-educational-metadata.github.io/etc/jp-cos/?query=PREFIX+rdf%3A+<http%3A%2F%2Fwww.w3.org%2F1999%2F02%2F22-rdf-syntax-ns%23> PREFIX+jp-cos%3A+<https%3A%2F%2Fw3id.org%2Fjp-cos%2F> SELECT+%3FcourseOfStudy+(count(distinct+%3Fs)+as+%3Fcount)++WHERE+{ ++%3FcourseOfStudy+rdf%3Atype+<https%3A%2F%2Fw3id.org%2Fjp-cos%2FCourseOfStudy>+.+ ++%3Fs+jp-cos%3AcourseOfStudy+%3FcourseOfStudy+.+ }+ GROUP+BY+%3FcourseOfStudy ORDER+BY+desc(%3Fcount) Yasguiで可視化する 以下がYasuiでの可視化例です。UpperSecondary（高等学校, jp-cos:school/UpperSecondary）の細目が多いようです。 https://api.triplydb.com/s/Vhi86jwiH まとめ 学習指導要領LODの作成者の方々に感謝いたします。 学習指導要領LODの利用にあたり、参考になりましたら幸いです。