TEI/XMLファイルをS3互換のオブジェクトストレージでホストする
概要 TEI/XMLファイルをS3互換のオブジェクトストレージでホストする機会がありましたので、備忘録です。具体的には、mdx Iのオブジェクトストレージを対象にします。 https://mdx.jp/mdx1/p/about/system 背景 TEI/XMLファイルを読み込み、その内容を可視化するウェブアプリケーション(Next.js)を構築します。この時、ファイル数やサイズが小さい場合は、publicフォルダに格納していましたが、これらが大きくなった場合、別の場所でホストすることを考えました。 場所の選択肢は多々ありますが、今回はS3互換であるmdx Iのオブジェクトストレージを対象にします。 GUIを用いたオブジェクトストレージへのファイルアップロード オブジェクトストレージへTEI/XMLファイルをGUI経由でアップロードする方法も多々あります。その中で、これまではCyberduckを使用する方法や、GakunNin RDMを使用する方法などを紹介しました。 一方、今回の事例では、TEI/XML以外のコンテンツをDrupalで管理していました。そこで、Drupalとオブジェクトストレージを接続し、ユーザはDrupalの操作で完結できるようにしました。 Drupalとオブジェクトストレージの接続 以下のモジュールを使用します。 https://www.drupal.org/project/s3fs インストール後、環境設定のページ/admin/configから、S3 File Systemを選択します。 そして、アクセスキーや秘密鍵を登録し、さらにS3のバケット名を登録します。 またAdvanced Configuration OptionsのCustom Host Settingsにおいて、https://s3ds.mdx.jpを入力します。 これでオブジェクトストレージとの接続設定は完了です。 その後、各コンテンツタイプのフィード設定において、アップロード先として「S3 File System」を選択します。 また、今回はTEI/XMLファイルがアップロード対象となるため、「許可されている拡張子」として、xmlを入力します。 この結果、DrupalのGUIを介してアップロードしたTEI/XMLファイルが、mdx Iのオブジェクトストレージに格納されるようになりました。 (参考)DrupalのJSON:APIを用いたファイルの一括アップロード TEI/XMLの初期登録にあたり、Pythonを用いた一括登録を行いました。JSON:APIを用いたファイルの一括アップロードの方法は、以下の記事などが参考になりました。 https://www.drupal.org/node/3024331 一例ですが、以下のようなスクリプトで実現できました。 i i i f f f c m m m r r r l p p p o o o a o o o m m m s r r r s d d d d t t t d g t e e e e o l q A f f f f r j o t o d p e s s e b m i l # s # # # s s l # l l i g # c i e u u # f # w h h h # r i e q o n C _ o e e e o o o f e s f l p r i i e e e e f l u n v i i l i a D l エ s 認 l l g ロ g g t C r s l l フ l フ t a a a フ s s e m m i n d r f ン e 証 f f i グ i i l _ S f c e o ァ e ァ h d d d ァ p r e s i p p e i _ u . ド l 情 . . n イ n n l j h o s c R _ f c s # # s } : # s a = イ n イ f e e e イ o e i : p t m o o n t d p D ポ f 報 U P ( ン _ _ o s e g e s F t " o r e e d ル a ル o i r r r ル n s f r s p r r t _ o a R イ . ( S A s リ u r g o a i l r ト o { o f r s l r l _ f 名 m を p l s s s を s p i o t t : _ t l U ン J B E S e ク r e i n d n f f ー k s k _ e e f a f f " を e バ e e [ [ ア e o v n r ( e サ P ト S a R S l エ l s n = e _ . _ ク e e i t t l . " " " i . i { 取 イ n _ = ' ' ッ n e p t t g t s n イ A ( O s N W f ス p _ { r r s t ン n l e o u f h C A X s c l s 得 = ナ ( d C C プ = s r r ( l q e v ト L J N i A O ) ト = o u " s e e o を _ f s k r . e o c - e s e e リ f a s o o ロ e b i f l o d l ( の _ S A c M R : n r n = s s k 取 r . = e n c a n c C r ( l o モ i t e n n ー r . o n " o b m f o U B O P 認 E D f s l a { p s e 得 e D s n s d t e S E f s f s ー l a l t t ド e s s t フ a ) v R A N I 証 " e , m " o i n s R e _ c r e e p R x _ e . . ド e f e e q t e ( ァ d : e L S : _ ) = = { e C n o ( p U l r s f r n t F c t l D p で _ = . n n u a : f イ _ r ( E A E s = " o s n s o P f e r _ s t " - e o f R a 読 p h t t e t " ル d r 例 _ P N o o e : n e _ e n A . s f t - : T p k , U t み a f e - - s u フ ア o i ) U I D s s l r t . c l s L s p _ o = T o t e P h 込 t . a T D t s ァ ッ t d R ) P . . f e s e s o f e _ e o t k y " k i n t A . む h r d y i s _ イ プ e e L O g g . q e n t o ) B s n o e { p a e o y L b , e e p s . c ル ロ n = I e e D u l t a k : = A s s k n e p n n = p _ a a r e p p o ア ー v T = N t t R e f - t i S i e e " p " ( e B s ' d s ' o o d ッ ド r T e e U s . T u e r E o . n = : l : f N , A e r ( . ] s s e プ 失 u o n n P t U y s s e _ n s _ i " o S n b ) c i t ロ 敗 e s = v v A s S p _ q U _ t r c " c c C n u E a ' o = t ( = ー : ) . ( ( L . E e c = u R c a e s a a s S e u _ m ) p i u = ド g f " " _ p R " o e L o t s r p t r R i U e y ' o r 成 { e " D D B o N : d l s } u p f p i f F d R ( a ( a n l 2 功 r t { R R A s A e o t k s o _ l o _ ト , L f s ) p ' , 0 : e e s U U S t M " g s s i _ n t i n t ー } i p ] 0 s n e P P E ( E a = i . e e c s o c / o ク f / l f l h : { p v l A A _ , p = n g s s o e k a v k ン i j e : i = e f o ( f L L U p _ e s d . e t n e 取 e s _ c a i n " . _ _ R " l 2 r t i e t n i d n 得 l o p a f d l s D D U P L p i 0 e ( o # e _ o . _ 失 d n a t ' e e e R R S A } a c 0 s n = x r n a r 敗 , a t i a r n . U U E S / s a : p / こ = t e / p e : p h o t s a s P P R S u s t o t こ s v i s f i ) n t = m t A A N W s " i n o で 2 p n + p { i / / a h e a L L A O e : o s k ロ 0 o d j o c l n o c e } t _ _ M R r n e e グ 0 n . s n s e o c h a " u B B E D / s / . n イ : s a o s r _ d t m d ) s A A " " l e j c " ン e p n e f p e e e e _ S S ) ) o l s o , セ . i " . _ a / t n r c E E g f o o ッ t + , t t t { - t s o _ _ i . n k シ e j e o h t s ; , d U U n P " i ョ x s x k , y t e R R ? A } e ン t o t e p r f c } L L _ S s を n , n v e e i o " } f S 渡 " _ e } a l o { ) / o W す , r r / m e k r j r O e b { ' n i e s m R s o u a e s o a D p s u m s p n t } o e i e = o a = , n = d = s n p j s F } " e s i s e a / { l e / o . l { f f . n n s s f i . t o " t e i l s e d a ) e e e x e t : l n s t / u d a s } a s } m i " r _ " e o ) t c } n i o " _ c d ' c l e o e } o " k { i c e s s r , f _ d t a o t k a e = n f _ i r l e e s _ p d o a n t s a e ) . t e x t } " ) すでに対象コンテンツが作成済みで、例えばfield_fileといったフィールドにファイルをアップロードする目的で使用することができます。 ...