はじめに

PDFファイルから透明テキストレイヤーを抽出する際、「テキストの順序が元のPDFと異なってしまう」という問題に直面しました。本記事では、この問題の原因と、JavaScriptとPythonそれぞれでの解決策について解説します。誤っている点もあるかもしれませんが、参考になりましたら幸いです。

PDFの透明テキストとは

PDFの透明テキストレイヤーは、PDFファイル内に埋め込まれた検索可能なテキスト情報です。OCR処理されたPDFや、デジタル生成されたPDFには、この透明テキストレイヤーが含まれており、以下のような機能を実現しています：

  • テキスト検索
  • コピー＆ペースト
  • スクリーンリーダーによる読み上げ
  • 機械翻訳

問題：テキストの順序が乱れる理由

PDFの内部構造

PDFファイルは、テキストを「コンテンツストリーム」という形式で保存しています。このストリームには、テキストとその位置情報が含まれていますが、必ずしも読む順序で格納されているわけではありません。

例[[[：位位位P置置置D:::Fコxxxン===テ131ン000ツ000ス,,,トリyyyー===ム243の000概000念,,,図テテテキキキススストトト==="""見脚本出注文し"""]]]

一般的な抽出方法の問題点

多くのPDF処理ライブラリは、以下のような手順でテキストを抽出します：

  1. コンテンツストリームからテキストと位置情報を取得
  2. 座標でソート （上から下、左から右）
  3. ソート結果を出力

この「座標でソート」する処理が、テキスト順序の乱れを引き起こす主な原因です。

具体的な問題例

  • 縦書きと横書きの混在 ：日本語文書でよく見られる
  • 複数カラムレイアウト ：新聞や雑誌形式
  • 図表の挿入 ：本文の流れを分断する要素
  • ヘッダー・フッター ：ページをまたぐ要素

解決策：言語別アプローチ

JavaScript (PDF.js) での解決策

PDF.jsは、Mozillaが開発したJavaScriptベースのPDFレンダリングライブラリです。

順序を保持する実装

a}sycc}rPnoo)eDcnnr};tFgsise;配u.fetttttxywh列rjuteue::ieのnsnTtmorxdi順をceesrntiitg序o使txxはd:tthhをr用itt元e{ee:tそdしoCCのrimm:のeたnoo順et..iまr順nn序detttiまe序ettをTmrret使d保xee保e.aame用T持tnn持xsnn.m（eテrttしttssw.座xキa(たrffih標tスc)=配=,oodeソ;トtは列rrtiー抽Tコatmmhgト出eンwe[[,hしxテax45tなtンit]]いWツtC,,）iスotトpnhリatOーgerムendの.te順g.r序ei(をttp維Tea持emgxset.)Cmoa{npt(eintte(m);=>{

ポイント

  • getTextContent()メソッドは、PDFの内部構造に忠実な順序でテキストを返す
  • 配列のインデックスが元の順序を表現
  • 座標による再ソートを行わない

Python (PyMuPDF) での解決策

PyMuPDF（fitz）は、MuPDFライブラリのPythonバインディングです。

順序を保持する実装

idmepforedfdtxoootcrcfr.ia=p#r#ieyctcaaflilztfg方w方seo_ie法_法nelstt_1t2otp#ft:tde#ezi:e:teaoee(x.dxxgブrxxp)Ptoxrt詳rteロttay_p,a細a__ッbigMwew=なwdtクlf==euinpテ構_ieをo_Pt(aキp造tcx元cbriDhpgスaをettのklf\adF_deトg保xs順oonwxof抽e持t=序icr'_,r_i出.し.=でnk.tdpn（gたsp処.llfijeteaコe抽ta[理tgiiofoxerteンt出rg]eennritx(hnテ_iexteelntp)uンtp.t(_slip(dmツe(g_"itpinapfeスx)edtneanega_rトt:tiyxne_egpaリ(_cpbt_t_eatー"ttelitet_teムte."o=nexeth(順exg)cxtxe)d）xtek"lt.tx:ot(t=."isstc""(=gn+t.s))d"ee=ra):ib0t.ipcl:(gsppto"ep(e"clta)n)k#i(n:dsn".("テesgl,キspeiス"atn[ト,n(e]ブs"_)ロ["tt:ッ],eeク)xx:[tt]")),:"")

ポイント

  • get_text("text")は、PDFのコンテンツストリーム順序を保持
  • get_text("dict")で詳細な構造情報を取得可能
  • 座標ベースのソートを避ける

Python (pdfplumber) の問題点

pdfplumberは人気のあるPythonライブラリですが、デフォルトで座標ベースの処理を行います：

#iwmipptdohfrfptpoldrupfmdpp#tbflaeepugexrlmextのubt例meir=（brna問e.cp題roptaのpd_gあefteるn.e.ア(pxeプpatxロdg(tーfe)rチ_sはa）p:内ca部ttで_h座t)標eソxaーtsト(を)p行dうf#:順序が乱れる可能性

実装比較表

特徴PDF.js (JavaScript)PyMuPDF (Python)pdfplumber (Python)
コンテンツストリーム順序保持✅✅❌
座標情報の取得✅✅✅
処理速度中高低
メモリ使用量中低高
日本語対応✅✅△
ブラウザ対応✅❌❌

実践例：ハイブリッドアプローチ

順序保持と座標情報の両方を活用する実装例：

JavaScript実装

c}lac}a}g}g}soseesntyct}rtr}trshnoh)e必Te)元TePticniotxywh)t要eti}r;のetDrss元sre::ie;uにxufe順xuFu.etの.ixdir応trrt序trTctx順tgtiitgnじBn(euでBnetett序ei:tthhてyMtr取yxoxreをxnee:tt座P[aun得Ottrtax保taimm:h標o.trrhE(Ict持Ilt..iiでs.hnbiix)ttCしtIetttisソi...gsteWoつenmrret.ーttaayi.r{minつmd.aametトihb.ntastt、sesnn.meoisx-aeche位xtssw.xns(lxt=Mn置=:rffiht(.a-aOtoet情,oodeI)t..rIr[t報tirrtiteybydt]a=もenmmhge{x.;ee{;d記xd[[,hmt-xrmaa録te45tsI;(stwCx]];tb);aao,,,e.(inmy{ptts)上ae]かgpn.<左らeatsか下既)g.元o5らにeiのr)右元{.t順tのge序({順em(序tsaT.,emxabtp)同C(じo(=行ni>とttみee{なnmすt,()i;ndex)=>({

Python実装

classddddeeeePffffDFsedfdrg#rg#rT_exoooeeeeeeiltcrctt必tt元txnfr.u_要u_のuti.a=p#tifcrtにrt順rEttcaetolne応ne序nx_etfg辞xeroxじxをt_x_ie書tmsstてst維sr(twt_形__biee_座o_持eas_izn式dilf(lb標rblceit.uでino)fyでtyftlthom詳cdcb._ソe_.ofe_p,細teklftpーdotr)mme情xooeoト(kre::senp報=icrxsseixt(aを=nktieygt=apg取p.lf_tl=i_dde得a0tgioiiflni[afgeenrto.aat]t_iexteentmleapn.t(ss}im(eb_m(ag_"ipe)tssxdossteedtnaleetarehntiynfml_dl)u_cpb.'''''_fixefmttelitoptbfsi)t:r,ee."oneraeboin:e(rxg)cxigxonzdmspatekltgetxtees-edt(t=.i_i'''''x,xlfe"(=gnin:::::[f_(d"eeta+')pdib0t.elpssss=b:aocl:(gm_appppbtcto"esigaaaa1oh)"clt.nennnnx):)k#i(ad_....':sn"pengggg]"テespxueeee[,キspe'mtttt1ス"an:,((((][ト,nd"""",]ブs(itbfs)ロ["{teboix:ッ],exonz[ク)mtxte':[_""""b]i,,,,b)no:d"["0xe"]")'x)))],,,,[0]#))[x0,y0,x1,y1]

ベストプラクティス

1. 用途に応じた選択

defcieehflloiiouffss#r#r#reeeueue__全tsレtsコtec文ueイueンuxa検r_アr_テrts索ncウncンnre：aトaツa元"s解"s抽"c=のoe析pe出ht=順r：o：yi序i=座s=ハbo"をg=標i=イrnf重i情tブi_u視n"報i"リdmlalをocッ"ella重noドt__y視_nhtoobtoeruaedxdtsn(te_etu_rad_ss"n"eeeax_altcryracsashice"st):"i::on":

2. エラーハンドリング

a}syt}}nrcyci}c}rccrofo)eaoef{ncrnr;ttntus空(oe文seucsuntの!nt字ttrhorcテtsu化CunlnttキeorけiIr(eieスxlnチtDnie.[oxトteェe文tre]ntをC.[ッm字!err;Cチow]クsのimorsoェna;除tsroanッtr=去e;)rftクenm(een(t.{'Ent'esTxt.Nxtetiotrxr=tC.taetoicamennetwsxtcxTatelteinurxtftdato.ec(ptuistpaent(iagxde'ogetm(ne.Cisc)gon.ifenfda{ttpi:iTeal'lengt)extee;dt.'r:Ci)('ot;i,nettmeeesmrn.rtl=o(e>r)n);g{;th===0){

3. パフォーマンス最適化

#de大f規模edtfdPxooooDtctrcFra.のa=lsebfyc処c_tnaoil理tfpadtreo_iar_clsltgtihpp#tb#pdeaze_d_aaeaa(r.sixtggメxtペgb)godeeeモtcーeaep=x=x_リhジt_eti=効=_オ=cpnlimsd率tブhd(enixdをpeジN_fpnn=o考axェot(d(r(ic慮gtクnepfdas[n[しesトexd_ont]pた..のtfpcgara処ga解s_a)erag理ep放pt(tnetpah0_g__et),ieitnhd(ded,txsxx(ot]ttbt+a(eaar"xtlbtttc_a_e)hptix_acdtsghx"ie_,)zsse,ie=zn1bed0a,_)ti:ctdhox_t)sa:ilz_ep)a:ges)

トラブルシューティング

よくある問題と解決策

  1. 日本語の文字化け
#teUxTtF-=8エpンaコgーeデ.ィgンeグtを_明t示ext("text").encode('utf-8',errors='ignore').decode('utf-8')
  1. 縦書きテキストの処理
a}sycc}rPnoo)eDcnnr};tFgsise;配u.fetttttxywh列rjuteue::ieのnsnTtmorxdi順をceesrntiitg序o使txxはd:tthhをr用itt元e{ee:tそdしoCCのrimm:のeたnoo順et..iまr順nn序detttiまe序ettをTmrret使d保xee保e.aame用T持tnn持xsnn.m（eテrttしttssw.座xキa(たrffih標tスc)=配=,oodeソ;トtは列rrtiー抽Tコatmmhgト出eンwe[[,hしxテax45tなtンit]]いWツtC,,）iスotトpnhリatOーgerムendの.te順g.r序ei(をttp維Tea持emgxset.)Cmoa{npt(eintte(m);=>{

0 3. メモリ不足

a}sycc}rPnoo)eDcnnr};tFgsise;配u.fetttttxywh列rjuteue::ieのnsnTtmorxdi順をceesrntiitg序o使txxはd:tthhをr用itt元e{ee:tそdしoCCのrimm:のeたnoo順et..iまr順nn序detttiまe序ettをTmrret使d保xee保e.aame用T持tnn持xsnn.m（eテrttしttssw.座xキa(たrffih標tスc)=配=,oodeソ;トtは列rrtiー抽Tコatmmhgト出eンwe[[,hしxテax45tなtンit]]いWツtC,,）iスotトpnhリatOーgerムendの.te順g.r序ei(をttp維Tea持emgxset.)Cmoa{npt(eintte(m);=>{

1

まとめ

PDFの透明テキスト抽出において、順序保持は重要な課題です。主なポイントは：

  1. 問題の理解 ：座標ベースのソートが順序を乱す主因
  2. 適切なライブラリ選択 ：PDF.js（JavaScript）やPyMuPDF（Python）を使用
  3. 実装方法 ：コンテンツストリームの順序を維持する
  4. ハイブリッドアプローチ ：順序と座標情報の両方を活用

これらの知識を活用することで、より正確で信頼性の高いPDFテキスト抽出システムを構築できます。

参考資料