標題の件につき、少し頭を整理するためにメモを残しておく。多分これが本来的なブログの使い方なのではないかと思うので、情報収集したい人にはあまり有益ではないかもしれず申し訳ないがご容赦いただきたい。
テキストデータベースを作る、という取組みは、テキスト研究をしているとどうしても関心を持たざるを得ない。もちろん、 テキストとして書かれたものだけを対象としたところで人間文化の何が明らかにできるのだろうか、という立場もあるとは 思うのだが、テキストほどに高度に集約的で持続性も高い情報伝達手段はなかなかないので、一定の有用性は認めてよいのでは ないかと思っている。
一方で、テキストは、Unicodeなどの文字コードに準拠して並べていけば割と高度な処理が比較的容易に可能となるので、 テキストデータベースをどういう風に作っていくかということは結構重要なのである。 もちろん、Unicodeなどが出てくる以前から、色々なローカルな文字コードを駆使してテキストデータベースは 作られてきていて、日本でも1980年代にはすでにテキスト・データベース研究会というのが活発に活動していたそうだ。
最近は、テキストデータと言えば、みんなで書いているMSワードや一太郎、LibreOffice、Google Docs等の文書、エクセルやパワポ、 Google やLibreOfficeの同種のソフトで作られたデータの テキスト部分、SNSへの毎日の大量の書き込みやブログ等へのほどほどの書き込みなど、いわゆるボーンデジタルのテキスト データが毎日せっせと大量に作成されていて、それらをざっくり分析できれば大変有用な分析が様々に行えそうである。 ePub等で販売されている電子書籍のデータもこれに入るだろうし、テレビの字幕データとか、他にも色々有用そうなものがある。 これについては、技術的には比較的容易だがデータ・文書の権利関係をクリアにするところが基本的には難しい。
一方、ボーンデジタルでないテキスト、には、著作権が切れているものと切れていないもの、著作権がどうなっているか わからないもの、の3種類がある。
著作権が切れているものは、基本的に自由に使える。が、著作権が切れているかどうかの確認は、権利者の没年情報が 必要になるため、著名人はともかくそうでない人は結構確認が難しい。著名人でも、没年の確認は難しい、という 場合もある。
ではこれを踏まえてどうするか、ということだが、基本的に、著作権が切れているものは自由に使えるので それをテキストデータ活用のベンチマークとして扱うのが一つのわかりやすい道だろう。これを通じて明らかに できた様々な活用方法を、権利関係的に自由に活用できることが稀なボーンデジタルテキストの分析に活用することで、 より深い社会文化研究にもつなげられるのではないか、というのが期待されることの一つである。
とはいえ、著作権が切れているものには、現代的な日本語で書かれているものはあまり多くない。しかも、 少し時代を遡ると古文＆くずし字になってしまうため、テキストデータベース作りにおける難易度は高くならざるを 得ない上に、そのテキストの分析手法をそのまま現代に適用するのはちょっと難しい。もう1つ2つ ステップが必要になる。
したがって、比較的新しいところにターゲットをあてるのがよいのかもしれない。明治中期～昭和初期あたり だろうか。このあたりは、最近、国立国会図書館で次世代デジタルライブラリーを公開するなかで OCRによるテキストデータ化もかなり進んでいることが明らかになり、これを用いることで、もう一歩進んだ 取組みが可能となるだろう。
古い日本語の分析手法は、すでに国立国語研究所により古い日本語のUnidicが時代ごとに公開されていて 形態素解析がある程度は可能となっており、また、 情報処理学会人文科学とコンピュータ研究会等では江戸時代以前のテキストデータを 対象とした固有表現抽出やトピックモデリングなどに関する発表が着々と行われており、テキストデータの 分析手法も、まったくできないわけではない。ただ、これはまだ研究段階であり、しかし研究段階だから 面白いということでもある。
また、古い日本語テキストの場合、OCRもかかりにくいということがあり、テキストデータベース 作りの難関の一つだったが、最近は、くずし字OCRやクラウドソーシング翻刻など、自動文字読み取り という方向や人力作業の輪を広げていく方向など、現在の技術水準で可能なことが徐々にこの 領域にもおりてきている（というより、おろしてくださっている若手研究者の方々に感謝である）。
というようなことで、古い方に関しては、精度の問題はあるにせよ、少しずつ進んできている。 その種の仕事とボーンデジタル日本語テキストの分析の間には無数の網の目のような連携の 可能性があるが、そのあたりはまた次に。
