東京国立博物館の一部デジタルコンテンツがCC BY-NC的な感じに！

昨日知ったのですが、東京国立博物館のhttp://webarchives.tnm.jp/ 配下で公開しているデジタルコンテンツの利用許諾条件（ライセンス）が変更され、以下のようになったそうです。

当館で公開しているデジタルコンテンツ(画像、テキスト等)のうち、 著作権の生じるものについては、特別な記載のない限り当館がその著作権を保有しています。

http://webarchives.tnm.jp/ 配下で公開しているデジタルコンテンツ( 画像検索、データベース等)に限り、非商業目的で下記の「デジタルコンテンツ無償利用条件」（以下「本条件」という）を満たすご利用については、特別な手続きを経ることなく無償で複製、加工、出版物やウェブサイトへの掲載等を行うことができます。 利用者は条件に従ってご利用ください。

「東京国立博物館 - デジタルコンテンツの利用について」

これは、大変ありがたく、かつ、画期的なものだと思います。いわゆるクリエイティブコモンズライセンスで言えばCC BY-NC（表示・非営利）にあたるものだろうかと思います。

『仏鬼軍絵巻』をIIIF対応に

というわけで、さっそく、少しやってみました。こちらのサイトの「画像検索」にて公開されている『仏鬼軍絵巻』というデジタル化資料があります。これは如來や菩薩・明王らの大軍が地獄に攻め込んで亡者を救済するという絵巻で、壮大なスケールの戦いが描かれているのですが、公開中の絵巻のデジタル画像は分割されていますので、まず、それらを一通りくっつけて、IIIF対応にしてみました。マニフェストファイルは以下のURLとなっております。

http://dzkimgs.l.u-tokyo.ac.jp/iiif/bukkigun/manifest.json

このマニフェストURIさえあれば、どこのIIIF対応ビューワでも読み込めますし、色々活用できますので、ぜひ、利用許諾条件の範囲でご活用してみてください…と書きたいところですが、これだけだとなんだかイマイチですので、ちょっと実際にIIIF対応ビューワに読み込ませてみましょう。

変体仮名認識システムに

まずは、@2SC1815Jさんによる、変体仮名認識システム付きのIIIF Curation Viewerに読み込ませてみます。

IIIF Curation Viewer with Hentaigana Image Recognition

画像の解像度の関係でちょっと字が小さくて難しいかもしれませんが、文字によってはそれなりに認識できているような感じですね？

日本古典籍データセットの『仏鬼軍』と並べて見る

さて、次にいきましょう。実はこの『仏鬼軍絵巻』は、色々なバージョンがあって、特に江戸時代に何度か木版本で刊行されたものは結構流布したようです。ネットでもいくつか公開されています。

ドイツデジタル図書館の仏鬼軍

仏鬼軍 | 日本古典籍データセット

国文研データセット簡易Web閲覧： 仏鬼軍

早稲田大学古典籍総合データベースの仏鬼軍

このうち、国文研データセット簡易Web閲覧のものは、東京大学大学院生の北﨑有帆氏により本文の翻刻がIIIFアノテーションとして付与されていますので、これを例のMiradorで並べて表示させて対比してみると、木版本の挿絵がどういうもの表現をしようとしていたか、ということがちょっと想像できて面白いですね。

いきなりずらっと並べてしまいましたが、いくつか、以下に、Miradorでのビューへのリンクをご用意しましたので、自分でもビューワ上で眺めてみたいという方は、こちらから見ていってみてください。なお、ビューワでは、各ウインドウの左上のアノテーションボタンをクリックすると翻刻が表示されますので、よかったらそれも試してみてください。

不動明王と五大尊が鬼を攻めているところ

薬師如来と十二神将

船や動物に乗る菩薩達

とりあえず、比較的すぐにできそうなことを手元でやってみたのですが、東京国立博物館のコンテンツは面白いものがたくさんありますので、みなさまもぜひお試ししてみていただけたらと思っております。

それから、ちょっとテクニカルな話題として、Miradorに関してなのですが、元になっているOpenSeadragonではいわゆるViewport Navigatorが装備されているにもかかわらず、Miradorでそれを有効化する方法を見つけることができておりません。特に巻物的な横に長いものは、Viewport Nagivatorのようなものがないと「どこを見ているのか」わからなくなってしまうことがあり、なんとかしたいところです。この場合、「これだからMiradorよりも他のビューワを使った方がよい」と思う人もおられると思いますが、「とりあえずMiradorを改造してみよう（誰かにやってもらおう）」という方向もありではないかと思います。オープンソースですし、元々、OpenSeadragonでは実装されている機能なので、そんなに苦労せずになんとかなるのではないかと想像しております。あるいは、Miradorの開発チームにそういう要望を投げてみるのもよいかもしれませんが。

ということで、最後はやや脱線気味でしたが、今後ともよろしくお願いいたします。

絵文字の肌色も扱える「異体字セレクタセレクタ」

前回のブログ記事でご紹介した、王一凡さんによる「異体字セレクタセレクタ」ですが、一部で、絵文字も扱えると話題になっているようです。絵文字と言えば、Unicode Consortiumでもemojiと呼ばれているほどに、日本発のような感じになっております。文字表は、バージョン4とバージョン５ベータが、下記のように公開されているところです。

Full Emoji Data, v4.0

Full Emoji Data, v5.0 — Beta

この文字表を見るだけでも色々なことを思ってしまって胸がいっぱいになりますが、それはともかく、ここでご紹介しておきたいのは、人間が登場する絵文字の肌の操作もこの異体字セレクタセレクタでできるようになっている、という点です。

　そもそもこれは、Unicodeに（多分Unicode6.0から？）絵文字が入り、世界中で広く使われるようになる中で、人間が登場する絵文字の肌色が問題になったため、それを文字コードレベルで指定してサポートできるようにしよう、ということでUnicodeに組込まれたルールで、Fitzpatrick scaleと呼ばれているようです。この件に関する詳しい経緯は小形克宏さんによる下記の記事などをご参照ください。

「絵文字に平等をサポートしてください」人種差別の指摘にゆれるUnicode - INTERNET Watch Watch

しかしこれも、漢字の異体字と同様に、サポートしている環境で、サポートしているフォントがなければ、どういう絵文字が書かれているか確認できませんし、入力も困難です。ここでも異体字セレクタセレクタが活躍してくれます。漢字の場合と基本的に同じですが、以下に、ちょっと見てみましょう。

とりあえず、上記の絵文字表のページから、人の顔に関わる絵文字をコピーしてきて、検索してみましょう。ここでは🎅を使ってみています。そうすると、以下のように、肌の色が異なる絵文字のバリエーションがリスト表示されます。ここで「Fitz」というボタンをクリックすると、絵文字の肌の色を変えるためのセレクタがその上の蘭に表示されますので、適宜選んでみるとそれぞれのセレクタに対応する肌の色が表示されるはずです。

あるいは、「上へ」というボタンが、検索結果リストのそれぞれの冒頭にありますので、それをクリックしていただくと、上のフォームにその文字が表示されます。その際、どのセレクタを使っているかということも表示されます。

このような感じで、絵文字を扱うこともできますので、人に関する絵文字を扱う時にご利用していただくとよいかと思います。

以上、簡単で恐縮ですが、よかったらお試ししてみてください。

Unicodeの異体字操作に便利なツール「異体字セレクタセレクタ」

今回は、Unicodeで異体字を扱う際の便利ツール、「異体字セレクタセレクタ」のご紹介です。

みなさま、パソコンやスマホ・携帯などで文字入力をする時、最近は特に文字がUnicodeかどうかなど、気にすることもなくなってきていることが多いのではないかと思います。漢字だけでもそろそろ8万字種を超えようとしているような状況で、日常の利用で不便を感じる人はかなり少ないだろうと想像しております。

　しかし一方で、Unicodeでは同じ文字だとして「包摂」扱いにされた字形の相違にこだわりを持っておられる方も依然としていらっしゃることと思います。最近は、そのような「文字としては同じだけど字形が違場合」にもきちんとテクストデータレベルで区別できるようにする仕組みが広まってきています。すでにWindowsでもMacでも使えるようです。Unicode Consortiumが提供するこの仕組みは、IVS（Ideographic Variation Sequence）、と呼ばれているようです。詳しくは下記のURLなどをご覧ください。

IVD/IVSとは | 文字情報基盤整備事業

IVSとは - フォント専門サイト fontnavi

要するに、「枝番形式」と呼ばれるもので、技術的には目新しいものではないようなのですが、とにかく、支配的になってきている規格やOSで採用・サポートされるということで、とりあえずそういう仕組みが手元でも使えるようになってきているようです。

さて、枝番形式なのですから、枝番をうまく選んだりできれば済む話なのですが、これがまだそんなに便利な感じになっていないようで、まだまだ広く便利に使えるというわけではないようです。特に、フォントが希望するIVDに対応しているかどうか、ということがまだ難しく、さらに、枝番がついているかどうか、ついている枝番はどれなのか、という情報も、アプリケーションによって使いやすかったりよくわからなかったりするようです。

そこで登場するちょっと便利なツールが、言語学とDHに取り組んでいる大学院生の王一凡さんが作った「異体字セレクタセレクタ」です。

このツールでできることは、筆者が理解している範囲で恐縮ですが、

１．ある漢字にIVSでどんな異体字セレクタが用意されているかをIVDを横断して確認できる

　　⇒ここから、任意の異体字セレクタを選択して異体字を入力することもできる

２．操作している文書に登場している漢字にどんな異体字セレクタが使われているかを確認／可視化できる（手元に対応フォントがなくてもある程度対応できる）

特に、２．の機能がなかなか秀逸だと思いますが、とりあえずは、ざっと、機能について見てみましょう。

筆者は「記」という漢字の異体字で時々困っています。右側が「己」ではなくて「巳」になっているにも関わらず、Unicodeでは同じ文字として扱われてしまっています。このような場合に、その二つの「字形」を区別するのにIVSが使われています。

 　というこで、まずは「記」で検索してみましょう。そうすると以下のようになります。

では、字形を表示しているところをクローズアップしてみましょう。「画像」の列では、右側が「巳」になっている「記」が二つありますね。これらの字形の画像は、かの有名なglyphwikiからとってきているようです。

「セレクタ」の列をみてみると、U+E0102となっているものが、「画像」の列では、右側が「巳」になっている「記」ですね。

このようにして、字形とセレクタ（枝番）の対応をシンプルに確認することができます。

さらに、左の方の列を見てみると「コピー」というボタンがそれぞれの行に設置されていることがわかります。この「コピー」をクリックすると、クリップボードにIVS付きでコピーされます。ただし、コピーしたものを適切な字形としてペーストするには、IVSに対応しているアプリケーションであり、かつ、対応できるフォントも用意されていなければなりません。少なくとも筆者が今使っている環境ではうまく表示できないようです。

さて、コピーした文字ですが、筆者のような環境だと、そもそもIVSがついているのかどうかもよくわからないという状況になってしまいます。それを解消してくれるのが、頁の左上にあるインプットフォームです。IVS付きの文字をコピーしてからペーストすると、フォームに表示されている文字の字形はそのままですが、フォームの下に「8A18+E0102」という表示がでます。この、黄緑色の「E0102」と書かれているのがIVSの枝番号です。このコピー＆ペーストによる異体字セレクタ（枝番）の確認は他のアプリケーションから持ってきても使うことができます。

IVSは、最近は、OSだけでなく色々なアプリケーション等で対応するようになってきています。しかしながら、まだまだ便利なツールは十分に出来上がっておらず、今後の課題となっています。このツールは、そういった状況を多少なりとも改善するのに有益であるように思われます。みなさまにおかれましても、Unicodeの異体字やその便利な使い方にご関心がおありの方は、ちょっと試してみていただけますと幸いです。

『絵入り源氏物語』の分析サイトが公開されたようです：人文系オープンデータの活用事例

昨年11月、「国文研データセット」として、350点のデジタル化古典籍が公開されましたが、このたびは、それに続いて350点が新たに公開され、総計700点となりました。しかも、今回の公開は人文学オープンデータ共同利用センター準備室というまったく新しい組織からで、さらに、IIIF対応の形でも公開されるという、前回に比べてあらゆる面で前進がみられ、大変頼もしくありがたいことです。それについては、詳しくはまた別にブログ記事などにさせていただきたいと思っております。

オープンデータで公開する、ということは、第三者に再配布を許可するということであり、それによって様々な利活用を促進するということです。視点を変えると、オープンデータ化を推進するためには、それによって利活用されたという事例が増えていくことが何よりも大切であり、特に、オープンデータ公開した組織・機関が特に労せずともどんどん利活用が広がっていくという事例があれば、なおよいはずだ、と思っています。利活用に際しての交渉というコストを下げることは、公開者側にとってもメリットが大きいはずです。

ということで、筆者としては、特に人文学におけるオープンデータの利活用事例を心待ちにしていたのですが、先日、ついに一つ、登場しました。国文研データセット⇒日本古典籍データセットにおける『絵入源氏物語』のテキストデータを統計解析するWebアプリケーション、です。『源氏物語』の統計分析を専門としておられる同志社大学研究開発推進機構の助教の土山玄さんが作成されたサイトであり、先日の人文科学とコンピュータ研究会でのご発表では、まだ試作段階とのことでしたが、オープンデータとして公開されている国文研データセットのテクストデータを多少前処理した上で、国立国語研究所が公開しているWeb茶まめの「中古和文」辞書で形態素解析を行い、統計処理できるようにしたそうです。

さて、その結果ですが、『源氏物語』の研究者ではない筆者にはあまり適切な調べ方ができず、いかにも素人な感じで恐縮ですが、たとえば以下のような感じになります。

まず、上記の発表のなかで土山さんが紹介しておられた例ですが、「あはれ」の巻ごとの出現頻度は以下のようにグラフ表示されます。

「やんごとなし」は第42巻匂宮に突出して多く出現するようです。

あるいは、「きこゆ」「聞こゆ」という表記の出現頻度を比較すると以下のようになっており、ひらがな表記が全体として多いようですが、いくつかの巻で突出して多くなっているようです。

こういった結果からすぐに何かを結論づけることはできないと思いますが、何かを調べるためのきっかけとしては有益かもしれません。

他にも、巻ごとの品詞の比率や、巻ごとの主成分分析の結果も表示されるようになっています。今後さらに機能が拡充されていくようですので、期待させていただきたいところです。また、他の源氏物語の写本・版本もこういう形で簡単に分析できるようになっていけば、源氏物語も今までとはまた少し違った観点からも楽しめるようになっていくのではないかと思ったところでした。

　また、上記の土山さんの発表論文には具体的な作業手順なども公表されていますので、そちらを読んでいただいて、こういったことに取り組んでくる方々がでてきてくださるのも面白いのではないかと思っております。

Mirador2.1を手元で活用（その１）

IIIF対応ビューワ、Mirador2.1は、Javascriptで書かれていて、最近のWebブラウザさえあれば大体動きます。もちろん、ネット上の画像にアクセスしますので、パソコンがネットワーク接続されていないとどうにもならないのですが、つながっていれば、手元のMiradorで各地の画像を表示することができます。先日はこの件で笠間書院さんがツィートしてくださいました。

永﨑研宣氏が、国文学研究資料館の館蔵和古書画像19451点の古典籍をIIIF対応に。Mirador 2.1 (IIIF対応ビューワ)をダウンロードして、それで見ると、従来より格段に見やすくなり、非常に便利です! https://t.co/FfxUh0SmPf

— 笠間書院広報室 (@kasamashoin) 2016年10月22日

さて、この、ローカルでも閲覧できるという件ですが、Miradorは、お目当ての画像にたどり着くまでが実はちょっと面倒です。IIIFアイコンのドラッグ＆ドロップという手法が一応用意されていて、たとえばスタンフォード大学からIIIF対応で公開されている近江國絵圖では、ビューワの左下にある「i」ボタンをクリックすると表示される画像の付帯情報の中にIIIFアイコンがありますので、これをMiradorにドラッグ＆ドロップするだけで近江國絵圖の高精細画像を閲覧することができます。

しかし、世の中にはIIIFアイコンが用意されているものばかりではありませんし、ドラッグ＆ドロップも少々面倒です。特に、「これとこれを並べてみせたい！」と思っている時に、いちいちアイコンを引っ張ってきたりドラッグ＆ドロップしたりするのは少々不便です。そもそもIIIFのコミュニティはギークが多いので、こういうことができるってだけでおおっ！と盛り上がってしまってさっそくあちこちのサイトにドラッグ＆ドロップアイコンがついたりするのですが、少し冷静になってみると、なんだかちょっと面倒なのでは…と思ったり思わなかったり。

そこで出てくるのが、Miradorの初期画面設定をいじってしまう、という話です。

一応、やり方は本家のサイトにあるので、気合いの入っているかたはそちらをご覧いただけたらと思います。ここでは、とりあえず、「開くと３つのIIIF対応画像が下記のような状態になってくれるHTMLファイル」を作ってみて、やり方をなんとなく知っていただくことを目指します。

　ちなみに下記のものは、フランス国立図書館gallicaの敦煌写本画像と、東京大学総合図書館の萬暦版大蔵経画像、国文学研究資料館の文政年間の木版本を並べているものです。いわゆる「法華経」の冒頭部分の同じテクストに関して、江戸・明・敦煌で作られたものを並べて比較しているものです。

さて、まずはMiradorのプログラムをダウンロードして手元に展開してみましょう。

http://www.dhii.jp/nagasaki/mirador_practices/mirador2.1.zip

そうすると、展開したフォルダの中には、以下のように、Miradorというフォルダとindex.htmlというファイルがあるはずです。まずはindex.htmlをGoogle Chromeで開いてみましょう。

そうすると「Add item」という文字が真ん中に表示されるはずですので、それをクリックすると、各地のIIIF対応画像がサンプルとしてリスト表示されます。以下のような感じです。

いずれも、クリックするとその画像が表示され、その本・あるいはひとまとまりの写真等の資料が頁めくりで表示できるようになります。この中には、海外の機関が登録した日本の資料や日本の機関・組織から登録した画像も含まれていますので、お時間がおありのときにちょっとながめてみてください。

しかし、実用段階に入っていくと、こういう各地の画像はあんまり必要なくて、むしろ、自分が使いたい画像がここで表示されてくれるとありがたいように思います。そこで出てくるのが、このindex.htmlファイルの書き換えです。これには、利用したい画像のIIIF manifestファイルが必要になります。まずはIIIF manifestファイルのURLを集めてみましょう。今回は、妙法蓮華経の巻第一にあたる画像を探そうとしていますので、その画像を含むIIIF manifestファイルを探せばよいことになります。Europeanaなどでも探せますので、ちょっと探してみましょうか。

………

IIIF manifestファイルの探し方：

フランス国立図書館gallicaの場合、普通に検索してお目当ての画像を見つけたら、たとえば以下のようなURLの場合、「.r=」以下を削除して、「/ark:」の前に「iiif/」と入れると、IIIF manifestファイルになります。Europeana上でみつけた場合、gallica由来コンテンツであれば、Identifierという項目に書かれているものがそれです。

http://gallica.bnf.fr/ark:/12148/btv1b10526554g.r=hokusai?rk=21459;2

http://gallica.bnf.fr/iiif/ark:/12148/btv1b10526554g/manifest.json

IIIF manifestを得るためのもっとスマートな方法があるはずなのですが、残念ながらうまく見つけることができていません…。

次に、国文学研究資料館関係の画像については、

国文研データセット簡易Web閲覧

http://www2.dhii.jp/nijl_opendata/openimages.php

国文学研究資料館の館蔵和古書画像のためのテストサイト

http://www2.dhii.jp/nijl_opendata/searchlist.php

などで、IIIF manifestというリンクがありますので、そのURLを持ってくればOKです。

さて、とりあえず頑張った結果、下記のIIIF manifest ファイルが入手できました。

http://gallica.bnf.fr/iiif/ark:/12148/btv1b8302822s/manifest.json

http://dzkimgs.l.u-tokyo.ac.jp/iiif/kakouzou/045_1/manifest.json

http://www2.dhii.jp/nijl/kanzo/iiif/200016819/manifest.json

これを、例のindex.htmlファイルに書き込めばOKです。一応、ファイル名をindex2.htmlに変えておきましょう。ファイル名をとりあえずindex2.htmlに変えて保存してから、いよいよ編集です。

Miradorの設定箇所はJSON様になっています。まずは、

Mirador({
         "id": "viewer",
         "layout": "1x1",

となっているところを探してください。そして、ここの「1x1」のところを「1x3」と変更してみましょう。以下のような感じになります。

Mirador({
         "id": "viewer",
         "layout": "1x3",

とりあえず、これで保存して、このindex2.htmlをWebブラウザで開いてみましょう。そうすると、画面が３つに分割されて、それぞれの画面で画像を選べるようになっているはずです。いかがでしょうか？

しかしこのままでは、当初の目的である「見たい画像を表示する」にはまだまだ遠いです。そこで次に挑戦するのは、既存のmanifestファイルの削除と先ほど探してきたmanifestファイルの追加です。

index2.htmlの中で、下記のようになっている場所を見つけてください。

"data": [
           { "manifestUri": "https://iiif.lib.harvard.edu/manifests/drs:48309543", "location": "Harvard University"},
           { "manifestUri": "https://iiif.lib.harvard.edu/manifests/drs:5981093", "location": "Harvard University"},

そうです、ここで、例のリストされるmanifestファイルを規定しています。ここでは、とりあえず

最後の３つを残して上の方から削除してしまいましょう。

削除を開始するのは以下の行からです。

           { "manifestUri": "https://iiif.lib.harvard.edu/manifests/drs:48309543", "location": "Harvard University"},

そして、以下は、残すべき３つのファイルです。

           { "manifestUri": "http://www2.dhii.jp/nijl/NIJL0018/099-0014/manifest_tags.json", "location": "NIJL"},
           { "manifestUri": "http://digi.vatlib.it/iiif/MSS_Vat.lat.3225/manifest.json", "location": "Vatican Library"},
           { "manifestUri": "http://media.nga.gov/public/manifests/nga_highlights.json", "location": "National Gallery of Art"}
         ],

下の方を敢えて残して上から消すことで、ちょっとした、しかしハマりがちなヒューマンエラーを減らすことができるのですが、それはまた別の話としまして、結果として、編集中の箇所の周辺は以下のような状態になっているでしょうか？

        "layout": "1x3",
         "data": [
           { "manifestUri": "http://www2.dhii.jp/nijl/NIJL0018/099-0014/manifest_tags.json", "location": "NIJL"},
           { "manifestUri": "http://digi.vatlib.it/iiif/MSS_Vat.lat.3225/manifest.json", "location": "Vatican Library"},
           { "manifestUri": "http://media.nga.gov/public/manifests/nga_highlights.json", "location": "National Gallery of Art"}
         ],
         "windowObjects": ,

ここで、これらの３つのmanifestファイルのURLを、先ほどの３つと入れ替えます。あと、「NIJL」「Vatican Library」「National Gallery of Ar」と書かれているところも、念のため、それぞれのmanifestの画像を公開している機関に書き換えておきましょう。

そうすると、manifestUriの行はそれぞれ以下のようになっているはずです。

           { "manifestUri": "http://gallica.bnf.fr/iiif/ark:/12148/btv1b8302822s/manifest.json", "location": "gallica"},
           { "manifestUri": "http://dzkimgs.l.u-tokyo.ac.jp/iiif/kakouzou/045_1/manifest.json", "location": "UT Library"},
           { "manifestUri": "http://www2.dhii.jp/nijl/kanzo/iiif/200016819/manifest.json", "location": "NIJL"}
         ],

さて、これで再び、index2.htmlをWebブラウザで開いてみましょう。いかがでしょうか？３つのウインドウが開いて、

一応、見本のファイルを置いておきますので、うまくいかないときは、こちらのファイルをダウンロードしてHTMLソースと見比べてみてください。

http://www.dhii.jp/nagasaki/mirador_practices/index2.html

 しかし、このままですと、やはりファイルの選択をしなければなりません。HTMLファイルを開いた時にいきなり画像が表示されるようにするには、「windowObjects": ,」に設定を書き込む必要があります。では、やってみましょう。

  "windowObjects": ,

この行に注目してください。この の間に書き込む内容が、HTMLファイルを開いた時に表示される内容です。ここでは、まず最初の頁を表示するようにしてみましょう。

画像を最初から表示するための記述は大体以下のような感じです。（ちょっと余計なものがありますが、それらはこの後の作業のためです。）

       {
         "annotationState" : "annoOnCreateOn",
         "loadedManifest" :"http://gallica.bnf.fr/iiif/ark:/12148/btv1b8302822s/manifest.json",
         "viewType" : "ImageView",
         "windowOptions": {
          }
        }

これがmanifest一つ分です。これを１セットとして、今回の場合、3セットを、カンマ区切りで書いてみてください。うまくいったら、以下のようになるはずです。

さて、ここでは、1ページ目が表示されています。ここから頁をめくっていって目的の頁にたどりつく、というのでも、今までよりは確実に楽です。本来表示したい画像は、「見せたい頁の見せたい場所を拡大表示」です。ここからはちょっとマニュアル的な面倒な作業になります。

　この作業は本来自動化可能な部分で、たとえばSAT大正蔵図像部DBのタグ付けシステムでは、これは完全に自動化されていて、見ているページにタグをつけるとそこが検索されて拡大表示されるようになってきます。技術的には、Miradorにもう一工夫するとMirador単体でも実現できる機能のはずなのですが、今のところまだできないようです。時間があればそこら辺の開発に取り組んでみたいと思っていますが、どなたか、我こそはという人は、ぜひ、がんばってみてください。

　…ちょっと脱線しましたが、これは、脱線せざるを得ないくらい、ちょっと面倒な作業です。難しくはありません。では、やってみましょう。

まず、見せたい頁を表示する、というところからいきます。見せたい頁のcanvas idを探します。

たとえば、

http://gallica.bnf.fr/iiif/ark:/12148/btv1b8302822s/manifest.json

をみてみましょう。典型的なJSONファイルで、階層構造を為しています。このうち、

"sequences" : [ {

/>という行を探してください。ここから下の階層に「canvasが並べられて、canvasの順番が規定されます。canvasの順番は複数設定ができるようなのですが、多くの場合１つしか設定されていないと思います。このすぐ下の階層に

"canvases" : [ {

という箇所があります。この中にリストされている各要素が「canvas」です。各要素の中にはそれぞれ「@id」という項目があります。この@idが、canvasを一意に決めるものです。ここでは、1頁目の画像がほしい、ということは、1つ目のcanvasを指定したい、ということになるので、1つめの@idをコピペしておきます。

"http://gallica.bnf.fr/iiif/ark:/12148/btv1b8302822s/canvas/f1"

さて、次に、http://www2.dhii.jp/nijl/kanzo/iiif/200016819/manifest.json

を見てみましょう。要領はさっきと同じです。ただし、今回は、5ページ目を見たいので、5頁目のcanvas idを探します。探し方のコツとしては「"label"」という項目が各canvasの中にあるのを見つけてみてください。これは、Miradorの画面下部の各サムネイルの下部に表示されているので、それを見比べると割と簡単に見つけられると思います。ただし、labelの値を全canvas同じにしているmanifestファイルもありますので、その場合は別の探し方を考えるしかありません。

　今回は、各canvasごとに異なるlabel値がつけられているようなので

"label": "p. 5",

上記箇所を探すことで、割と簡単に見つけられました。今回のcanvas idは

http://www2.dhii.jp/nijl/kanzo/iiif/200016819/canvas/p5.json"

です。

同様にして、

http://dzkimgs.l.u-tokyo.ac.jp/iiif/kakouzou/045_1/manifest.json

に関してもcanvas idを探してみましょう。

さて、canvas idが一通り出そろったら、あとはそれを適切な場所に書き込んでいきます。

この場合、windowsObjects以下の各要素の中に書き込んでいくことになります。ここでは、「loadedManifest」の次に書き込むことにして、この行の最後に「,」を入れて、次の要素として下記のようにcanvas idを記述しておきます。

"loadedManifest" :"http://dzkimgs.l.u-tokyo.ac.jp/iiif/kakouzou/045_1/manifest.json",
"canvasID": "http://dzkimgs.l.u-tokyo.ac.jp/iiifimgs/kakouzou/045_1/pkakouzou/045_1/0009",

これを他の２つの要素に関しても同様にしてみてください。

これがうまくいくと、それぞれの頁が開くはずです。見本が下記にありますので、うまくいかないときはこの頁のHTMLソースをみて検討してみてください。

http://www.dhii.jp/nagasaki/mirador_practices/index3.html

さて、いよいよ最後の仕上げです。しかし、これが実は一番ややこしくて、しかも自動化すれば大変簡単になるところです。今度は、

             "windowOptions": {
             }

の中に、位置情報を記述していくのです。たとえば以下のような感じです。

    "windowOptions": {
     "osdBounds": {
       "x": 0.7,
       "y": 0.1,
       "width": 0.2,
       "height": 0.2
       }
     }

ここでは、1を画像の最大サイズとして、0から1の間の数値で画像内の位置を表現しています。xが横位置、yが縦位置、widthが幅、heightが高さ、です。

位置情報は、ここでは目分量（笑）でちょこちょこ調整しながらつけました。みなさんもぜひ試行錯誤してみてください。試行錯誤の時間がない人は、下記の完成版を参考にしてみてください。

http://www.dhii.jp/nagasaki/mirador_practices/index4.html

ということで、いかがでしたか。Miradorにこの位置情報を拾って最初から表示する機能をつけてくれ…という思いがどうしても先に来てしまいますが（追記：Miradorには、見ているviewを保存するbookmarkという機能があるのですが、手元ではうまく動いたことがありません。これがうまく動くようになれば最後のステップ（あるいはこれらのステップ全体？）は省略できるようになるかもしれないので、どなたか挑戦していただけますとよいかもしれません）、しかし、そんなに数が多くなければ、手でつけてみるのもまた乙なものかもしれません。せっかく、世界中で多種多様な画像がIIIF対応にて公開されているので、こういう活用の仕方も、ぜひ考えて見てください。

今後とも、よろしくお願いいたします。

国文研館蔵和古書画像400万コマ近くがオープンデータに！

　先日、国文学研究資料館（以下、国文研）の館蔵和古書画像がCC BY-SAへとライセンス変更されたことは記憶に新しいところです。筆者としては早速ダウンロードして色々活用できるように…と思って少し試してみたらなかなか大変でした。結果として、19451書誌分の古典籍画像をダウンロードすることができたのですが、書誌情報はオープンデータになっていないので、内容がわかる人でないとなかなか活用は難しいのではないかと思います。この点、昨年「国文研データセット」として公開されたものは書誌情報やタグ、一部の全文テクストなど色々おまけがついていたので楽しみやすいものでした。筆者としても、色々な工夫をさせていただきました。

　しかし、やはり、せっかくオープンデータとして公開されたのですから、これはなるべくみんなで活用できるようにした方がよいと思いました。このところ「デジタルアーカイブ」についての議論が盛り上がっていることもあり、古典籍好きな人たちがデジタルアーカイブについての活用例を色々と出せるようにすることは、古典籍に関わる研究者だけでなく全体にとってもいいことなのではないかということもあり、とりあえず皆が共有しやすい形にしようかと思いました。

　とりあえず、このブログで何度もご紹介しているIIIFに対応する形で公開するのは活用の幅がかなり広がりますので、まずはIIIF対応をさせました。このIIIF Manifestのリストはタブ区切りテクストで公開しております。この件は、さっそく笠間書院が採り上げてくださったので、ありがたいことです。なお、なんでJSONじゃないの？という突っ込みはご容赦ください。JSONであるべきだと思う人はJSONにして再配布してください。

　さて次に、画像のダウンロードです。国文研のデータベースはあんまりダウンロードしやすくないので、ダウンロードしやすいようにしてみました。ポイントは、

1. 画像のディレクトリ／ファイル番号と書誌情報ID（？）との対応をわかりやすく
2. 画像のファイル名を固定長で
3. 1書誌ごとに全画像を１つの頁にまとめる

という３点です。先にテクニカルな話をしておくと、ファイル／ディレクトリの構造はそのままにして、シンボリックリンクをはることで上記のことを実現しています。多分、こうしておくことで、元のリポジトリ上での画像の状況に小変更が生じた時にもそれなりに機械的に対応できると思います。

では、上記の3点をかいつまんで説明していきますと、

「1. 画像のディレクトリ／ファイル番号と書誌情報ID（？）との対応をわかりやすく」というのは、書いているとおりです。おそらく、書誌情報やモノとしての本や周辺物の構造にあわせてディレクトリやファイル番号をつけていった上で、データベース上で順番を管理して表示していたのだと思うので、Webインターフェイスから使うことだけを考えるならこれでよいと思うのですが、画像をダウンロードして使うことを考えた場合、画像にアクセスした時にそのオリジナルのディレクトリ／ファイル番号（ファイル名）が見えてしまっていて、結果として書誌情報との関係や画像の順番がダウンロード後によくわからない、という状態になってしまうようでした。たとえば、何らかの事情で番号が飛んでいる場合、複数の本で構成される一つの本（書誌）のディレクトリの分け方に色々なパターンがある、あるいは、帙の写真があって本文が始まるけど画像番号は帙の写真の方が大きい、など、です。これだと、ダウンロードした時に、Webで見せている順番（＝多分国文研でこうあるべきと思った順番）では使えなさそうな感じでした。これは、これまでの国文研のデータベースがダウンロードでの利用を前提としていないのである意味当然のことであるとも言えるのですが、せっかくCC BY-SAでの公開となったのに、ダウンロードした際にうまく使えないとちょっと困るかもしれないので、とりあえず、各書誌情報ID（？）ごとに、画像をぶらさげる形にしてみました。

「2.画像のファイル名を固定長で」というのも、書いているとおりです。特にパソコンに1冊分をダウンロードしたり、複数の本を同じフォルダに保存してみたりした場合、読む順番で画像が並んでいたり、きちんと連番になっていたり、固定長になっていたりすることは、画像を簡単に順番に並べることができるという点で、ライトなパソコンユーザには割と重要なことかと思います。幸いにして書誌情報ID（？）は固定長なので、書誌毎の画像をWebで公開されている順番にならべて、その順番の番号を固定長でつけました。こういうのをPHPでやってしまう人なので sprintf("%05d", $filename); という感じです。結果として、今のところ、3,957,881点（多分重複あり）のすべての画像が「書誌番号ID_5桁の連番.jpg」という風になっています。

「1書誌ごとに全画像を１つの頁にまとめる」というのは、半分、上記1. の話の繰り返しになりますが、たとえばこんな感じで、各書誌ごとに頁を生成して、そこから、その書誌に対応する画像へのリンクが表示されるようにしてみました。

　さて、ここまで来たら、今度はIIIF manifestやダウンロード画像を探しやすくする工夫です。といっても書誌情報がオープンデータ化されていない現状では、できることは極めて限られていますが、一応、タイトルで検索できるようにしてみました。いわゆる親書誌と個別の書誌で同じ画像を含んでいる場合もあったり、結果として同じ画像が重複してヒットする場合もあるかもしれませんが、その点はご容赦ください。

　というわけで、とりあえずこんなものを作ってみました。サイトにちゃんとした名前をつけたいような気もするのですが、これはあくまでも本家の国文研サイトでIIIF manifestやダウンロードしやすい仕組みが提供されるまでのつなぎですので、「テストサイト」としています。この仕組みは、以前に国文研データベースの画像を全部チェックして仏典画像を探した時に苦労した点を反映したもので、基本的には、各本へのリンクが一覧表示されている画面からなるべく動かずに色々な情報を得られるように、というものです。

　まず、国デコ（国立国会図書館デジタルコレクション）ではすでに用意されている機能を少し発展させたものとして、少し大きめの頁のサムネイル画像を、頁を指定して一覧表示画面に列挙できるようにしています（たとえば、10頁のサムネイル画像を表示させる、といった具合です）。この機能があると、それぞれの本がどういうものか、ということについての簡単な見通しが得やすくなりますので、ちょっと作業がやりやすくなります。そして、そのサムネイル画像をクリックすると、Miradorで、その頁を拡大表示した形で、その本が表示されます。こうすると、内容の確認に入りやすい上に、Miradorは他の頁に飛ぶ方法が楽なので（頁下部のサムネイル画像をクリックするだけ）、その点でも便利です。国文研のデータベースも新しいものでは部分的にサムネイル画像が用意されるようになってきているようですが、「サムネイル画像は準備中です」となっているものに多く遭遇する上に、一度に閲覧できるサムネイル画像の数が少ないので（これは国デコもなのですが）、微妙に不便です。また、サムネイル画面と個別頁の画面はいちいち別ページを読み込む形になるので、そのたびにビューが切り替わり、さっき見ていたものがわからなくなるのは、たくさん画像を見なければならないときは結構疲れます。Miradorでの、頁拡大画面の下部にサムネイルがリストされる表示方法は、その点、結構楽でありがたいことです。ただ、この点については好みの問題もあるかもしれないので、あくまでも私が便利で楽だと思っている、ということにしておいていただけたらと思います。

　それから、書誌詳細を、ポップアップウインドウに表示されるようにしました。これは、国文研の現在のデータベースでは、新しい頁を開いてしまうのでちょっと大げさです。せっかくGET Methodに対応したのですから、こういう感じで表示してもらえると、視線があまり動かないのでありがたいのです、と思っております。ポップアップでなくても、フレームみたいなものでもいいのですが。

　それに加えて、画像ダウンロードのリンク、Mirador、Universal Viewerへのリンク、IIIFドラッグ＆ドロップアイコンなどもご用意いたしました。ここら辺を何らかの使いやすい形で本家でもいずれ用意していただけたらと思っているところです。

　オープンデータとして公開されたのに十分に活用されていない、となると、今度はかえってオープンデータ公開の意義が問われることになってしまいかねません。ということを最近いつも心配しております。とりあえずここまでしておけば、簡単なダウンローダを使って持って行って色々試したりすることも比較的容易にできると思いますので、みなさま、ぜひ色々ご活用してみてください。

　それから、この画像をオープンデータ化する決断をしてくださった国文研への感謝の念と参照情報は、常に忘れないようにしましょう。特に参照を明確に・できれば機械可読な形でも提示することは、オープンデータの意義を高めることに割と直接的につながり、他の機関のオープンデータ化を後押しすることにもなると思いますので、ぜひともよろしくお願いいたします。

今回新規にご紹介したURL：

http://www2.dhii.jp/nijl_opendata/kanzo_all.txt

http://www2.dhii.jp/nijl_opendata/searchlist.php

IIIFのための画像サーバ導入記（JPEGのままで/Tomcat編）

IIIF Image API対応画像サーバ Digilib のインストールについてのご紹介

以前に、IIIFのための画像サーバを導入するための方法として、IIP Image serverをご紹介（簡易版）しました。多分これが最速なのではないかと思うのでとりあえずご紹介したのですが、一方で、ソースコードからのコンパイルが必要になる上に、jpeg2000かTiled Tiffが必要なので画像の準備が大変、ということがありました。そこで、普通のjpeg画像でも使える上にコンパイルする必要もない、Loris というPythonで書かれたサーバソフトがある、という言及だけはいたしました。とはいえ、Pythonはあんまり速くない上に、インストールに際しての依存関係の解決が結構大変で、どうやったか思い出せないほどだったので（Pythonを普段使いしている人には簡単なことかもしれないのですが）、導入記をご紹介するにはちょっと難しい、という状況でした。

しかしながら、「jpeg画像をそのまま使いたい」「ソースコードからコンパイルと言われてもちょっと難しそう」という話を色々な方々からいただきましたので、Lorisのインストール記を書くか、それとも…と悩んだ挙げ句、結局、別の選択肢を試してみることにしました。（この週末はこれともう一つのネタでほぼ終了です）

IIIFの公式サイトで紹介されている画像サーバソフトの中にdigilibというものがあります。今回はこれを試してみました。

digilibは、Java Servletで動作します。必要な環境としては、Java 1.6以降に加えて、サーブレットコンテナとして、Tomcat 7以降、もしくは、Jetty 8以降が必要だそうです。ただ、Tomcat環境を用意する方法はあちこちに書いてあって、おそらく、ソースコードからコンパイルするといった手順とは要求される作業の種類がだいぶん違っていて、おそらくレンタルサーバ環境でも比較的容易だと思われます。

　ここでは、CentOS7 + Apache 2.4 + Tomcat7を前提として作業をしていきます。他のdistribution/OS/サーバソフトを使っている人は適宜読み替えてください。

１．Tomcat7環境の用意

　まず、Tomcat7環境を準備します。すでに用意してある人は読み飛ばしてください。サーバ環境が異なっている人は自分の環境にあわせて構築してください。それから、そもそも、この話はあちこちのサイトに親切丁寧に書いてありますので、適当に流して書きます。以下のような感じです。

$ sudo yum install tomcat-*
$ sudo systemctl enable tomcat.service
$ sudo systemctl start tomcat.service
$ sudo systemctl status tomcat.service

これで、tomcatが動作していればとりあえず第一段階はOKです。

次に、tomcatをapacheと共存させられるようにします。ajpモジュール、というもので連携できるそうですが、CentOS7のhttpdには最初からついているそうです。

そこで、ajpモジュールの設定ですが、エディタで下記のファイルを作成して

$ sudo vi /etc/httpd/conf.d/tomcat.conf

以下のような内容を記入します。
<Location /tomcat/>
    ProxyPass ajp://localhost:8009/
</Location>

そうしたら、httpdとtomcatをそれぞれ再起動します。

$ sudo systemctl restart httpd.service

$ sudo systemctl restart tomcat.service

これでTomcat7環境の準備は多分OKです。

http://サーバのホスト名/tomcat/

にアクセスして確認してみてください。

2. digilibの設置

さて、次は設置ですが、これは公式サイトに載ってますので粛々とこれに沿って作業します。

まず、インストールするサーバソフトですが、最近も細々修正をしているようなので、こちらから最新版を入手しました。それを

$ cp digilib-webapp-2.4-SNAPSHOT-srv3.war digilib.war

として、

$ sudo mkdir /var/lib/tomcat/webapps/digilib
$ sudo cp digilib.war /var/lib/tomcat/webapps/digilib
$ cd /var/lib/tomcat/webapps/digilib
$ sudo unzip digilib.war

として、

http://サーバのホスト名/tomcat/digilib/digilib.html

にアクセスしてみましょう。ここでたとえばこんな風にdigilibの画像が表示されれば、多分、インストールは成功だと思います。

3. digilibで手元のjpeg画像を表示できるように

次はいよいよ、自分の画像を表示できるようにする設定です。

設定ファイルの置いてあるディレクトリに行って

$ sudo cd /var/lib/tomcat/webapps/digilib/WEB-INF

設定のテンプレファイルをコピーします。
$ sudo cp digilib-config.xml.template digilib-config.xml

ここでいったん、デフォルト設定を確認してみましょう。

http://サーバのホスト名/tomcat/digilib/server/dlConfig.jsp

にアクセスしてみると、デフォルト設定が出てきます。とりあえず最低限チェックしておく必要があるのは

basedir-list

/usr/share/tomcat/webapps/digilib/sample-images/

という箇所です。つまり、このディレクトリに置いた画像がdigilibを通じて読めるようになります。ですので、色々いじるのが面倒な場合は、このディレクトリ以下に画像ファイルを置いたりシンボリックリンクを張ってしまったりするという手もあります。

　とはいえ、このままだとなんとなく気になるという人もおられるでしょうから、これを変更する場合は、
$ sudo vi digilib-config.xml

として、

<parameter name="basedir-list" value="ここに画像のあるディレクトリを" />

という風に編集して保存してから、tomcatの再起動です。たとえば、

/var/www/iiifimages/poppo/001.jpg

/var/www/iiifimages/poppo/012.jpg

/var/www/iiifimages/coyking/001.jpg

/var/www/iiifimages/coyking/400.jpg

などとなっている場合、/var/www/iiifimagesが外から見えるパーミッションになっていることを確認した上で、上記のXMLタグの値を

<parameter name="basedir-list" value="/var/www/iiifimages" />

という風にします。そこで、

$ sudo systemctl restart tomcat.service

としてTomcatを一応再起動してから、

http://サーバのホスト名/tomcat/digilib//digilib.html?fn=poppo/012

http://サーバのホスト名/tomcat/digilib//digilib.html?fn=coying/400

にアクセスすると、たとえばこんな感じで、digilibビューワごと表示されます。

この仕組みは、詳しくは公式サイトの解説をご覧いただけたらと思いますが、簡単にご紹介しておきますと、basedirで与えたディレクトリをベースとして、fn=で与えられたディレクトリ・ファイル名を探し出して表示する仕組みです。ただし、拡張子は自動的に探してくれますのでここでは記載しないようにします。また、色々な拡張子の同名ファイルが同じディレクトリに入っているとうまく表示できないのでその点はご注意ください。（私はこれでちょっとハマりました。）

さて、これで満足して公開してしまうのも一興ですが、ここでの目標はIIIF Image APIですのでもう少し頑張ります。

なお、ここで画像がうまく表示されない場合は、下記のURLにて設定を確認してみましょう。

http://サーバのホスト名/tomcat/digilib/server/dlConfig.jsp

4. IIIF Image APIの設定（どハマりして半日つぶしました）

さて、マニュアルによれば、ここまでできれば、あとはURLの書き方を変えるだけでIIIF Image APIとしてアクセスできるはずです。ポイントは、上記のfn=で指定していたローカルのファイルパスにあたる部分のディレクトリの区切り記号を「/」から「!」に変更する点、それから、「digilib/Scaler/IIIF」というURLがデフォルトになっているという点でしょうか。で、さっそくアクセスしてみたところ、以下のように普通にできたので、

http://candra.dhii.jp/tomcat/digilib/Scaler/IIIF/nijl!NIJL0048!0110-189102!0110-189102-0005/1200,1000,500,500/800,/0/default.jpg

これをPresentation APIに組込んで、「lorisと速度比較だ！（わくわく）」と試してみたのですが…

拡大画像が表示されないのです。そこで、Google Chromeで「Control+Shift+i」でコンソールを開いて見てみたところ、変なエラーが。このエラーはinfo.jsonにて確認できそうなので見てみると、どうも、画像の@idは本来下記のようになっているべきなのに、

http://candra.dhii.jp/tomcat/digilib/Scaler/IIIF/nijl!NIJL0048!0110-189102!0110-189102-0005

info.jsonを見る限りでは下記のように「/tomcat」というのが抜けており、
http://candra.dhii.jp/digilib/Scaler/IIIF/nijl!NIJL0048!0110-189102!0110-189102-0005

ビューワ側では拡大画像へのアクセス時にこれを使って分割画像へのアクセスをしようとしてしまうので、分割画像が404 Not foundになってしまうようなのです。
　想像するに、そもそもdigilabはApacheとJava Servlet環境を共存させるような使い方を想定せずに作られたのかもしれないと思ったところですが、それはともかく、これをなるべく簡単に解決しないことにはみなさまにdigilabのインストール方法をご紹介するどころの話ではありません。

もちろん、一番簡単な解決方法はソースコードをいじって修正することなのですが、これをやってしまうとみなさまにインストールをご紹介する際の難易度が一気に高まってしまいます。そこで、なるべく普通に設定のみでクリアする方法を考え試行錯誤した結果、以下のような方法が一番簡単そうだというところにたどり着きました。一応、実際にきちんと動作しました。

「 ApacheのRewirteRuleで /tomcat -> /digilibに飛ばす」

さて、具体的な手順ですが、まず、

$ sudo vi /etc/httpd/conf/httpd.conf

で、apacheの設定ファイルを開いて、下記を追記する。

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteRule ^/digilib(/.+)$ http://サーバのホスト名/tomcat/digilib/$1
</IfModule>

そうしましたら、httpdとtomcat（念のため、一応）をそれぞれ再起動します。

$ sudo systemctl restart httpd.service

$ sudo systemctl restart tomcat.service

これで、私の環境（上述、特にこの件ではApacheのバージョンに要注意）ではうまくいきました。　もしIIIIFビューワでうまく表示できなければ、ブラウザのコンソールを開いてみてCORSのエラーが出てないかどうか確認してみてください。CORSのエラーに関しては、Tomcat側でHeaderをsetできますので、WEB-INF/web.xmlあたりにちょっと追記してみてtomcatを再起動してみるとよいかもしれません。

とにかく、Jpeg画像をそのまま使えることはIIIF Image APIの導入にあたって重要な留意事項なのですが、Lorisサーバがあんまりはやくないのとインストールがちょっとややこしいこともあり、ご紹介に躊躇しておりまして、digilibは、TomcatかJettyの環境さえあればあとは割と簡単そうなので、今回ようやくご紹介するに至りました。

digilibは、今のところ、Lorisよりもちょっとはやそうな雰囲気ですが、自宅のネット環境があまりよろしくないので、実はよくわからない状況です。とりあえず、digilibが実用レベルかどうか、だけでも結構ですので、試してみた方はお知らせいただけますと幸いです。

それから、上記の記述に何か間違いなどありましたらお知らせいただけますと幸いです。

ということで、今後とも、よろしくお願いいたします。