形態論情報の付与

言語研究では，例えば小説『明日の記憶』には，どの語がどのくらい使われているのか，「文化」という語は単独で使われることが多いのか，それとも「上方文化」のように他の語と複合して使われることが多いのかなど，“語 ”に着目した分析を行うことが多くあります。そのため，コーパスを日本語研究に活用できるようにするためには，コーパスに収録した文章を語に区切り，品詞などの情報を付けることが必要です。テキストに付与した単語や品詞などの情報を「形態論情報」と呼びます。

語の区切り方

日本語は英語と異なり，分かち書きをしない言語であるため，語に区切るといっても色々な区切り方が考えられます。

『現代日本語書き言葉均衡コーパス』では，2種類の区切り方で文章を語に区切ることにしました。一つは「国立国語研究所」を「／国立／国語／研究／所／」の4語とする区切り方で「短単位」と呼んでいます。もう一つは「国立国語研究所」を1語とする区切り方で「長単位」と呼んでいます。短単位・長単位それぞれに品詞などの情報を付けます。

自動形態素解析

『現代日本語書き言葉均衡コーパス』は1億語という大規模なコーパスであるため，手作業で形態論情報を付けることは不可能です。そこで『現代日本語書き言葉均衡コーパス』では，コンピューターを使って，形態論情報を自動付与します。これは自然言語処理の分野で開発された技術で，形態素解析と呼びます。

短単位への解析は，形態素解析ソフトウェア「茶筌」や「MeCab（めかぶ）」と，国立国語研究所で開発を進めている形態素解析用電子化辞書UniDic（ユニディック）とを組み合わせて行います。この自動解析の精度は現時点で98%以上です。今後も引き続き電子化辞書への単語登録などを進め，解析精度の向上を目指します。

長単位は，短単位に解析したデータを基にソフトウェアを使って自動構成します。現在，解析精度向上に必要なデータの整備等を行っています。

形態論情報から分かること ―「オレ」の表記―

形態論情報を使った日本語の実態調査の例として，代名詞「オレ」がどのような表記で用いられているかを見ていきます。

『現代日本語書き言葉均衡コーパス』の生産実態サブコーパスの書籍データ（約1,500万語）を使って，代名詞「オレ」がどのような表記で，どのくらい用いられているか調査しました。結果は下図のとおりです。

「俺」は常用漢字表に掲げられていない漢字（表外漢字）ですから，常用漢字表に従えば，代名詞「オレ」は漢字を使わずに仮名書きすることになります。しかし実際には，平仮名表記は3割台で，表外漢字「俺」を使った表記が半数以上を占めます。代名詞「オレ」は，表外漢字「俺」で表記することが一般的になってきていると考えられます。

現在，文化審議会国語分科会では，常用漢字表の見直しに関する審議が行われています。平成20年7月31日の文化審議会国語分科会総会では，現行の常用漢字表に追加する漢字の候補188字が了承されましたが，この中に「俺」も入っています。「俺」を追加候補とするに際しては，上に示した代名詞「オレ」の表記調査のデータが参考にされました。このことから，『現代日本語書き言葉均衡コーパス』は学術研究だけでなく，国語施策といった実用的な面にも貢献し得る極めて有用なコーパスと言えます。

国立国語研究所が開発を進めている形態素解析用電子化辞書UniDicは，http://download.unidic.org/で公開しています。利用者登録をすれば，無料でダウンロードして利用できます。UniDicの利用登録者数は1,000名を超え，人文系から工学系まで幅広く利用されています。なお，このサイトでは，初心者でも簡単にUniDicを使った形態素解析ができるツール「茶まめ」（Windows版のみ）も公開しています。

（小椋 秀樹）

  国立国語研究所の言語コーパス整備計画KOTONOHA：http://www.kokken.go.jp/kotonoha/

  科学研究費特定領域研究「日本語コーパス」：http://www.tokuteicorpus.jp/