MeCabを使って日本語歌詞の形態素解析をしてみた。
最近毎週友人に日本語を教えていて、日本語能力試験N5合格目指して自分もどうやって教えられるかを研究してます。ただ教えるだけじゃなくて、どうやってモチベーション持続できるかとか。自分次第だと思うが、モチベーションをずっと持たせられる先生が本当の先生だと思うのです。
「First Loveの歌詞の解説して」というリクエストがきたので、使われてる語彙はどんなものかを自分なりに調べてみた。
形態素解析の仕方は、マックの場合は以下:
- ターミナルを開いて brew install mecab mecab-ipadic を入力
- この後普通に mecab と入力して解析したい文章を入れるとよい
- もしエラーが返ってきたら ターミナルで sudo chown -R `whoami`:admin /usr/local/bin を入力して
- brew link mecab を入力する
- その後 mecab と入力して文章をペーストすると自動で解析してくれる
- 解析後は結果をテキストエディタに貼り付けて、スペースやコンマを\tで一括置換してスプレッドシートに貼り付ければ出来上がり
First Love における発見:
- 英語と重複を除くと、日本語58単語使われている
- 18名詞、12動詞、13助詞、7助動詞、4形容詞、3副詞、1接続詞が使われている
- 見た感じ日本語能力試験N5レベルの単語が7-8割ほど使われている感じ(N5は一番下のレベル。だが必須語彙数が800ほどあり初級者用ながら結構難しい)
- 動詞の半分ほどは活用形
- 意外と形容詞の使用は少ない
- 別れや心情関係だと形容詞で状況を表現していると思いきや、案外名詞で直接的に状況を表現しているのだと気づいた
他にも色んなアーティストの歌詞をみて比較してみたい。何かを分析する上では常に仮説を考えてそれを証明・反証するために分析をすべきだ。
テーマとしては「ウケる曲(売れている)の歌詞は易しい日本語(N5-N4レベル)が使われている」という仮説で進めてみようと思う。
売上数が高いもの10曲ほどと、全然売れていない曲をどうにか定義づけて形態素解析をして比較してみようと思う。使用単語だけで「別れ、新しい始まり、出会い、恋」などパターンを見つけて自動でその曲のテーマがわかるようなプログラムがかけたら面白い。何に使えるかわからないが・・。
「別れの曲は名詞が多い」「曲のテーマと品詞の種類の数は関係がない」など結論付けられる量のデータを集められても面白い。
以下は上記解析後のFirst Loveの語彙リスト。品詞の詳細については省略。
# | Words in Lyrics | ja_Parts of Speech | en_Parts of Speech | Original Form |
1 | あなた | 名詞 | Noun | あなた |
2 | いつか | 名詞 | Noun | いつか |
3 | キス | 名詞 | Noun | キス |
4 | こと | 名詞 | Noun | こと |
5 | タバコ | 名詞 | Noun | タバコ |
6 | どこ | 名詞 | Noun | どこ |
7 | わたし | 名詞 | Noun | わたし |
8 | ん | 名詞 | Noun | ん |
9 | 歌 | 名詞 | Noun | 歌 |
10 | 香り | 名詞 | Noun | 香り |
11 | 今 | 名詞 | Noun | 今 |
12 | 今頃 | 名詞 | Noun | 今頃 |
13 | 最後 | 名詞 | Noun | 最後 |
14 | 時間 | 名詞 | Noun | 時間 |
15 | 場所 | 名詞 | Noun | 場所 |
16 | 誰 | 名詞 | Noun | 誰 |
17 | 明日 | 名詞 | Noun | 明日 |
18 | 恋 | 名詞 | Noun | 恋 |
19 | いつも | 副詞 | Adverb | いつも |
20 | きっと | 副詞 | Adverb | きっと |
21 | まだ | 副詞 | Adverb | まだ |
22 | ある | 動詞 | Verb | ある |
23 | いる | 動詞 | Verb | いる |
24 | うたえる | 動詞 | Verb | うたえる |
25 | し | 動詞 | Verb | する |
26 | てる | 動詞 | Verb | てる |
27 | 歌える | 動詞 | Verb | 歌える |
28 | 泣い | 動詞 | Verb | 泣く |
29 | 思っ | 動詞 | Verb | 思う |
30 | 動き出そ | 動詞 | Verb | 動き出す |
31 | 忘れ | 動詞 | Verb | 忘れる |
32 | 落ち | 動詞 | Verb | 落ちる |
33 | 立ち止まる | 動詞 | Verb | 立ち止まる |
34 | また | 接続詞 | Conjunction | また |
35 | う | 助動詞 | Auxiliary verb | う |
36 | た | 助動詞 | Auxiliary verb | た |
37 | たく | 助動詞 | Auxiliary verb | たい |
38 | だろ | 助動詞 | Auxiliary verb | だ |
39 | だろ | 助動詞 | Auxiliary verb | だ |
40 | だろ | 助動詞 | Auxiliary verb | だ |
41 | ない | 助動詞 | Auxiliary verb | ない |
42 | か | 助詞 | Particles | か |
43 | が | 助詞 | Particles | が |
44 | から | 助詞 | Particles | から |
45 | だけ | 助詞 | Particles | だけ |
46 | て | 助詞 | Particles | て |
47 | と | 助詞 | Particles | と |
48 | に | 助詞 | Particles | に |
49 | の | 助詞 | Particles | の |
50 | は | 助詞 | Particles | は |
51 | ばかり | 助詞 | Particles | ばかり |
52 | まで | 助詞 | Particles | まで |
53 | も | 助詞 | Particles | も |
54 | を | 助詞 | Particles | を |
55 | せつない | 形容詞 | Adjective | せつない |
56 | ニガく | 形容詞 | Adjective | ニガい |
57 | 新しい | 形容詞 | Adjective | 新しい |
58 | 悲しい | 形容詞 | Adjective | 悲しい |