« コピペ宣伝マンは二人組? | トップページ | かな3グラムの物差しを作ってみる »

かな3グラム分析

スレ乱立」というエントリであげた「最後のパレード」盗作疑惑関連の74スレッドについて、ID毎の文体の特徴を自動的に取り出せないかと思って試してます。

今までの経験から、漢字の熟語はその人の特徴というより、その時の話題の特徴を表しやすいと考えています。そのため、今回は、仮名(ひらがな、カタカナ)と文尾に来る特殊な文字(!や?など)を対象に頻度を調べてみようと思います。

まず、調査対象を絞るために、投稿数が100回を越えるIDのリストを作ります(以下)。

  • "id","count"
  • "LcGCvJzD0",181
  • "tDFR9K4O0",179
  • "V+JBJ/g20",172(※後述)
  • "W0TlTNwBO",142
  • "bHdrgqPh0",141
  • "PUKvC9zG0",125
  • "zW3b9lWV0",113
  • "bhHp1lbI0",103

この各IDについて、以下の文字が3個連続して現れるパターン(3グラム)を抽出し、その総計を調べます。

  • ひらがな(ぁあ~をんゔ)
  • カタカナ(ァア~ヷヸヹヺ)
  • 長音(ー)
  • 文尾にきそうな記号(。、.,.,!?!?)
  • 改行(ここではアレフ文字「ℵ」で表現)

上記の(※)をつけた"V+JBJ/g20"については、プログラム上の問題(何故かエラーが出る)が解決できず、調べていません。(こういう「ええ加減さ」が趣味的なプログラムの良いところです)

結果は以下の通り。Google Spreadsheetに一覧を載せました。

"LcGCvJzD0",181
http://spreadsheets.google.com/pub?key=rqKg1kmO82ny59BathDZAbg

"tDFR9K4O0",179
http://spreadsheets.google.com/pub?key=rbqWzJf8fp59vRuJOXFawFw

"V+JBJ/g20",172
なし

"W0TlTNwBO",142
http://spreadsheets.google.com/pub?key=rq5XVGwH6o69K_zpat1-erw

"bHdrgqPh0",141
http://spreadsheets.google.com/pub?key=rN9EDIjpBxk3k7oZeCY9Z5g

"PUKvC9zG0",125
http://spreadsheets.google.com/pub?key=rVCpvDnOBltCDP-8wEVNlUQ

"zW3b9lWV0",113
http://spreadsheets.google.com/pub?key=rcOwsOtPIQ6eTYaOauOznoA

"bhHp1lbI0",103
http://spreadsheets.google.com/pub?key=rWYOLhBHy916ZLLzkSfc0NQ

全ID対象(全部で102,189件になるので上位1000件程度のみ)
http://spreadsheets.google.com/pub?key=rcsB6otNlby5d7kWFpHSZlQ

リストの第一項目(body)は3グラムの文字列を、第二項目(count)は出現回数を示します。第三項目の項目名ratioの後ろにある数字(3337等)は出現回数の総和を示し、第三項目の値は総和に対する割合を示します(処理の都合で10の9乗倍しているのでやたらと大きな数値になってますが、パーセントと同じ意味です)。

一番面白かったのは、"W0TlTNwBO"さんの一位が「すかぁ」だった事です。すっかり流行語になった「すかぁ」については、3羽の雀さんの以下の記事で知りました。

http://d.hatena.ne.jp/three_sparrows/20090504/p1
2009-05-04 リコールかぁ

あと、文字を反転させてみると、最後の「読売社内も、徹底検証しないわけにはいかない事態に立ち至っているんじゃないでしょうか!?」のあとに「すかぁ。」という文字が見えます。最初は「・・・立ち至っているんじゃないですかぁ。」と書いてたんでしょうね。

この他の3グラムの特徴を見比べているのですが、もっと道具を作らないと人間の目では類似点や相違点を見つけるのが難しいですね。例えば、目で見て以下のような特徴を見つけました。今日はこれで自己満足して寝ることにします。

◆IDによって使用/不使用が分かれる用語
(1) "ねらー"
de-id-count-sorted-ratio-all1000.csv: "ねらー",401,233386
de-id-count-sorted-ratio-tDFR9K4O0.csv: "ねらー",7,2610966
de-id-count-sorted-ratio-LcGCvJzD0.csv: "ねらー",3,899011
de-id-count-sorted-ratio-W0TlTNwBO.csv: "ねらー",4,1260636

(2) "じゃね"
de-id-count-sorted-ratio-all1000.csv: "じゃね",1708,994073
de-id-count-sorted-ratio-LcGCvJzD0.csv: "じゃね",5,1498351
de-id-count-sorted-ratio-tDFR9K4O0.csv: "じゃね",4,1491980
de-id-count-sorted-ratio-bHdrgqPh0.csv: "じゃね",7,2648505
de-id-count-sorted-ratio-bhHp1lbI0.csv: "じゃね",9,2631578

◆特有の文尾
(3) "ヨ"で終わるもの(おそらく★印のものが文尾)
de-id-count-sorted-ratio-LcGCvJzD0.csv: "ますヨ",1,299670★
de-id-count-sorted-ratio-W0TlTNwBO.csv: "インヨ",1,315159
de-id-count-sorted-ratio-bHdrgqPh0.csv: "ℵサヨ",1,378357
de-id-count-sorted-ratio-PUKvC9zG0.csv: "せんヨ",3,1118985★
de-id-count-sorted-ratio-PUKvC9zG0.csv: "ですヨ",2,745990★
de-id-count-sorted-ratio-PUKvC9zG0.csv: "ますヨ",2,745990★
de-id-count-sorted-ratio-zW3b9lWV0.csv: "ますヨ",3,1337494★
de-id-count-sorted-ratio-zW3b9lWV0.csv: "ですヨ",2,891662★
de-id-count-sorted-ratio-bhHp1lbI0.csv: "てサヨ",1,292397
de-id-count-sorted-ratio-bhHp1lbI0.csv: "トウヨ",1,292397

◆特有の文頭
(4) 改行して"で、"で始まるもの
de-id-count-sorted-ratio-all1000.csv: "ℵで、",358,208359
de-id-count-sorted-ratio-LcGCvJzD0.csv: "ℵで、",3,899011
de-id-count-sorted-ratio-tDFR9K4O0.csv: "ℵで、",2,745990
de-id-count-sorted-ratio-bHdrgqPh0.csv: "ℵで、",4,1513431
de-id-count-sorted-ratio-bhHp1lbI0.csv: "ℵで、",5,1461988

語尾が「ネ」や「ヨ」の文章については、最近のν速+の投稿でも目立ってきており、松沢呉一さんの以下の記事で指摘されています。但し、上記は内容に関係なく集計していますので、語尾に「ヨ」があったからといって直ぐに中村克氏擁護と判断する事はできませんのでご注意を。

http://www.pot.co.jp/matsukuro/%E3%81%8A%E9%83%A8%E5%B1%8B1894%E7%80%AC%E6%88%B8%E5%BC%98%E5%B9%B8%E3%81%AF%E9%80%83%E4%BA%A1%E3%81%8B.html
2009-05-15
お部屋1849/瀬戸弘幸は逃亡か【追記あり】

2ちゃんねるでも、「東村山市民の2割が創価学会員」なんて書き込みを必死にやっている人がいます。これが矢野や朝木であるかどうかわからないですが、矢野穂積が「匿名ネット族」になって、2ちゃんねるに書き込んでいることは間違いなさそうです。「ネ」「ヨ」という語尾以外に、矢野穂積の癖が出ているコメントがありますので。だから、少しは市議の仕事をやれって。

以上

|

« コピペ宣伝マンは二人組? | トップページ | かな3グラムの物差しを作ってみる »

文字分析」カテゴリの記事

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/1109195/29663418

この記事へのトラックバック一覧です: かな3グラム分析:

« コピペ宣伝マンは二人組? | トップページ | かな3グラムの物差しを作ってみる »