« 文字レア度と文書レア度(2) | トップページ | テキスト処理の道具達(3):Grep結果から元文書にジャンプ »

テキスト処理の道具達(2):秀丸でGrep

前回記したような方法でWebサイトからHTMLファイルをPC上に持ってくれば、エディタ等で簡単に検索できます。例えば、秀丸エディタにはGrep検索という機能があり、これを使うと条件に合致する文字列を含む行を複数のファイルから抜き出せます。

『日本よ何処へ』のブログから取得したHTMLファイル群が
c:\temp\archives
にあるとすると、メニューから[検索]-[grepの実行]を選んで以下のように指定すれば話題の「月影兵庫」というキーワードを含む行を抜き出せます。
検索する文字列(S): 月影兵庫
検索するファイル(N): *.html
検索するフォルダ(D): c:\temp\archives

結果が多すぎると思ったら以下のような行が大量に含まれていました(見やすくするため改行は補いました)。

2005-06.html(1161): <div class="sidebody">
<a href="http://blog.livedoor.jp/the_radical_right/archives/52078565.html#comments">
田母神俊雄空幕長論文②</a> (月影兵庫)</div>

これは各ページのサイドに表示される情報だと思われるので、今度は、[検索]-[置換]で以下のように指定して、<div class="sidebody">を含む行を削除します。
検索(S): ^.*<div class="sidebody">.*\n
置換(E):     (空欄にしておく)
正規表現(R)にチェック

ここで、「検索」に指定した^は行頭を、\nは改行文字を示します。また、.*は任意の文字列にマッチします。

これでだいぶすっきりしました。
この結果から更に以下から始まる行(合計6行)を手で削除しました。
2008-08.html
cat_

結果は以下のようになります。
<div class="comments-post">が入っている行がコメントの投稿者を表す行だと思われます。それ以外は、おそらくコメント内での引用でしょう。Grepだけでも結構面白いですよね。

51866628.html(650):   <div class="comments-post">Posted by <a class="aposted" href="mailto:stargaze730z@hotmail.com">月影兵庫</a>
51866628.html(665):   <div class="comments-post">Posted by 月影兵庫
51893563.html(257):   <div class="comments-post">Posted by 月影兵庫
51894623.html(1902):   <div class="comments-post">Posted by 月影兵庫
52013391.html(688):   <div class="comments-post">Posted by 月影兵庫
52013391.html(729): 月影兵庫さま<br>
52013391.html(1646):   <div class="comments-post">Posted by 月影兵庫
52013391.html(1686):   <div class="comments-post">Posted by 月影兵庫
52013391.html(1759): &gt;Posted by 月影兵庫 at 2008年08月24日 09:20<br>
52013391.html(1872):   <div class="comments-post">Posted by 月影兵庫
52013391.html(1911):   <div class="comments-post">Posted by 月影兵庫
52016372.html(506):   <div class="comments-post">Posted by 月影兵庫
52016372.html(530):   <div class="comments-post">Posted by 月影兵庫
52016372.html(551): >月影兵庫さん<br>
52016372.html(745): 月影兵庫さんの認識に同感です。<br>
52016372.html(1047): &gt; 月影兵庫さんの認識に同感です。<br>
52016372.html(1055):   <div class="comments-post">Posted by 月影兵庫
52016372.html(1085): 六さん、月影兵庫さん、同じ認識です。<br>
52016372.html(1120):   <div class="comments-post">Posted by 月影兵庫
52017259.html(1856):   <div class="comments-post">Posted by 月影兵庫
52017259.html(1992): Posted by 月影兵庫 at 2008年08月28日 21:39<br>
52017259.html(2169):   <div class="comments-post">Posted by 月影兵庫
52017259.html(2174): &gt;&gt; Posted by 月影兵庫 at 2008年08月29日 22:04<br>
52017259.html(2189):   <div class="comments-post">Posted by 月影兵庫
52017259.html(2280):   <div class="comments-post">Posted by 月影兵庫
52019228.html(579):   <div class="comments-post">Posted by 月影兵庫
52019228.html(612):   <div class="comments-post">Posted by 月影兵庫
52019228.html(641):   <div class="comments-post">Posted by 月影兵庫
52019228.html(654):   <div class="comments-post">Posted by 月影兵庫
52019228.html(1378):   <div class="comments-post">Posted by 月影兵庫
52020290.html(114): <P><FONT face="MS ゴシック"><STRONG>今回の「訴え」は、事件捜査自体・裁判自体を根本的に左右するす可能性を有するもので、「議席譲渡問題」とは本質的に別問題。<BR><BR></STRONG><EM>Posted by 月影兵庫 at 2008年08月28日 21:39<BR></EM><BR><STRONG><BR>&gt;&gt; Posted by xenon at 2008年08月29日 03:00<BR>&gt; 本筋とは言いますが<BR>「自殺する理由がない」として話を進めている以上、「理由」の可能性として考えられるもの1つ1つを検証していかねば「自殺する理由がない」と言い切ることはできないのではないでしょうか?</STRONG></FONT></P>
52020290.html(119): <P><FONT face="MS ゴシック"><STRONG>それでも、瑣末な議論としても・・・これまで、「捜査なり、公判なりで問題となったことも無い話」だろ。<BR><BR> これまで散々主張してきた「万引き説がダメになった」から「(おかしな)W不倫」だとか、「座席譲渡問題」だとか・・・創価学会擁護がわが騒ぎ立てているだけのことに過ぎない。<BR><BR> あなたも仰っているように、「本人自身の問題でも無い」のにだ。・・・せめて「それを苦にしていたという証拠でもあれば」まだ、話にもなろうが、そんな話は聞いたことも無い。<BR><BR></STRONG><EM>Posted by 月影兵庫 at 2008年08月29日 22:04</EM><BR><BR><STRONG><BR><BR>&gt;&gt; Posted by 月影兵庫 at 2008年08月29日 22:04<BR><BR></STRONG></FONT><FONT face="MS ゴシック"><STRONG>xenonさんへ、捕捉です。(前回の訂正、座席譲渡→議席譲渡)</STRONG></FONT></P>
52020290.html(123): <P><FONT size=4><FONT size=3><FONT face="MS ゴシック"><EM>Posted by 月影兵庫 at 2008年08月29日 22:29</EM></FONT></FONT></FONT></P>
52020290.html(820):   <div class="comments-post">Posted by 月影兵庫
52020290.html(863): Posted by 月影兵庫 at 2008年08月30日 23:03<br>
52020290.html(892): Posted by 月影兵庫 at 2008年08月30日 23:03<br>
52020290.html(1181): 「この「月影兵庫」というやつ、ひょっとして矢野じゃねえかという気がだんだんしてきました。」と。<br>
52021889.html(886):   <div class="comments-post">Posted by 月影兵庫
52022898.html(314):   <div class="comments-post">Posted by 月影兵庫
52023299.html(1046):   <div class="comments-post">Posted by 月影兵庫
52023879.html(3191):   <div class="comments-post">Posted by 月影兵庫
52025809.html(599):   <div class="comments-post">Posted by 月影兵庫
52026128.html(2946):   <div class="comments-post">Posted by 月影兵庫
52027254.html(11543): ところで男塾塾生とか月影兵庫とかは何処へいったんだ?<br>
52027254.html(11577): >ところで男塾塾生とか月影兵庫とかは何処へいったんだ?<br>
52029941.html(521):   <div class="comments-post">Posted by 月影兵庫
52030834.html(2604):   <div class="comments-post">Posted by 月影兵庫
52031818.html(1162):   <div class="comments-post">Posted by 月影兵庫
52032786.html(6861):   <div class="comments-post">Posted by 月影兵庫
52032786.html(6885): &gt;Posted by 月影兵庫 at 2008年09月13日 22:36<br>
52032786.html(6894): &gt;Posted by 月影兵庫 at 2008年09月13日 22:36<br>
52036225.html(596):   <div class="comments-post">Posted by 月影兵庫
52038367.html(1495):   <div class="comments-post">Posted by 月影兵庫
52038367.html(4307): &gt;&gt; Posted by 月影兵庫 at 2008年09月19日 00:23<br>
52038367.html(4320):   <div class="comments-post">Posted by 月影兵庫
52038367.html(4507):   <div class="comments-post">Posted by 月影兵庫
52038367.html(4570): 月影兵庫さんの文才には脱帽です。<br>
52038946.html(780):   <div class="comments-post">Posted by 月影兵庫
52039251.html(540):   <div class="comments-post">Posted by 月影兵庫
52040146.html(1605):   <div class="comments-post">Posted by 月影兵庫
52040146.html(1814): &gt;月影兵庫<br>
52042472.html(1362):   <div class="comments-post">Posted by 月影兵庫
52043433.html(2035):   <div class="comments-post">Posted by 月影兵庫
52043433.html(2060): 「月影兵庫」さんのコメント(09月25日 00:19)を拝読いたしまして、一言。この問題は国民世論の高まりがなければ「再捜査」も無意味な結果になる内容を含んでいます。例えば前にも投稿させていただきましたのは「新人力士暴行致死事件」の例などは、再三にわたって「稽古中の事故」であるといわれ、警察もそのように処理しました。遺族には、「こちらで火葬と葬儀を済まさせていただきたい」と部屋側から申し入れがあったものの遺族側が拒否。実家に帰されたその無残な遺体を見た遺族は大学に解剖を依頼し、結果、暴行致死が指摘され報道もこの一連の内容を追求し始め、警察も「しぶしぶ」暴行致死であることを認め、これを「事件化」し親方と先輩力士を暴行致死容疑で逮捕、家宅捜査に入るという出来事がありました。この事件でもキーワードとなったのは「国民世論の高まり」です。相撲批判報道がニュースの一翼を担うようになり、国民世論がそれに呼応したことが警察を動かしたという典型的な例なのです(実は世論の高まりで公的機関がしぶしぶ動くというのはよくあることですよね?)。<br>
52043433.html(3021): &gt; 「月影兵庫」さんのコメント(09月25日 00:19)を拝読いたしまして、一言。この問題は国民世論の高まりがなければ「再捜査」も無意味な結果になる内容を含んでいます。例えば前にも投稿させていただきましたのは「新人力士暴行致死事件」の例などは・・・<br>
52043433.html(3033):   <div class="comments-post">Posted by 月影兵庫
52045443.html(2383):   <div class="comments-post">Posted by 月影兵庫
52045443.html(2436):   <div class="comments-post">Posted by 月影兵庫
52045443.html(3952):   <div class="comments-post">Posted by 月影兵庫
52045443.html(4294):   <div class="comments-post">Posted by 月影兵庫
52045443.html(4453): 「一日本人」さん、「月影兵庫」さん、ご賛同をたまわり誠にありがとうございます。<br>
52045443.html(4457): 「月影兵庫」さん、誠にありがとうございます。「但し費用がかさみそう」というご指摘、確かに検討課題にはなりましょうが問いかけられている合理的な疑問やその他の疑惑がもし事実であるのならば事はきわめて重大です。この趣旨を真摯に訴えられたならば、両氏にご協力いただけるのも決して実現不可能なことではないように思います。「マスコミに出られる方ならば、立場が苦しいだろうし、大妨害も必至だろう」というご指摘、北芝健氏はテレビの中でもかなり踏み込んだコメントをされることは有名で、例えば「世田谷一家4人殺人事件」の犯人を「とある某有名宗教団体(創価ではないようです)による犯行」と発言されるなど、その手の「タブー」はあまり関係なさそうです。上野正彦氏も特段メディアに特化したお仕事をされている方ではないようですので、やはりその手の「タブー」とは無縁の方ではないかと・・・まずは何事もご相談からでしょう。<br>
52053005.html(4090):   <div class="comments-post">Posted by 月影兵庫
52053005.html(4095): &gt;Posted by 月影兵庫 at 2008年10月06日 00:13<br>
52054282.html(948):   <div class="comments-post">Posted by 月影兵庫
52055292.html(1130):   <div class="comments-post">Posted by 月影兵庫
52059638.html(1325):   <div class="comments-post">Posted by 月影兵庫
52059638.html(1369): 月影兵庫氏は実際にご自分のサイトやリアルなどで、宇留嶋氏を「○○○○御用ライター」と呼んだことがあるってことだな<br>
52062503.html(942):   <div class="comments-post">Posted by 月影兵庫
52062503.html(1178): &gt;Posted by 月影兵庫 at 2008年10月15日 06:38<br>
52062503.html(1566):   <div class="comments-post">Posted by 月影兵庫
52062503.html(1618): &gt;Posted by 月影兵庫 at 2008年10月15日 23:22<br>
52068682.html(929):   <div class="comments-post">Posted by 月影兵庫
52074215.html(758):   <div class="comments-post">Posted by 月影兵庫
52074215.html(801): &gt;月影兵庫<br>
52076022.html(754):   <div class="comments-post">Posted by 月影兵庫
52076775.html(2278):   <div class="comments-post">Posted by 月影兵庫
52077807.html(533):   <div class="comments-post">Posted by 月影兵庫
52078565.html(376):   <div class="comments-post">Posted by 月影兵庫
52078565.html(626):   <div class="comments-post">Posted by 月影兵庫
52078565.html(645): 〉月影兵庫さん<br>
52078565.html(1458):   <div class="comments-post">Posted by 月影兵庫

|

« 文字レア度と文書レア度(2) | トップページ | テキスト処理の道具達(3):Grep結果から元文書にジャンプ »

パソコン・インターネット」カテゴリの記事

コメント

こんにちは。とても、お勉強になります。
いまのところ、フォルダー内の(*.html)のファイル名とタイトルをCSVに出す所まではできるようになりました。もう少し、いじくりまわして日付の情報や内容の冒頭を切り出せるようにしたいな、と思ってますが、良く分からないので停止中です。

あと、gethtml(コマンド式)で柳原さんの所を落としてみましたが、ファイル名が???なので、そこで止まってしまいました。まだまだ、先が長そうです。

ページタイトルとか要らないなら、Filistry と言うソフトでフォルダー内の一覧は出来るんですけど、色々と組み合わせて簡単な方法を見つけられたらなと思っています。

投稿: Tomatotic-jelly | 2008年11月 6日 (木) 12時45分

コメントありがとうございます。
柳原さんの所のデータは、「検索」のボタンを押して出てくる画面で「タイトル一覧」ボタンを押すと示される一覧のURLを見ると、
http://www.yanagiharashigeo.com/kd_diary/kd_diary.cgi?viewdate=20081108
という形式で呼び出すのが本来の記事参照方法のようです。
おそらく、HTMLのファイル名はgetHTMLが自動生成したものではないかと思います。この週末に中身の取り出しをやってみようと思います。

投稿: でぶちん | 2008年11月 8日 (土) 23時36分

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/1109195/25069588

この記事へのトラックバック一覧です: テキスト処理の道具達(2):秀丸でGrep:

« 文字レア度と文書レア度(2) | トップページ | テキスト処理の道具達(3):Grep結果から元文書にジャンプ »