Silicon Soul -広告技術と広告のblog- » ネタ http://siliconsoul.net Sat, 03 Oct 2009 15:34:36 +0000 ja hourly 1 http://wordpress.org/?v=3.0.3 政策別に各政党のマニフェストをテキストマイニング http://siliconsoul.net/2009/08/26/%e6%94%bf%e7%ad%96%e5%88%a5%e3%81%ab%e5%90%84%e6%94%bf%e5%85%9a%e3%81%ae%e3%83%9e%e3%83%8b%e3%83%95%e3%82%a7%e3%82%b9%e3%83%88%e3%82%92%e3%83%86%e3%82%ad%e3%82%b9%e3%83%88%e3%83%9e%e3%82%a4%e3%83%8b/ http://siliconsoul.net/2009/08/26/%e6%94%bf%e7%ad%96%e5%88%a5%e3%81%ab%e5%90%84%e6%94%bf%e5%85%9a%e3%81%ae%e3%83%9e%e3%83%8b%e3%83%95%e3%82%a7%e3%82%b9%e3%83%88%e3%82%92%e3%83%86%e3%82%ad%e3%82%b9%e3%83%88%e3%83%9e%e3%82%a4%e3%83%8b/#comments Tue, 25 Aug 2009 19:28:23 +0000 silicon_soul http://siliconsoul.sakura.ne.jp/wp/?p=384 前回に引き続き、マニフェストのテキストマイニングで遊んでみます。

今回は２相３元データに対する多次元尺度構成法という、あまり一般的でない解析手法を適用します。

多次元尺度構成法（多次元尺度法）とは。　たとえば、世界の都市を飛行機で移動するときの時間の情報だけをもとに、移動時間の短い都市同士を近くに、移動時間が長い都市は遠くに配置して移動時間ベースの地図をつくることができる方法で、各点間の距離や類似度の情報をもとに、各ポイントの位置を空間にプロットすることができます。簡単にいうとこんなところです。各都市のイメージの類似度をもとにバカ世界地図を構成するのにも似てなくも無いです。

　個人差多次元尺度法(Weighted MDS)と呼ばれる方法は、この多次元尺度法を個人間のイメージの違いも同時に分析できるようにした手法で、心理学関連の研究で使われています。w-mdsが各個人間の評価の違いをどう表現するのかというと、全員の共通項となる地図（共通布置空間）を１つ作り、各個人の差を、軸（緯度、経度）へのweightとして表現します。ある人にとっての地図は、共通項となる地図を緯度方向にちょっとだけ縮めたもので、ある人にとっての地図は経度方向に縮尺するとうまく当てはまる。みたいな。

説明むずかしいな。。。詳細はぐぐってください。
　
で、マニフェストにwmdsを適用して解析して、各政策別に政党間類似具合がうまく見えたら面白いなぁと。

wmdsの解析は、netlibで手に入るsindscalを使いました。
netlib/sindscal　
Fortranのソースですので、g77あたりでコンパイルできます。

※indscal/sindcalをより一般化したALSCALがGNU Rで使えたような気がするのですが、どのパッケージに含まれているかみつからなかったのでsindscalで解析しています。
　
　
では、プロセスです
１．類似度行列の算出
各党のマニフェストを前回同様ヤフーみんなの政治からこぴってきます。
各政策単位のマニフェストデータを各党ごとにコサイン類似度をとり、行列を作成し、
sindscalのデータフォーマットにおとしこみます。
２．sindscalで解析
コンパイルしたプログラムをsindscalのプログラムに標準入力から渡して解析修了です。
これで政党の共通布置空間と各政策の傾向を表すWeightを得ることができます。
３．GNU Rで作図
GNU Rにデータを引っ張って作図します。

sindscalのデータフォーマットはIntroduction to Multidimensional Scalingか、Three Way Scaling　という本に載っています。　Web上ではみあたらないので、欲しい方がいたら詳細upします。
　
　
結果です。
　VAF比の動きをみると5次くらいまでのデータを見たほうがよさそうなんですが、視覚化できないので２次までを求めました。

sindscalの解析結果は次のように出てきます。

sindscal output

sindscal output


weight_space

weight_space


　
　
　この解析は、各党の”主張”が似ているかどうかを算出しているわけではなく、各党で”似たような単語”が使われているかどうかによって空間配置を行っているという点にご注意ください。
　
　
　
まず、共通布置空間(STIMULUS MATRIX)とWeight MatrixをPlotします。
　

stimulus matrix

stimulus matrix


Weight matrix

Weight matrix


　
　Stimulus spaceが全体的な傾向の布置になり、自民・改革クラブ、社民・共産・民主党が近い距離にプロットされています。前回のクラスタ分析・MDSの結果とは若干違う傾向がでてますが、新党日本の位置はかわらないようです。
　
　Weight matrixは各政策に対し、各党ごとに特徴が出ているかどうかといった事をあらわしています。特に子育てに関する政策に関しては差が顕著に出ています。
　
　

次に、各政党の共通布置空間に、政策別のWeightをかけた政策の個別空間をつくっていきます。
　
　
　

子育て・教育

子育て・教育


　
差が顕著にでている子育て政策ですが、y軸のばらつきに変化は少なくｘ軸方向につぶれたグラフになっています。自民⇔新党日本の差はすくなくなっていますが、社民⇔自民間の差は大きいようです。
　
　
　
年金制度

年金制度


　
　
年金制度に関して、共通布置に近く、共通布置と同様の傾向なのではないでしょうか。
　
　
　
地方分権

地方分権


これも固有の特徴がみられません。
　

政治・行政改革

政治・行政改革


y軸方向に圧縮された感じの布置で、保守、リベラルの違いのようなものがあまり見られないような布置ができあがりました。
　
　
　
安保

安保


安保。政治・行革と同様の傾向でしょうか。

　
　
　

農業

農業


農業政策は共通布置にちかいですね。
　
　
　

消費税・財源

消費税・財源


財源・消費税。政治・行革政策の傾向に近く、保守< ->リベラル間の差がすくない印象です。
　
　
　
　
　
　
　
以上、各党のマニフェストのデータをもとに、計量的に各政策の違いをみてみました。当初想定していたより”差”がでておらず、解析結果をどう読んでいいのか良くわからないところが多かったのですが、次元をあげればもうちょっと面白い結果が見れるかもしれません。
　
　
　
　

]]> http://siliconsoul.net/2009/08/26/%e6%94%bf%e7%ad%96%e5%88%a5%e3%81%ab%e5%90%84%e6%94%bf%e5%85%9a%e3%81%ae%e3%83%9e%e3%83%8b%e3%83%95%e3%82%a7%e3%82%b9%e3%83%88%e3%82%92%e3%83%86%e3%82%ad%e3%82%b9%e3%83%88%e3%83%9e%e3%82%a4%e3%83%8b/feed/ 0