PythonでWebページからテキストデータを抽出し、形態素解析器を使って形態素に分けてみた

Contents

はじめに
このページのゴール
実際に作ってみる
形態素解析とは
準備
結果をみる
最後に・ネクストステップ
参考にさせていただいたページ

はじめに

新たにPythonを勉強する必要があり、Pythonで簡単なサンプルアプリを作ってみたので記録しておきました。

このページのゴール

特定のWebサイトからテキスト情報を抽出し、形態素解析した結果を表示する。左記が目的なので使うパッケージの組み合わせは、こだわっていません。
最終的には、形態素解析にかけたあと、実際は分かち書きし、ベクトル化したのちいろいろしたいと思っていますが、まずは前半戦ということでここまでにしました。

実際に作ってみる

流れは以下のようになります。

特定のWebサイトからhtml情報を抜き出す
取得した情報はhtmlなので、テキストのみ抽出する
抽出したテキストを形態素解析器に入力
形態素解析の出力結果を出力する

形態素解析とは

形態素解析とはwikipedia(形態素解析)に書いてあります。

準備

形態素解析器をインストール

今回はmecabを使いました。また、文法的な解析結果をそのまま出力するのではなく、オプションをつけて分かち書きをするようにします。

Pythonをインストール

Pythonをインストールします。ここではpython3系で、windowsを前提とします。windows用ダウンロードページ

インストール後、実行に必要なPathの設定をします。設定方法は省略します。
念のため、動作確認をしてみます。

仮にファイル名をhelloworld.pyとしました。

print("Hello World!")

これだけ書いて実行します。Hello World!とでればOKです。

$ python helloworld.py
Hello World!
$

必要なパッケージのインストール

必要なパッケージをインストールします。

$ pip install requests
$ pip install beautifulsoup4
$ pip install mecab

今回必要なパッケージは下のコードでimportしているライブラリになります。

import requests
from bs4 import BeautifulSoup
import MeCab
#(1)

req = requests.get('https://news.yahoo.co.jp') #(2)

soup = BeautifulSoup(req.content, "html.parser") 
sentence = soup.find("ul", "newsFeed_list").text #(3)

tagger = MeCab.Tagger("-Owakati")
result = tagger.parse(sentence) #(4)

print(tagger.parse(result)) #(5)

ざっくり説明です。

必要なライブラリをimportする
任意のサイト（今回はyahoo!のnewsより）リクエスト情報を取得する
beautifulsoup4を使ってhtmlを解析し、htmlの要素をもとにnewsFeed_listのテキスト情報を抽出する
mecabを使い、htmlを解析したテキスト情報を入力として、その結果を分かち書きする
結果をコンソール上に出力する

結果をみる

結果は、日々更新されるニュースから抽出しているため、タイミングによって異なりますが、テキスト情報が出力されるはずです。ただ、細かく見るともう少し改善したほうがよさそうな気もします。

最後に・ネクストステップ

今回は形態素解析器にかけた程度でしたが、文字情報を数値することもでき、それを統計処理することでそれらしいアプリになると思いますが、次回以降に作ってみたいと思います。また、辞書をアップデートしたり、参考にさせていただページのように、mecabの使い方を洗練させたり、Webアプリ化もやってみたいと思います。