ここでは、無料でも超高機能！
誰でも Web スクレイピングが簡単にできてしまうツール「Octoparse」を紹介します。
Web スクレイピングツールは、いくつかありますが、使い方が日本語で解説されているツールは、私が知る限りありません。
また、SAMSUNG などの大手の利用実績もあるので、安心して使えます。
Web スクレイピング ツール「Octoparse」とは？
「Octoparse」は、プログラムの知識が無くても、簡単に Web スクレイピングができるツールです。
私は、10年以上 Web のエンジニアをしているので、そういったツールを作ることができます。
実際、いくつかそういったツールを作ってきました。
しかし、スクレイピングする Web サイトごとにプログラムを書く必要があり、取得先のサイトのレイアウトが変わったりすると、そのたびに、対応しなければいけません。
少し専門的な話をすると、JavaScript を使って、レンダリングしているサイトや、ヘッドレスブラウザを使ったアクセスをブロックしているサイトなどもあります。
そういった面倒なことを考えなくても、スクレイピングできてしまうツールが、この「Octoparse」です。
「Octoparse」の特長
- クリックするだけで、簡単にスクレイピングできる
- ログインなど、画面操作などを行った後の画面も取得できる
- Excel・CSV・データベースなど、様々な出力形式に対応している
- スケジューリングが可能
- IP 分散されているので、アクセス拒否されにくい
必要スペック・対応 OS
- Windows XP, 7, 8, 10
- Microsoft .NET Framework 3.5 service pack 1（.NET3.5 SP1）以上
Web スクレイピングツール「Octoparse」を使ったデータ取得手順
- 「Octoparse」に会員登録
- 「Octoparse」をインストール
- ページからデータを取得する
「Octoparse」に会員登録
まずは、「Octoparse」の Web サイト にアクセスして、会員登録しよう！
アクセスしたら、まずは画面右上にある「新規登録」ボタンをクリック。
それぞれ入力して、画面左下にある「登録する」ボタンをクリックしてください。
すると、以下のような画面が表示され、記入した Eメールアドレスに「【Octoparse】メールアドレスの認証」というタイトルのメールが来ます。
実際に送られてくるメールは、こんな感じ。
「メールアドレスを認証する」ボタンをクリックして、以下のような画面が表示されれば、登録完了です。
「Octoparse」をインストール
「Octoparse」ダウンロードページ にアクセスして、インストールしよう！
Zip ファイルをダウンロードし、解凍してください。
「setup.exe」というファイルがありますので、このファイルを実行してください。
すると、Windows インストーラーが立ち上がります。
「Next」をクリック
「I Agree」を選択し、「Next」をクリック
「Next」をクリック
インストールするフォルダの選択です。
特に変更する必要はありませんので、そのまま「Next」をクリック
ユーザーアカウント制御で、インストールの確認が出る場合があります。
インストールが完了しました。
「Close」をクリックしてください。
この時点で、デスクトップに「Octoparse」のショートカットが作成されていると思います。
ページからデータを取得する
「Octoparse」を起動して、データを取得しよう！
対象の Web ページを設定する
Home 画面の「Advanced Mode」に表示されている「+ Task」ボタンをクリックします。
WebSite に対象の URL を入力し、「Save URL」ボタンをクリックしてください。
取得する項目を設定する
入力した URL のサイトが、下の方に表示されたと思います。
その中で、取得したい項目を選択してください。
データが選択されると、緑色のボックスで表示されます。
リストのデータを取得する場合には、取得したい最初の 2つの項目を選択してください。
画像では、例として Google トレンドのデータを取得しています。
項目の選択が終わったら、「Extract Data」をクリックしてください。
スクレイピングを実行する
「Save and Run」をクリックしてください。
ローカル・クラウド・スケジュールセッティングを選べますが、まずは、ローカル抽出を行います。
「Local Extraction」をクリックしてください。
データ取得が完了しました。
「Export Data」をクリックしましょう。
次に、ダウンロードのファイル形式を選択することができます。
好きな形式を選択肢て、「Export」をクリックし、ダウンロードしてください。
最後に、「Finish」ボタンをクリックすれば完了です。
