カテゴリー : SEO

検索順位チェックツール Serposcope の Dserposcope.conf に設定ファイルを指定しても読み込まれないときに確認するポイント

検索順位チェックツール Serposcope を起動するときに conf ファイルを指定することができるんですが、設定が読み込まれないときに確認するポイントをご紹介します。

Serposcope

結論 -Dserposcope.conf= の順番ミス

[NG ケース] -Dserposcope.conf が -jar の後

$ java -jar /path/to/serposcope-2.6.0.jar -Dserposcope.conf=/path/to/serposcope.conf
starting serposcope service
[2017-04-06 19:02:08,089] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.6.0
[2017-04-06 19:02:08,090] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/bakorer/serposcope
[2017-04-06 19:02:08,091] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/bakorer/serposcope/logs
[2017-04-06 19:02:08,091] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:h2:/Users/bakorer/serposcope/db;MODE=MySQL
[2017-04-06 19:02:08,091] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : false
[2017-04-06 19:02:08,091] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2017-04-06 19:02:08,091] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2017-04-06 19:02:08,140] [NinjaJetty] WARN  o.e.j.s.h.ContextHandler - Empty contextPath
[2017-04-06 19:02:08,149] [NinjaJetty] INFO  s.l.MyNinjaJetty - Trying to start jetty vnull on 0.0.0.0:7134
[2017-04-06 19:02:08,301] [NinjaJetty] INFO  c.Module - now logging to /Users/me/serposcope/logs/2017-04-06.log

[OK ケース] -Dserposcope.conf が -jar の前

$ java -Dserposcope.conf=/path/to/serposcope.conf -jar /path/to/serposcope-2.6.0.jar
starting serposcope service
[2017-04-06 19:03:44,007] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.6.0
[2017-04-06 19:03:44,009] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/bakorer/serposcope
[2017-04-06 19:03:44,009] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/bakorer/serposcope/logs
[2017-04-06 19:03:44,009] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost/serposcope_db?user=serposcope_user&password=serposcope_pass&allowMultiQueries=true
[2017-04-06 19:03:44,009] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : false
[2017-04-06 19:03:44,009] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2017-04-06 19:03:44,009] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2017-04-06 19:03:44,059] [NinjaJetty] WARN  o.e.j.s.h.ContextHandler - Empty contextPath
[2017-04-06 19:03:44,073] [NinjaJetty] INFO  s.l.MyNinjaJetty - Trying to start jetty vnull on 0.0.0.0:7134
[2017-04-06 19:03:44,261] [NinjaJetty] INFO  c.Module - now logging to /Users/me/serposcope/logs/2017-04-06.log

java コマンドのオプションの順番をよく理解せず使っていたのが良くなかったようでした。

Serposcope の公式ドキュメント Install instructions | serposcope には正しい順番でオプション -Dserposcope.conf を指定しているので、公式ドキュメントどおりに実行していれば特に問題は起きないと思います。

検索順位チェックツール Serposcope での CAPTCHA 出現頻度

検索順位チェックツール Serposcope で、実際に検索順位をチェックして CAPTCHA (キャプチャ) が出現した頻度の事例をご紹介します。

Serposcope

CAPTCHA 出現頻度を 10 回以下に抑えることは可能

NETWORKING OPTIONS の各種設定をを何回かチューニングして、約 6000 keyword で 0 ~ 10 回の間に収束することができました。

CAPTCHA 突破サービスの費用が、CAPTCHA 画像 1000 枚を突破するのに $0.7 なので、ほとんどコストが掛かりませんでした。

今後の Serposcope のチューニング課題

  • Pause: Min 60, Max 120
  • Maximum threads: 5
  • Proxies: 9

という構成で TASK 完了まで 11 ~ 13 時間ぐらい掛かっているので、もっと早く完了させたいという点が課題です。

今後は Proxy server を稼働させる時間を短くするために Pause の間隔を短くしたり、Proxy server の数をもっと増やして Maximum threads の上限をあげていくチューニングなどを考えています。

検索順位チェックツール Serposcope で使える CAPTCHA 突破サービス価格比較

検索順位チェックツール Serposcope で使える CAPTCHA 突破サービスの価格を比較しました。

Serposcope

CAPTCHA 突破サービス価格比較

de-captcher.com

de-captcher.com

The price is $2 for 1000 images. We accept payments from $10.

ということで、CAPTCHA 画像 1000 枚を突破するのに $2 かかるようです。

deathbycaptcha.com

deathbycaptcha.com

Starting from an incredible low price of $1.39 ($0.99 for Gold Members !) for 1000 solved CAPTCHAs.

ということで、CAPTCHA 画像 1000 枚を突破するのに $1.39 かかるようです。

anti-captcha.com

anti-captcha.com

Starting from 0.7USD per 1000 images, depending on your daily upload volume

ということで、CAPTCHA 画像 1000 枚を突破するのに $0.7 かかるようです。

CAPTCHA 突破サービスの費用試算

約 3000 キーワードを Desktop/Mobile の2デバイスで、毎日検索順位をチェックすることを考えて試算すると、

3000 keywords * 2 devices * 30 days = 180000
180000 / 1000 images = 180
$0.7 * 180 = $126 (per 1month)

毎月 $126 かかる計算になりました。実際には毎回 CAPTCHA が表示されるわけではないので、こんなに費用かからないはずですけど。

CAPTCHA 突破サービス比較まとめ

どのサイトも胡散臭さ満載ですね(笑)

手始めに少ロットで最安値だった anti-captcha.com を使ってみたところ、ちゃんと CAPTCHA を突破してくれました。

突破する CAPTCHA 数が多い場合は、ボリュームディスカウントもあるみたいなので使用量によってもっとも安いサービスを利用したいですね。

検索順位チェックツール Serposcope で無料 Proxy を利用してみたけどダメだった

検索順位チェックツール Serposcope で無料 Proxy を利用してみましたが CAPTCHA が頻出しまくって全く使いものになりませんでした。

Serposcope

ログファイル /var/log/serposcope/*.log に以下のような CAPTCHA を検知したログが大量にでてました。

[google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[google-0] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:http://144.217.158.153:3128/

無料プロキシは似たような使い方をされているサーバーがほとんどだと思うので、該当 IP アドレスは Google から警戒されているのかもしれませんね。

検索順位チェックツール Serposcope を Ubuntu にインストールする手順

検索順位チェックツール Serposcope を Ubuntu にインストールしたので手順をご紹介します。

Java のインストール

事前に Java をインストールしておきましょう。

Serposcope のダウンロード

まず、DOWNLOAD Ubuntu / Debian serposcope の URL をコピーして wget でインストールファイルをダウンロードします。

wget https://serposcope.serphacker.com/download/2.6.0/serposcope_2.6.0_all.deb

Serposcope のインストール

dpkg -i で Serposcope の deb パッケージをインストールします。

sudo dpkg -i serposcope_2.6.0_all.deb

Serposcope のインストール確認

service コマンドでインストールされているか確認しておきます。

service serposcope
Usage: /etc/init.d/serposcope {start|stop|restart|status}

Serposcope の起動

service コマンドで Serposcope を起動します。

service serposcope start

念のため service status で起動してるか確認しておきます。

service serposcope status
● serposcope.service - LSB: serposcope rank checker
   Loaded: loaded (/etc/init.d/serposcope; bad; vendor preset: enabled)
   Active: active (running) since Wed 2017-02-15 10:52:09 UTC; 52s ago
     Docs: man:systemd-sysv-generator(8)
  Process: 8785 ExecStart=/etc/init.d/serposcope start (code=exited, status=0/SUCCESS)
    Tasks: 24
   Memory: 158.0M
      CPU: 8.843s
   CGroup: /system.slice/serposcope.service
           └─8809 /usr/lib/jvm/java-8-oracle/bin/java -Dserposcope.conf=/etc/serposcope.conf -jar /usr/share/serposcope/serposcope.jar
 
Feb 15 10:52:07 serposcope systemd[1]: Starting LSB: serposcope rank checker...
Feb 15 10:52:09 serposcope serposcope[8785]: Starting : serposcope...  - Success
Feb 15 10:52:09 serposcope systemd[1]: Started LSB: serposcope rank checker.

http://your_ip_address:7134/ にアクセスして、アカウント作成、ログインできれば serposcope のインストールは完了です。

参考情報