2016-04-22

mechanizeを用いた、スクレイピングの検証

Ruby

スクレイピングするなら、「mechanize」を使用するといいよ！

って記事を見かけたので、試しに使ってみることにした。
でも、mechanize だけだとどうにも、スクレイピングしにくい、、、

nokogiri と組み合わせたらいいんじゃない？

ってことで、二つ組み合わせてのスクレイピングを行うことにした。
あとは勉強がてらにGemを作ってみた。
railsの開発とかはやったことあるけど、Gem作成の経験はなかったしね。

bundlerでGemのひな形が作れるなんて、、、知らなかった。
しかもコマンドは以下の一文、チョー簡単！

bundle gem hoge -t

t はオプションでテストケースを作成するっていうものらしい。

テストはrspecが採用されてた。
Gitをインストールしておかないとbundleがこけるので注意（実際こけて原因探すのに時間が掛かった、、、）

github.com

題材は楽天証券のスクレイピング

取りあえずやりたいこと

認証のあるページのスクレイピング
「国内株の保有銘柄」の一覧取得
特定口座、NISA口座等で情報を別々に取得(普通口座で買うことないのでサンプルが無い！？)

ってな感じを実現してみることに

gemのそれぞれの役割としては、

「mechanize」

ログイン処理を行いログイン後のページ情報を取得

「nokogiri」

Xpathで必要な情報をスクレイピングするために使用

ってな感じかな？ログイン処理は以下で実装出来る。
ちまちま書かないといけないのかと思うと少し億劫。

    html = agent.get(@url)
    response = html.form_with(name: 'loginform') do |form|
      form.field_with(name: 'loginid').value = @user_id
      form.field_with(name: 'passwd').value = @user_pwd
      form.field_with(name: 'homeid').value = @homeid
    end.submit.content

あとはこのresponseをnokogiriに食わせると操作しやすくなって便利ー！
まあ、、、普通にURLにアクセスしてページ取ってきたのをnokogiriに食わせるのとなんら変わらない感じです。

また、Gemの動作確認も簡単で、「hoge」でGemを作成した場合

「hoge/bin/」に移動後「ruby console」を実行するとirbがGemをrequireした状態で起動する。
あとはirb上で動作確認すればOK。
便利だねー、、、

Rubyによるクローラー開発技法　巡回・解析機能の実装と21の運用例

作者: るびきち
出版社/メーカー: SBクリエイティブ
発売日: 2015/03/02
メディア: Kindle版
この商品を含むブログ (1件) を見る

2016-04-21

Ruby＋Windows OpenSSLでエラーを吐く|||orz|||

nokogiri触ったついでに「Ruby スクレイピング」なんて調べると「mechanize」を使おうぜ！
って出てきたので触ってみることにした。

    agent = Mechanize.new
    agent.get('https://xxxxx') do |page|
      puts page.title
    end

なんて実行すると、、、

SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed (OpenSSL::SSL::SSLError)

とopenSSLのエラーを吐く。
RubyInstallerの証明書が古くてエラーという問題にも関連しているのかもしれないけれど、、、

対処法としては以下を参考にしてみた。
qiita.com

1. 下を右クリックで任意の場所に保存
http://curl.haxx.se/ca/cacert.pem

2. コントロールパネルで、システムから環境変数を設定
「SSL_CERT_FILE：任意のパス\cacert.pem」

とりあえず、これで使えるようにはなるんだけど、、、証明書関係ってまた微妙な部分だよね|||orz|||

「setx SSL_CERT_FILE=任意のパス\cacert.pem」をWindows10のコマンドプロンプトで実行するとシステムぬっこわれたんで、無難にコンパネから設定したほうが良い模様。

おかげで、システムの復元からしかもとに戻せないし、システムの復元で戻すとちょいと前の状態に戻って、
RailsのGemの整合性がぶっ壊れるエラー云々、bundleディレクトリ消して入れなおしたら直ったから良かったものの、
システム開発中にこんなこと起きると泣きそうになるよね。

ってことで、Windows10は怖いぞー

2016-04-20

【Ruby on Rails】今更ながらにRansackベンリーということを知った。

Ruby Ruby on Rails

株を管理するプログラムをちまちま組んでいたわけですが、取りあえず一通り機能は出来たかなーという状態
f:id:morio_1101:20160420081410j:plain
黒塗りの情報は勘弁(笑)
とりあえず、配当＋株主優待で収支のバランスを考えてみた。

システム上、このページは必要最低限の情報のみに抑えたかったので、
株主優待の部分はJQueryUIのdialogで制御。

f:id:morio_1101:20160420074918j:plain
最初は登録、更新ページなんて作っていたけれど、、、
使っているとページ遷移が面倒になってきたので、一覧画面完結にした。
Ransackでテーブルソートを入れられたので、見やすいっちゃ見やすくなったかな？
検索フォームとかは、特に必要と感じなかったので、必要になった時に追加する予定。

f:id:morio_1101:20160420074921j:plain
あとは、取得検討株一覧ですね。
楽天証券のお気に入り銘柄もいいんだけど、いかんせん痒い所に手が届かなかった。
なので、パッと必要な情報を見れるようにしてみた。
こちらもRansackを使うことで、テーブルソート楽勝！状態に絞り込み入れた方がいい気がしないでもないので、
またいじくってみようかと。。。

Ransack に関する内容は以下の記事を参考にいたしました。

Railsでransackを使って検索機能を作成する - Rails Webook
wonderwall.hatenablog.com

N+1問題も一応対応する方法もあるらしいので、使い勝手は悪くないのかもしれないですね。
これは「bullet」入れて確認すればいい気もしますが、、、

あとは、サービス登録を、、、と考えていたけれど、
~~めんどう~~バッチで何とでもなるかな？という感じだったので、バッチを作って起動すると
クロームのタブでサイトが見れるよ！ってな感じにしてみた。

start /d C:\xxxx\StockList bundle exec thin start -e production

timeout 20 && start chrome.exe --new-tab http://localhost:3000/stocks

2016-04-17

【Rails】ハマりどころの多いアセットパイプライン

暇を持て余す状況になったので、株を監理するシステムでも作ろうかと思ったわけです。

f:id:morio_1101:20160417175234p:plain

簡単に作れるように、Rails + Bootstrap + JQueryUIという感じの構成
株のAPIは一般公開されていないので、スクレイピングすることに、とはいえ毎回サイトにリクエスト飛ばすのは微妙なので、SQliteに保持することにしました。
view側で計算式埋め込んだりやらなんやらやってしまっているので、ちょっと構成は考えないといけないですが、取りあえず2日ほどで形には出来たかと。

しかし、Windows環境で無理やり作ったので、BootstrapとJQuery関連はsassのgemを使用することに、
lessってのを使用してみたかったのだけど、残念ながらwindows未対応|||orz|||

せっかくなので、windowsのサービス化してみようかなんて思ったときに、production環境で動かす必要があるのかなーっと。
WEBrickだと微妙なので、軽量化目的で、thinサーバを使用して起動してみたら、、、はいハマりました。

production環境で動かす際のお約束
【アセットパイプライン】
Rails 3系から出てきたCSS、JSを結合、圧縮するぜ！！ってやつですね。

bootstrapとJQueryUI関連のファイルを食わず嫌いしないでよ|||orz||| っと言いたくなるんだけど、assetのロード用のパスを通してやらないと、画像やらフォントやらはロードされなかったりするみたい。
とりあえずは、「config/application.rb」もしくは「config/initializers/assets.rb」で【Rails.application.config.assets.precompile】の設定を追加する必要があったりする。

と書いておきながら色々試行錯誤して、、、挫折し、最終的には、、、

Gemfileに以下を追加して、productionを動かすという無念な感じになりましたとさ。

group :production do
  gem 'rails_12factor'
end

heroku今回使用しないんだけどな、、、

qiita.com

アプリケーションがこの12の要素を満たしていることか、、、
しっかり目を通しておこうと思いました（キリッ

2016-04-03

MVNO + SIMフリースマートフォンに変更してみた。

雑記

毎月の携帯代節約のため、MVNOしてみた。

・DoCoMo => BIC SIM(IIJ) に変更

　BIC SIM にした理由
　3GB のところ今は 1GB プラスの 4GB！
　Wi2 300が無料とのことだけど、今のところ入った試しがないので気持ち得？

　音声通話付きで月1,600円(税抜)！

と書いてみるも、自身は業者ではないので、
とりあえずメリット、デメリットをまとめてみる。

◆ MVNOのメリット

・携帯代が8,000円 => 2,000円ぐらいに減る
　(年間の通信費72,000円減はデカいと思う)

◆ MVNOのデメリット

・通話メインだと、結局高くなる
　※ ただし、通話放題のSIMを提供しているプロバイダもあるので、検討の価値はあるかと
・キャリアアドレスが無くなる
・他の人の携帯にメールを送る際、PCアドレスになるため、迷惑メールの設定がされていると正常に送れなくなる
　(私はSMSで対応しているが、SMSは案外高いので頻繁に使うと微妙)
・キャリアの店舗サービスのような高品質なサポート体制はない
　(お金を出せば、、、あとはネットで調べてが出来ないと辛いかも)

◆ 私の使い方

電話はLINEやスカイプを使用

キャリアアドレスは不要、LINEでやり取りメイン

最終的に、費用面でのメリットを優先して移行することにしました。
あとはビックカメラの店舗で契約して即使えるようになったというのは大きい。

元々がDoCoMoのXperia Z3だったので、ビックカメラのカウンタでMVNOの手続き自体は30分ぐらいでスムーズにできました。
※auの場合は回線が対応していないので、端末買う必要があるかと

個人的には、nano sim で契約しておくと、simの変換アダプタで端末にあったサイズに変更出来るので、おススメだと思ってます。
※ simサイズ変更するのにも、結構費用が掛かりますからね、、、

MVNO後は、何事もなく携帯自体は使えていましたが、、、

おや？ Xperia Z3の様子が、、、

f:id:morio_1101:20160403102344j:plain