はてなのサービスにログインした状態をスクレイピングして利用したい時にや、そういったモジュール(WWW::HatenaDiary)を作りたい時になると気になるのが、毎回毎回https://www.hatena.ne.jp/loginをスクレイピングするのは面倒だなぁと思ったので、WWW::HatenaLoginというログイン処理に関する事しかしないモジュールを作りました。
作ったとはいっても、殆どがWWW::HatenaDiaryからのコピペです。
WWW::HatenaDiaryのログイン部分だけ抜き出してCPANモジュール化した感じですね。
codereposはhttp://coderepos.org/share/browser/lang/perl/WWW-HatenaLogin/trunkです。
CPANにもupload済みで、予定地はhttp://search.cpan.org/dist/WWW-HatenaLogin/
です。
CPANに上げてるテストには含まれてないけど、codereposの方はConfig::Pitを使ってhatenaアカウント情報を取得してテストするコードにしてみました。
やってくれる事はWWW::Mechanizeを使って、はてなにログインとログアウトを行います。
ログイン後のWWW::Mechanizeのオブジェクトがそのまま利用出来るので、簡単にログイン後のはてなをスクレイプできます。
当然cookie_jarも取れるのでLWP::UserAgentで処理を書く事も出来ます。
naoyaさん謹製のHatena::API::Authとの違いですが、naoyaさんのは「はてな認証API」をの為のモジュールで自分のはWebブラウザから使うログインフォームからPerlでログインする為のモジュールという違いです。
早速WWW::HatenaDiaryがWWW::HatenaLoginを使うようにしたブランチを切っりましたので、サンプル的なコードを見たい方は、そちらでどうぞ。
Perl界隈で熱いと噂のautoboxの実装を調べたりtokuhiromパッチを発展させてみました。
autoboxはsexy。
本文が長過ぎるので先にまとめを書く。
autoboxはPerlの内部実装をhackして、とてもスマートに実装されたモジュールだというのがわかりました。
一カ所だけアクロバティックな事してますが、それ以外は無理無く実装されていて普通に使う分には十分使えるものっぽいというのが判った。
tokuhiromのパッチはINTEGERとかFLOATとかSTRINGを別けて扱える様になって良いんだけど、既存のSCALARを拡張したautobox::Encodeとかが動かなくなってとても困るので更にパッチを書いた。
取得はhttp://tech.yappo.jp/tmp/autobox-tokuhirom-yappo-2.patchから。
@ISAにSCALARを突っ込めば良いじゃんという話もありますが、@ISAに突っ込んでしまうと意図しないメソッドまで継承してしまう可能性があるので、INTEGERパッケージにメソッド等が定義されていなければ、利用するパッケージをSCALARパッケージに切り替えるという事をやっています。
もし継承させたいなら、利用者が明示的に
@INTEGER::ISA = qw( SCALAR )するというポリシーです。
とりあえず既存のautoboxのテストが動く状態になったので、追加された要素のテストを書いてchocolateboyにパッチを送ってみようと思うのですが、いかがでしょうか。
2個以下の時はSCALARってのがad hoc過ぎる気がするのが気がかりですが。
物凄くざっくりとコードを読んだ時にメモしたりしたので、もったいないので公開しときます。
だいぶザックリとしてるので信憑性に問題があるかもしれません。
それでも問題無いよ、という人だけ読んで下さい。
autobox.pmは、importでレファレンスタイプをどのパッケージに割り当てるのか、hintsを使ってuse autoboxをしている側のローカルスコープの中だけでautoboxされる様に良きにはらってくれる。
unimportも実装されてるけど使いどころを良く知らない。
ではautobox::importの処理を簡単に追っていきましょう。
use autobox SCALAR => 'MySCALAR'等でuseされた場合には、"hoge"->foo;された場合にはSCALAR::fooを呼ぶのではなくMySCALAR::fooを呼ぶ。
hintsの操作もimportでやっている。
0x20000 だけでいいんだけど %^H 周りのバグがあるらしくて 0x100000 も追加しておかないといけない。
これをやる事により %^H の中身がスコープの中でしか有効にならない。
もっというと use autobox されたスコープの中でのみ有効になる。
$^Hとか%^Hのいわゆるhint情報は、コンパイラが動作する為のヒント情報なのでBEGINフェーズ中でしか意図どおりに動かない。
下記のコードは意図どおりになるが
use strict; use warnings; BEGIN { $^H |= 0x120000; $^H{hoge} = 'start'; } BEGIN{warn $^H{hoge}} { BEGIN{$^H{hoge} = 'YYY';warn $^H{hoge}} BEGIN{warn $^H{hoge}} } BEGIN{warn $^H{hoge}}下記のコードは意図どおりにならない
use strict; use warnings; $^H |= 0x120000; $^H{hoge} = 'start'; warn $^H{hoge} { $^H{hoge} = 'YYY';warn $^H{hoge}; warn $^H{hoge}; } warn $^H{hoge}
最後にautobox.xsの中にあるenterscopeを呼び出す。
enterscopeは後述するが、perl内部のフックをautobox用に入れ替える。
遂になる物としてはleavescopeがあり、これはautoboxのスコープが抜けた時に元に戻す処理をしている。
スコープが抜けたという事は0x20000のhint bitsと%^HとScope::Guadを上手く組み合わせて実装している。
Scope::Guadというのは以下のような事をやります。
if (1) { my $sg = Scope::Guad->new(sub { } ); # DESTROYした時に呼ばれるコードを登録 # ... 処理 }# ここで登録したコードが呼ばれるインスタンスがDESTROYした時にnew時に設定したコードを実行するというシンプルな物です。
use autoboxされたスコープを抜けるとScope::GuadのインスタンスもDESTROYされる事になり、Autobox::leavescopeが呼ばれる事になる。
なんでDESTROYされるかというと、%^Hの中にScope::Guadのインスタンスを入れとくので、スコープ抜けると%^Hのなかがクリアされるので、Scope::GuadのインスタンスがDESTROYされるのである。
importの中に書かれたらimportのスコープを抜けた時点でDESTROYされるじゃないか。という突っ込みもあるかもしれないが、useされた時はどうやら別物らしい。
次はいよいよautobox.xsの中身だ!
autobox.xsにはAutoboxというpackageに属する、enterscope,leavescope,ENDという3個のメソッドが実装されている。
ENDは、いわゆるENDフェーズのアレだから省略する。
autoboxの影響化を抜けた時に後述するenterscopeで入れ替えたメソッドを元に戻す。
Autobox::enterscopeは、use autoboxされた時に呼び出される、autobox::importの最後の処理でenterscopeを呼び出している。
何をやっているかというと、PerlのVMのとあるフェーズで実行される処理を差し替えている。
具体的にPerl本体のコードで言うと、opcode.hの
EXT OP *(CPERLscope(*PL_check)[]) (pTHX_ OP *op) = {が書かれているPL_checkというリストの中にフックテーブルがあって、そのフックテーブルを入れ替えている。
何を差し替えているかというと、OP_METHOD_NAMEDというOO的なcodeで指定されたmethodが存在するかといったチェックとかをやるフェーズっぽい。
本来はop.cのPerl_ck_nullが登録されてるので、何をやるべきかわかってない。
で、autobox.xsのautobox_ck_method_namedに差し替えられている。
use autoboxされたスコープの影響範囲にいなければ本来の処理と同じ挙動になる。
影響範囲にいる時には、$^H{autobox}の中に入っている handler table をPL_hintgvから取り出しておき、autoboxの胆となる処理が走る。
このメソッドがautoboxの肝。
ここで呼ばれたメソッドがどういう形("hoge"->foo, 1->foo, []->foo, {}->foo)で呼ばれるのか、何のリファレンスタイプで呼ばれてるのかを調べている、具体的にはtokuhiromのpatchしてる辺り。
そして、リファレンスタイプに対応するhandler tableに登録されてる実際に使われるpackage nameを取り出す。
gv_stashpvnというのは指定されたパッケージ名に紐づけられたhashを取り出すもの、Perlのコードでいう所の%SCALAR::みたいな物。gv.cを見よ。
そしてごにょごにょ処理をする。
gv_fetchmethod(stash ? stash : (HV*)packsv, name);の所では、パッケージの中にメソッド定義されているかを調べる感じ。
autobox_method_namedでもっとも大事な部分というのはXPUSHsでgvをpushしてる所。
スタックを操作することにより、
1->foo;といったpackage nameでもなくオブジェクトリファレンスでも無いコードに対して、1という部分がSCALARというオブジェクトレファレンスなんだよと錯覚させてしまうのである。と思う。スタック型なんだなぁというのがわかる。
メソッドが見つからなければ
return PL_ppaddr[OP_METHOD_NAという所にいく。
これはメソッドがねーぞというエラーを出すことと同等。autobox_ck_subr
OP_ENTERSUBというフェーズも書き換えている、本来はop.cのPerl_ck_subrというメソッドを呼んでおり、処理内容を見るとprototype宣言のパースをやってる。
何となくだけど、autobox_ck_method_namedで変更したフラグを戻すとかやってるのかな?
これといって大げさな処理は行われていない。おまけ
以前encoding::sourceを5.8で動かそうとして無理だった件で、%^Hの値がレキシカルスコープ担ってないからってのがあったんだけど、autoboxを見たらhint bitsに0x20000を立てとけば同じような挙動になるのが解った。
それなんでdan.pmとかencoding::sourceをdorからdefined or にcallerの10個目のを%^Hに、import/unimportで0x20000の出し入れをやってみたけど、うまく動かなかった。
callerの件が実装されてないので、もしかしたらBEGINフェーズ以外でも%^Hが必要になってるのかもしれない。
こんど改めて調べてみることにする。ちなみに、まだinstall autoboxしてない。
先週土曜日に開催された「1000人のダム好きを集めるプロジェクト」にてXenやらCobblerとかの話をして来ました。
発表の様子は↓のニコニコ動画で。というかうまく再生出来ない人が多いからhttp://www.nicovideo.jp/watch/sm2078669からどうぞ。
弾幕とか貼るならこっちから
yappoタグも増えて来たな。
動画環境はcojiさんが私財をなげだして素晴らしい機材を買ってくれたのでとてもかっこ良いustreamが出来ていました。
そして即座にニコニコへuploadするという神業に直立不動が止まりませんでした。
技術系カンファレンスのプレゼン動画がニコニコに溜まって来てるので、そろそろエンジニアMADってジャンルな動画が出て来て欲しいすね。
たとえば今回の発表は全部CCライセンスなのでhttp://www.nicovideo.jp/mylist/4573744ここのエンジニア素材が使い放題!
amachangは大変な強制終了をしていきました的な動画が見たいので誰か作って!
発表時間の30分前まで延々とプレゼンツールの実装をしていて、ネタを確定したのが本番30分前でした。
最初は言語的な話を考えていたのですが、レジュメみたら言語的な発表の比重が多かったので趣向を変えてみました。
デモンストレーションも特に用意していた訳でなく、個人で所有しているXenとかの実験環境にログインしといてそのまま操作しただけでした。
こんなに直前まで話す事を考えていなくても何とかなるとは思っていなかったんですが、結局は自分が面白いと思った事だったら台本が無くても説明出来ちゃう訳なんで、1000speakers dam project でもプレゼン経験無い人がどんどん出て来て成功出来ると思った。
エンジニアとかそういう人種だったら、人に伝えられる引き出しが10個以上常にストックされてて、即座にデモする環境とかを持っているので、トーク経験無い人でも緊張しても良いから出るといいよ。
さて本題ですが、今度の日曜日に鎌倉でSoozy Conference #4が開催されるのですが、懇談会会場予定のお店が最低30名から貸し切りに出来るとの事で、少なくともあと6名くらいの追加参加者を募集しています。
wikiにも書かれていないスペシャルゲストも参加するので、参加制限を緩くしたこの機会に是非ご参加を
関係無いけど
13:14 < t*kuhir*m> ドアドアってなに?どんびきした
ネタで書いたら新日石から訴えられるから真面目に書いてるけど。
すごく近所に昭和36年くらいから操業してる、ガス臭いのを巻き散らしてる新日石のグリセリン工場があって、最近工場閉鎖して環境改善の住民説明会があったのですよね。
自分は参加するの忘れてたんだけど、ついさっきマンション住民の総会が有って参加して来て、住民説明会のレポートが有ったんですよね。
そしたら何と、ヒ素が政府基準値の三倍!鉛が数十倍!ベンジンとか色々な物も基準値オーバーで面白い汚染具合になってるようでした。(新日石作成の資料見た)
そして、新日石の工場の跡地の区画のみの土砂をそう取っ替えする工事を来月から来年初夏までやるんですって奥さん!
土壌汚染ってそういうもんじゃないのにw
あとビックリしたのが、鉛とかは石油を扱っていたので新日石に原因が有るけどヒ素が基準の三倍有るのは、新日石はヒ素とか使ってないので自然由来だと報告書に書いてあった。
自然発生して政府基準の三倍の量なんてすごいすな。
政府基準を変更してもらわないといけないと思う。
何が言いたいかというと、そんな毒素満載な土壌で山芋とかジャガイモをいっぱい作って食べてる俺サイキョウwwwwwwww
空前のlvalue期に突入したので、lvalueなアクセサを作れるClass::Accessor::LvalueとClass::Accessor::Lvalue::Fastを比較したベンチマーク取ってみました。
package Tied; use strict; use warnings; use base 'Class::Accessor::Lvalue'; __PACKAGE__->mk_accessors(qw/ a b /); 1;
package Tied; use strict; use warnings; use base 'Class::Accessor::Lvalue::Fast'; __PACKAGE__->mk_accessors(qw/ a b /); 1;
bench.pl
use strict; use warnings; use Benchmark qw(:all); use Tied; use Fast; my $inst = {}; my $codes = {}; for my $pkg qw( Tied Fast ) { $inst->{$pkg} = $pkg->new; $codes->{$pkg} = sub { my $a = $inst->{$pkg}->a; $inst->{$pkg}->a++; $a = $inst->{$pkg}->a; my $b = $inst->{$pkg}->b; $inst->{$pkg}->b++; $b = $inst->{$pkg}->b; }; } cmpthese(100000, $codes);
以下結果
[yappo@stfuawsc lvalue]$ls Fast.pm Tied.pm bench.pl [yappo@stfuawsc lvalue]$perl ./bench.pl Rate Tied Fast Tied 8285/s -- -92% Fast 107527/s 1198% -- [yappo@stfuawsc lvalue]$perl ./bench.pl Rate Tied Fast Tied 9251/s -- -91% Fast 108696/s 1075% -- [yappo@stfuawsc lvalue]$perl ./bench.pl Rate Tied Fast Tied 9083/s -- -91% Fast 106383/s 1071% -- [yappo@stfuawsc lvalue]$perl ./bench.pl Rate Tied Fast Tied 9066/s -- -92% Fast 111111/s 1126% -- [yappo@stfuawsc lvalue]$perl ./bench.pl Rate Tied Fast Tied 9372/s -- -92% Fast 114943/s 1126% -- [yappo@stfuawsc lvalue]$perl ./bench.pl Rate Tied Fast Tied 9259/s -- -92% Fast 111111/s 1100% -- [yappo@stfuawsc lvalue]$
10倍くらいの差がでました、やはりtieを使ってるとこんなん結果になるんですね。
lvalueの挙動というのは、lvalue attributeを付けられたメソッドが最後に返したスカラ(returnでかえしちゃだめ)に対して代入処理を行っているため、lvalue が付いたメソッド自体は
$self->attr() = 'value'の形で代入された事を感知出来ません。
やっぱり足して2で割ったやつが欲しいな。
Xenが熱かった今年ですが皆様いかがおすごしでしょうか。
Koan - mizzy.org - Trac
これで Xen ゲスト OS のインストールがはじまる、はずなんだけど、うちの環境では Segmentation Fault になってしまった。VMWare 上で Xen を動かすというのは無理があるのかもしれない。 実機で試したいところだけど、試せるサーバがないので保留。Yappo さんあたりが試してレポートしてくれるに違いない、きっと。という牙指令を頂いたので試してみましたよ!
今回の環境をざっと説明すると、Cobblerを入れるマシンはCentOS5.1(i386)な環境で(master server)、cobbler importするディストリビューションはCentOS5.1(x86_64)、koanでネットワークする環境はCentOS5.1(x86_64 xen)な環境(client)です。
Cobblerを入れるマシンでは、元々ネットワークインストールする為のdhcpd,tftpd,httpdなど諸々の環境が入っていたので、とてもとても楽でした。
まず問題なのがmizzyさんはFedora 7っぽいので自分のCentOS 5.1な環境だとmizzyさんの例どおりにはできない!
といってもmizzyさんが参考にした元記事はCentOSでやってるので、そっちを参考にした。
サーバの構築を簡単にするためのステップ (その5:Cobber編 Part1 )
予め/var/lib/cobbler/settiongsで使ってるportを空けておきましょう。
Cobblerが入ったので早速import
master # cobbler import --mirror=/centos/5.1 --name=CentOS5.1時間はかかるけどimportは簡単に終わりました。
次はXenゲストOSのインストールです。簡単です。
client # koan --server=192.168.10.1 --profile=CentOS5.1-xen-x86_64 --virt --virtname=koan1 - downloading initrd initrd.img to /var/lib/xen/initrd.img - url=http://192.168.10.1/cobbler/images/CentOS5.1-xen-x86_64/initrd.img - downloading kernel vmlinuz to /var/lib/xen/vmlinuz - url=http://192.168.10.1/cobbler/images/CentOS5.1-xen-x86_64/vmlinuz - kernel saved = /var/lib/xen/vmlinuz - initrd saved = /var/lib/xen/initrd.img reconnect with xm console koan1installが始まりました。
一件落着の様ですが、xenのimageが/var/lib/xen/images以下に置かれてしまうので、別のディレクトリにxenのイメージファイルを置きたい場合にはストレスが溜まってしまいます。
mizzyさんとこに書いてあるcobbler reportだとvirt-pathみたいな設定があるのですが自分所だと設定出来ません。
どうやらrpmforgeのCobbler/Koanのバージョンが古いせいだったようです。
という事で新しめのバージョンにupdateします。
master # wget ftp://mirror.linux.duke.edu/pub/fedora/linux/extras/6/SRPMS/cobbler-0.6.3-2.fc6.src.rpm master # rpmbuild --rebuild cobbler-0.6.3-2.fc6.src.rpm master # rpm -U /usr/src/redhat/RPMS/noarch/cobbler-0.6.3-2.noarch.rpm
client # wget ftp://mirror.linux.duke.edu/pub/fedora/linux/extras/6/SRPMS/koan-0.6.3-3.fc6.src.rpm client # rpmbuild --rebuild koan-0.6.3-3.fc6.src.rpm client # rpm -U /usr/src/redhat/RPMS/noarch/koan-0.6.3-3.noarch.rpmこれで新しめになったとおもいます。
準備が出来たはずなので、設定を変更します。
master # cobbler profile edit --name=CentOS5.1-xen-x86_64 --virt-path=/iscsi/xen master # cobbler sync master # cobbler profile report profile : CentOS5.1-x86_64 distro : CentOS5.1-x86_64 kickstart : /etc/cobbler/kickstart_fc6.ks kernel options : {} ks metadata : {} virt file size : 5 virt ram : 512 virt type : auto virt path : virt bridge : xenbr0 virt cpus : 1 repos : [] dhcp tag : default server : <<inherit>> profile : CentOS5.1-xen-x86_64 distro : CentOS5.1-xen-x86_64 kickstart : /etc/cobbler/kickstart_fc6.ks kernel options : {} ks metadata : {} virt file size : 5 virt ram : 512 virt type : auto virt path : /iscsi/xen virt bridge : xenbr0 virt cpus : 1 repos : [] dhcp tag : default server : <<inherit>>無事にXenのイメージファイルのパスが/iscsi/xenに変更されました。
さっそく正しいイメージファイルのパスでinstallできるかやってみます。
client # koan --server=192.168.10.1 --profile=CentOS5.1-xen-x86_64 --virt --virt-name=koan2 - using kickstart from cobbler: http://192.168.10.1/cblr/kickstarts/CentOS5.1-xen-x86_64/ks.cfg - no virt-type specified, auto-selecting xenpv libvirt_qemud (pid 2870) を実行中... downloading initrd initrd.img to /var/lib/xen/initrd.img url=http://192.168.10.1/cobbler/images/CentOS5.1-xen-x86_64/initrd.img - using kickstart from cobbler: http://192.168.10.1/cobbler/images/CentOS5.1-xen-x86_64/initrd.img downloading kernel vmlinuz to /var/lib/xen/vmlinuz url=http://192.168.10.1/cobbler/images/CentOS5.1-xen-x86_64/vmlinuz - using kickstart from cobbler: http://192.168.10.1/cobbler/images/CentOS5.1-xen-x86_64/vmlinuz use virt-manager or reconnect with virsh console koan2Koanのupdateの影響で--virtnameオプションが--virt-nameとオプション名が変わってる事に注意して下さい。
client # ls -l /iscsi/xen/koan2-disk0 -rwxr-xr-x 1 root root 5368709121 Jan 4 19:13 /iscsi/xen/koan2-disk0ちゃんと/iscsi/xen以下にイメージファイルが出来ました。
これから更に発展させてDSASのようなネットワークブートするイメージの管理をCobblerを使って実現とかしてみたいよね、とか話していたらmizzyさんにStateless Linuxを教えてもらいました。
どっちにしろinitrdとかイメージとかを自分で作ってかなきゃいけないので、もすこし色々やってみようと思います。
年納めという事でShipItを使ってCPANリリースする時にCodeReposのCommit messege rulesにそったコミットメッセージを吐くようや拡張としてShipIt::Step::CommitMessageWrapをリリースしました。
最初のバージョンあたりは、テストしつつうpるというとんでもない事やってたので動きません。
せめてversion 0.03 から動きます。
何をするかと言うとShipItがsvnとかでコミットした時のコミットメッセージに任意のコメントを追加出来たりします。
例は実際http://coderepos.org/share/browser/lang/perl/ShipIt-Step-CommitMessageWrap/trunk/.shipitを見て下さい。
ついでにpmsetupの方も良い感じにsetupしてくれるように変更しました。