2005年03月30日

Rast
先月末より公開された、未踏プロジェクトの成果物。
N-gramな全文検索システムです。

特徴としては

  • use BerkeleyDB & APR
  • Rast API
  • N-gram
  • 文書の属性値を自由に設定可能
  • ソート対象を独自の属性値に指定可能
  • Rubyバインド
  • 指定したすべての属性値に対しての検索
  • 分散化(対応予定)

    ライブラリ化してあるため、APIを用いて自分好みの検索プログラムを作成できます。
    現在は簡単なサンプル検索システムのコードが付属。
    現在はVer0.0.1で、8月に正式リリース予定。
    BerkeleyDBとAPRを用いているため、現時点でも安定している感じ。

    特にN-gramや、文書属性を自由に設定できてソート対象に出来るなんて所がツボにきました。
    C言語に抵抗がなくてAPRに慣れている人には、良いライブラリかも。

    今のところ、ユニークな属性を設定してしまうと文書を削除しても内部的に削除されないようで、同じ属性値のデータをupdateする事が出来なくなります。
    具体的には、削除フラグをセットしてるだけでdeleteしてないっぽ。

    他にもindex作成中はDBにロックがかかって検索出来なくなるので、いったんDBをコピーしてからindexの更新をしなきゃいけなさそう。
    mknmzなんかは、この辺りを自動的にやってくれてるけど、rastだと自分で処理してあげないとな。
    yappodなんかも、rastとにいかよった部分があってコピーしてindex更新してたっけ…

    indexサイズは、属性の取り方で変化しますが、約6万件600MBのデータが約400MBくらいになってます。
    大部分(300MB)が単語出現位置用ファイルにて消費されとります。
    indexのスピードは、感覚的にそこそこって感じでしょうか。スケールしだいで遅くなるのかなぁ。

    バインディングは、標準でRubyのライブラリが添付されていてPHPも公開されていたのですがGPL/LGPLとかのライセンス問題で公開停止中…
    Perlはまだないっぽい。

    追記:Sennaってのもあるみたい。2ch検索の中の人かなぁ

    Posted by Yappo at 2005年03月30日 13:03 | TrackBack | 検索システム構築
  • Comments

    近い将来(おそらく5月ごろ)、文書の完全な削除を行うツールが提供される予定です。
    また、現状では読み書きモードでDBをオープンした時点で排他ロックがかかってしまいますが、将来的には文書登録中にも検索が行えるようになるそうです。

    Posted by: shugo at 2005年03月30日 22:30

    5月末 リリース予定のに含まれる感じですな。
    ツールが出るということは、きっとAPIもあると願っています。
    なければ、ツールから移植する勢いで。

    ロックもdb.cのfor dbd transactionとコメントされてる辺りが有効になってくるんでしょうね。

    とりあえず、ライブラリに手を入れずに良い感じの運用を出来る方法を模索します。

    Posted by: Yappo at 2005年03月30日 22:57

    http://diet-pepsi.mc14.info/ - http://internetmasd.mc13.info/ - http://appleclc.mc13.info/ - http://howtgyhsdah.mc13.info/ - http://diabeticds22.mc14.info/ - http://hpipc2.mc14.info/ - http://greeniesdt3.mc14.info/ - http://whatital.mc13.info/ - http://backgroundcia.mc14.info/ - http://australiabfs.mc13.info/ - http://womensbsiks.mc14.info/ - http://downtownconfs.mc13.info/ - http://movingtrir.mc13.info/ - http://pfaltzgraffhg.mc14.info/ - http://bingomgffg.mc14.info/ - http://sideer.mc14.info/ - http://nissan-micra.mc14.info/ - http://waynecmcpr.mc14.info/ - http://highsed.mc13.info/ - http://laptop1cc.mc13.info/ - http://nissanue83.mc14.info/ - http://greeniesfc.mc14.info/ - http://listofn.mc13.info/ - http://nissan-xterra.mc14.info/ - http://onewmtr57.mc13.info/ - http://criminalrfhcnj.mc14.info/ - http://ritalinhv.mc14.info/ - http://ranchosmlos.mc14.info/ - http://courtesy-nissan.mc14.info/ - http://freemm.mc13.info/ - http://bingogi.mc14.info/ - http://freepsw.mc14.info/ - http://overnight-ritalin.mc14.info/ - http://crackx4.mc13.info/ - http://3dd.mc14.info/ - http://criminalar.mc14.info/ - http://buyingml.mc14.info/ - http://caselsv.mc13.info/ - http://onlinedfmm.mc13.info/ - http://i27mlfsdd.mc14.info/ - http://vietnamwusons.mc14.info/ - http://getaliwncc71.mc13.info/ - http://events-tickets.mc14.info/ - http://voiceoiv.mc14.info/ - http://lasvntw.mc14.info/ - http://longtcisltc.mc13.info/ - http://emailpaima.mc13.info/ - http://9100dlc.mc13.info/ - http://cheaphb77.mc13.info/ - http://internetms84.mc13.info/ - http://adulteg.mc13.info/ - http://summaryokotbg.mc14.info/ - http://voip-investors.mc14.info/ - http://pink-suitcases.mc14.info/ - http://flower-tattoo.mc13.info/ - http://cheapii.mc14.info/ - http://highsds.mc13.info/ - http://cerritossos.mc14.info/ - http://cheaphin49.mc13.info/ - http://ukdo.mc13.info/ - http://bagcl.mc13.info/ - http://catdd.mc14.info/ - http://toothwg.mc14.info/ - http://freemomtc.mc13.info/ - http://realtorml.mc14.info/ - http://inkjeturb.mc14.info/ - http://portclc.mc13.info/ - http://restaurantbfs82.mc13.info/ - http://painmff.mc14.info/ - http://pfaltzgraffgpcm.mc14.info/ - http://can27tai.mc14.info/ - http://destin2cffcfs.mc13.info/ - http://greeniesb13c.mc14.info/ - http://freefc97.mc13.info/ - http://businessfsia.mc13.info/ - http://freehmd.mc13.info/ - http://boatmt.mc13.info/ - http://massmfl.mc14.info/ - http://irritablebswtbp.mc13.info/ - http://wherecidmcitba.mc13.info/ - http://bingoginv.mc14.info/ - http://caseluplcn.mc13.info/ - http://webdt.mc13.info/ - http://wheeledlcc85.mc13.info/ - http://red-flowers.mc13.info/ - http://freebgtwc.mc14.info/ - http://hobbybfs.mc13.info/ - http://londonhc40.mc13.info/ - http://painmhrp.mc14.info/ - http://greenies-baseball.mc14.info/ - http://diabeticrd.mc14.info/ - http://vehicletl.mc13.info/ - http://londonmt.mc13.info/ - http://rollinglcl.mc13.info/ - http://epsonpipp.mc14.info/ - http://voip-companies.mc14.info/ - http://professionalafmm.mc13.info/ - http://samsonite-suitcase.mc14.info/ - http://budgetmt.mc13.info/ - http://pfaltzgraffds.mc14.info/

    Posted by: dsv at 2005年06月09日 05:07
    Post a comment









    Remember personal info?






    コメントを投稿する前に↓の場所にnospamと入力してください。