internship at pfi

Sotaro Karasawa (sotarok)Yet Another PHP Programmer

InternshipatPreferred Infrastructure

Copyright © sotarok @ PFI.

Agenda• 目標• 転置インデックス用ライブラリ libkorakuen

– 中間発表までのおさらい– 新しいアプローチでの実装– 実装にあたってのポイント– 英語Wikipedia のインデックス作成– デモ– libkorakuenのこれから

• インターンを終えて


目標• 転置インデックス用のライブラリをつくる！

– メモリに乗り切らないような大規模で使える– インデックスファイルを圧縮する– Sedueで使える

転置インデックス用ライブラリlibkorakuen


中間発表までのアプローチ

⽂書

libkorakuenTemporaryIndex On Memory

Index Encoder

Index

読み込み



⽂書


Index Encoder

Index

読み込み

Keyword: Document (Pos, Pos, ...), Document (Pos , ...), ...Keyword: Document (Pos, Pos, ...), Document (Pos , ...), ...Keyword: Document (Pos, Pos, ...), Document (Pos , ...), ......



⽂書


Index Encoder

Index

読み込み



⽂書


Index Encoder

Index

書き出す



⽂書


Index Encoder

Index

読み込み

書き出す



⽂書


Index Encoder

Index


中間発表までのおさらい• 中間発表時

– ⼀応インデックスは作れた– 10万⽂書程度で実験もOK

ところが...


問題点• ⼀時インデックスに，Tokyo Cabinet を使っていた



IndexKeyword2......

IndexKeyword



...IndexIndex

Keyword2...

Index2Keyword



Index2

...IndexIndex

Keyword2...

Index3Keyword



• メモリから⼀時インデックスに書き出すたびにTokyo Cabinet上での「Append」が発⽣

• 巨大なデータを扱うと途中から⼊らなくなる

Index2

...IndexIndex

Keyword2...

Index3Keyword


アプローチを考え直す

英語のWikipediaすべてが目標

英語のWikipediaを最低目標とし可能な限りスケールする設計


新しいアプローチ• MapReduce的な考え⽅！• 途中でインデックスを作成せずにすべて読み込む• それぞれのファイルをソートする• 2つずつマージする• インデックスを作成する

読み込む


何も考えずにとりあえず読み込む

41210130248251221

011

036

posdoc idkeyword id

... ......

⽂書

libkorakuen

On Memory


何も考えずにとりあえず読み込む

41210130248251221

011

036

posdoc idkeyword id

... ......

⽂書

libkorakuen

On Memory

⼀時ファイル


分割された⼀時ファイル

4121013024825

1221

011

036

posdoc idkeyword id

... ......

⽂書

libkorakuen

⼀時ファイル

ソートする


ソートする

1221

4121013024825

011

036

posdoc idkeyword id

... ......

⽂書

On Memory

⼀時ファイル

libkorakuen


ソートする

12214121013024825

011

036

posdoc idkeyword id

... ......

⽂書

On Memory

⼀時ファイル

libkorakuen

ソート済み⼀時ファイル

マージする

マージする

⽂書

libkorakuen


1


2


n...

マージ済み⼀時ファイル

1

マージする

⽂書

libkorakuen


3


4


n...


2


1

マージする

⽂書

libkorakuen


n-1


n

...マージ済み

⼀時ファイル2


1


2/n

マージする

⽂書

libkorakuen

ひとつの大きなマージ済み

⼀時ファイル

インデックス作成


⽂書


⼀時ファイル

Keyword Document (Pos, Pos, ...),Document (Pos , ...), ...Document (Pos , ...), ...Document (Pos , ...), ...



libkorakuen


⽂書


⼀時ファイル




libkorakuen

pos0

pos122

pos456


⽂書

インデックス！

libkorakuen

ポイント


ポイント• 簡潔で，Sedueにも使いやすそうなAPI

– ⽂書数分だけ Addして– BuildIndexするだけ– Search で探す


Add• 単語の分割やポジションはライブラリの外で• ⽂書ID（外部で管理してるものでOK）

– 自動的に内部でIDを振りなおす• 単語とその出現場所のリスト（vector）

– 単語IDも⽣成


Search• 単語をわたす (結果を⼊れるvectorもわたす)• その単語の出現するドキュメントとポジションが得られる


圧縮• 中間発表からかわらず，Variable Byte Code


Variable Byte Code

3: 00000000 00000000 00000000 00000011

3: 10000011


Variable Byte Code

3: 00000000 00000000 00000000 00000011

3: 10000011

��

��Byte��?

��

��


圧縮• ドキュメントIDのリスト• 昇順にソートされている• 前の⽂書との差分に変換• 差分とった整数をエンコード


英語インデックスの作成• 単語数：約 1500 万（たぶん)• ドキュメント：約 300万• 元⽂書： 8.9 GB

• 作成時間： 1:30:37.09• 作成後インデックス：6.1 GB

– ドキュメントIDを振りなおしているおかげでほとんどがものすごく⼩さい整数→圧縮率良

デモ


その他のポイント• テストケースかきました

– まだ GetKeywordID， GetDocIDしかない


その他のポイント2• ライブラリ検証用プログラム (デモしたやつ)

– ii_search– ii_check

これからの libkorakuen


これからの libkorakuen• Sedueに• テストケースかきまくる必要性• ソート/マージはスレッド使えば並列作業ができるはず

インターンを終えて


成果として• Tokyo Dystopia を使っていては作れない大きさの転置インデックスが作れるライブラリが作成できた


やりたかったのにできなかった• Sedueへの組み込み• PHP 関連のライブラリ

– これは趣味でもできそうなので近いうち実装する


その他さまざまな思い• 技術的なことに関して

– アルゴリズムやデータ構造を考えてプログラムを組むこと

– ライブラリを利用するか自分で実装するか– 実装の背景にある理論や研究

• 技術者として– 自分の知らない分野のことを勉強するのは楽しい– PHP とか怖くないという自信（何

• まとまらないので近⽇中にブログに書きます！

ありがとうございましたお世話になりました！

internship at pfi

Technology