design pattern in presto source code

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .

2017年11月20日

ヤフー株式会社クエリエンジンチーム曾臻

[email protected]

Design patterns

in presto


Agenda

2

• 自己紹介

• Presto紹介

• Design Patterns in presto

• Template Method• Visitor


自己紹介

名前：曾臻

所属：ヤフー株式会社 D&Sソリューション統括本部クエリエンジン

経歴 : Presto開発・運用広告システム開発SIer

3


Agenda

4

• 自己紹介

• Presto紹介




Presto紹介

• 100% オープンソースの分散式ANSI SQL クエリエンジン

• Facebookが公開した

• パフォーマンス＆スケーラブル

• Hadoopだけではなく、違うプラットフォームのデータもアクセス可能

• Apache licensed, hosted on GitHub

5


Agenda

6

• 自己紹介

• Presto紹介




Design Patterns in presto

PrestoはBuilder、Factory、Iterator、Singletonなどのパターンを活用している。

今回は主にTemplate MethodとVisitorパターンを紹介したい。

7


Design Patterns in presto

8Source:[Head First Design Patterns] - O'Reilly Media

オブジェクトの生成に関するパターン

プログラムの構造に関するパターン

オブジェクトの振る舞いに関するパターン


Agenda

9

• 自己紹介

• Presto紹介




Template Methodとは何？

定義：

ある処理のおおまかなアルゴリズムをあらかじめ決めておいて、そのアルゴリズムの具体的な設計をサブクラスに任せることである。

10 Source : https://ja.wikipedia.org/wiki/Template_Method_%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3


Template Method例１

Template Method パターンの目的は、ある処理のおおまかなアルゴリズムをあらかじめ決めておいて、そのアルゴリズムの具体的な設計をサブクラスに任せることである。

11


Template Method例１

12https://gist.github.com/zz22394/1e5a097253db10f606dbbed8075c00f5

具象クラスは複数個作って良い


Template Method in Presto

• Prestoソースコードの中のTemplate Methodパターンを分析してみる。• AbstractOperatorBenchmark• AbstractArrayBlock

13



14

AbstractOperatorBenchmark



15



16



17



18



19


Template Method in Java

• JavaのTemplate Methodの実例を話す

• HttpServlet• JUnit

20



21http://www.codejava.net/java-ee/servlet/uml-class-diagram-of-httpservlet-api



22



23



24



25

• Junit

http://junit.sourceforge.net/doc/cookstour/cookstour.htm



26


Template Method のまとめ

27

• 抽象クラスのテンプレートでアルゴリズムの不変な部分を実装し、具象クラス内で可変な部分を実装。

• 共通処理は抽象クラスに集約されるので、ソースコードが再利用される


Agenda

28

• 自己紹介

• Presto紹介




Visitor パターンとは？

29

Visitor パターンは、オブジェクト指向プログラミングおよびソフトウェア工学において、アルゴリズムをオブジェクトの構造から分離するためのデザインパターンである。分離による実用的な結果として、既存のオブジェクトに対する新たな操作を構造を変更せずに追加することができる。

基本的には Visitor パターンは一群のクラスに対して新たな仮想関数をクラス自体を変更せずに追加できるようにする。そのために、全ての仮想関数を適切に特化させた Visitor クラスを作成する。Visitor はインスタンスへの参照を入力として受け取り、ダブルディスパッチを用いて目的を達する。


Visitor パターンクラス図

30

https://ja.wikipedia.org/wiki/Visitor_%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3


Visitor パターンの例１

31

Visitor:アルゴリズムをオブジェクトの構造から分離する

練習問題：

車Objectがある。車の運転と検査仕組みをそれぞれ書く。



32



33



34



35

InspectVisitor/DriveVisitorがそれぞれの形でvisitXXXメソッドを実装した



36

InspectVisitor/DriveVisitorがそれぞれの形でvisitXXXメソッドを実装した



37

メリット：データ構造と処理が分離された。ある日「洗車機能を追加したい」と言われたら、新しいVisitorで簡単に対応できる。


Visitor in presto

38

• Visitor パターン例

• Visitor in presto


Visitor in presto

39

• Prestoの実行計画生成の流れ


Visitor in presto

40


Visitor in presto

41

背景：NodeのAST（抽象文法木）はどうやって作られた？

例：あるSQL文

SELECT ROW_NO,START_TIME FROM TBL_01


Visitor in presto

42

ANTLR4


Visitor in presto

43


Visitor in presto

44


Visitor in presto

45


Visitor in presto

46


Visitor in presto

47


Visitor in presto

48


Visitor in presto

49


Visitor パターンのまとめ

50

• 複雑なパターン

• 利用のハードルは比較的に高い

• 向いているユースケース：データオブジェクト構成が大きく変わらない、且つデータオブジェクトに対しての操作がよく変わる（あるいは複数パターンの操作がある）

Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved .

EOP

design pattern in presto source code

Technology