modbuilders 独自ビルド環境について

2012/2/18 mozilla独⾃ビルダー勉強会

独⾃ビルド環境について

by ABE Hiroki aka hATrayflood

⾃⼰紹介・名前：アベヒロキ (@hATrayflood)・職業：⾃宅サーバ管理者・URL：rayflood.org/diary-temp/・住所：⻑野市地元：東部町

まずby ABE Hiroki aka hATrayflood

今回の開催までの流れ

jbを囲む会で@htguardと初対⾯

その勢いでtwitterに

@htguardと@m̲ayakawaが釣れました

@makoto̲katoも釣られてくれるらしい

さすがにotachanと@tete009̲は来れないようで

というわけで(勝⼿に)開催決定

⽇程調整して会場確保してatnd告知

えーとby ABE Hiroki aka hATrayflood

スレ住⼈いる？

本題by ABE Hiroki aka hATrayflood

rayfloodビルド

http://rayflood.org/mozilla/

⽅針by ABE Hiroki aka hATrayflood

ビルド実験が主な目的

公式ビルドでは使わないコンパイラや

サポートしてないコンパイラでビルドできるか

主にVisual StudioExpressでビルドを検証してた

なんでVSExpress？

フリーソフトをビルドするのに⾼価なVS使うのは

なんか⽭盾してないか？

という(どうでもいい)疑問から出発

なのでby ABE Hiroki aka hATrayflood

以下の点には気を配りません

・性能・安定性

特徴by ABE Hiroki aka hATrayflood

Windows、MacLinuxのバイナリをビルドしてます

それぞれのOSで複数のコンパイラでビルドしてます

ほぼ全部のmozilla製品をビルドしてます

⾔語リソース⽇本語/英語中国語(繁体字)

Windows版のみの特徴

gecko-1.9.2からfreetype2でフォント描画

gecko-2.0以降も(⼀応)対応予定サンプルビルド

詳細by ABE Hiroki aka hATrayflood

実際にビルドできたコンパイラ製品別VCバージョン⼀覧

列挙するとby ABE Hiroki aka hATrayflood

vc6, vc71, vc8vc9, vc10

ここまで製品版VC　ここからフリーVC

vc8e, vc9e, vc10esdk60, sdk61sdk70, sdk71gcc-3.4, gcc-4.5ddk, llvm-gcc-4.2

なんかいろいろある

Express版もあるけどWindows SDK付属のVCも使える

ATLやMFCがないので2003 SDKやWDKと組み合わせる

Windows SDKはx64版ビルドも可能(⼀部ヘッダ要修正)

windowsでのgccはgecko-1.9.1以降ビルド不可

WDKにもコンパイラついてるけどダメっぽい(理由はいろいろ)

というわけでby ABE Hiroki aka hATrayflood

フリーなVCでもコア開発に参加できるよ！

PGOは泥沼by ABE Hiroki aka hATrayflood

時間かかるしバグも多い

Linux, Macby ABE Hiroki aka hATrayflood

基本gccとllvm-gccも

Ubuntu 10.04 LTS　gcc-4.1, gcc-4.3, gcc-4.4llvm-gcc-4.2それぞれi386とx86̲64

Ubuntu 11.10　gcc-4.4, gcc-4.5, gcc-4.6llvm-gcc-4.5それぞれi386とx86̲64

x86̲64環境でi386版をビルドしようとするとi386ライブラリが不⾜

なのでi386とx86̲64両⽅のネイティブ環境を⽤意してビルド

llvmはi386のllvm-gcc-4.2だけ他はコンパイルエラー

ビルドが通るのはgecko-1.9.1まで以降はエラー

gcc-4.5, 4.6はPGOできるらしい(未検証)

Mac OS X 10.6　gcc-4.0, gcc-4.2llvm-gcc-4.2

gccはppc, i386, x86̲64llvm-gccはi386, x86̲64

gccはXcode純正llvm-gccはmacports

Xcodeのllvm-gccはコンパイルエラーだった

macportsのでもビルドが通るのはgecko-1.9.1まで以降はエラー

ppc版をビルドする場合はOSX 10.6まで10.7からRosettaが廃⽌された

x86̲64版のビルドはOSが32bit起動でも可能32bit動作のOS上でもx86̲64を実⾏できる

llvm-gccはmozillaには役に⽴たなかったか・・・clangに期待

Intel Cも試してみたいがちょっと⾼いなーしかもWin, Mac, Linuxそれぞれあるし

機器by ABE Hiroki aka hATrayflood

・Windows, LinuxCore i7 2600メモリ12GB ⾃作機

12GBという半端な量はメモリ4本のうち1本がmemtestでエラーのため

・MacC2D T7500 4GBMacbook 2007 Late

コア数by ABE Hiroki aka hATrayflood

Core i7 2600　4コア　+ Hyper Threading　= 8スレッド

C2D T7500　2コア、のみ　= 2スレッド

ビルド物件

firefox, thunderbirdseamonkey, fennecxulrunnerlightning/sunbird

がそれぞれvc10, vc9vc8の32bit/64bitでビルドするとなると

6 x 6 = 36うち、PGOは8

firefoxとseamonkeyのvc10, vc9が32/64でPGOは8つ

ビルド物件が多いのにこれだけのCPUコア数でさばかなれければならない

つまり、いかにCPUコアを消費しつくすかがキモ

・選択肢1makeのオプション-j4で並列コンパイルを指⽰し1つずつ順次ビルド

・選択肢2makeに-j4は使わず4つ同時にビルド

回答by ABE Hiroki aka hATrayflood

→選択肢2makeの-j4では最適化されないプロセスがある

xpidlによる.idlファイルのコンパイルはターゲットが複数でも並列実⾏されない

.exeや.dllのリンクはターゲットが常に1つなので並列実⾏されない

PGOするとxul.dllのリンクに非常に時間がかかるlink.exe⾃体もマルチスレッドで動作してない

複数のアプリを並列でビルドする場合は、時間のかかるPGO対象アプリが優先そうなると今度は

メモリが⾜りない

PGO1つで3〜4GB消費これが4つ同時なので12〜16GBほど必要

link.exeがマルチスレッド実⾏できないがためにメモリで肩代わり・・・

物理メモリがこれより少なくてもswapがあれば実⾏できるが非常に遅い

ただでさえ時間がかかるリンクがさらに何倍も時間がかかる

swapを使わず全て物理メモリ上で実⾏すべき

Hyper Threading

4コア8スレッドだが実際はどうかというと

半分は幻by ABE Hiroki aka hATrayflood

8スレッドのうち4つは幻にすぎません物理コアじゃないから

4つ並列ビルドと8つ並列ビルドでは8つ並列のほうがちょうど2倍遅い

確かに8つ同時ならCPUを使い切れるけどその分遅くなるので

単位時間あたりの処理量で⾒ると4つ同時と変わらない

並列ビルドは物理コア数まで

投⼊by ABE Hiroki aka hATrayflood

並列ビルドするとなるとビルドが終わったら次を投⼊するわけですが

⼿動はありえない

とにかく数が多い並列、という時点で⾃動投⼊以外ない

しかも要件として同⼀ソースツリーを同時に使えない

PGOを優先しつつ余ったスレッドで通常ビルドも実⾏

というやや特殊な条件があるのでmakeでは不⼗分

というわけでそれ⽤に書いたparalelbuild.py

PGOキューとそれ以外のキューの2本PGOワーカーn本とそれ以外のワーカー

ビルドするアプリのリストという構成

ワーカーがキューからビルドするアプリを取り出す

アプリが他のワーカーでビルド中かチェック

ビルド中なら後回しキューにつめ直して再度取り出す

PGOワーカーはPGOキューを優先して取り出す

これでキューが尽きるまでCPUをフルに使い切れる

でも24時間以内に全ビルド完了という目標に届くか不明

今後by ABE Hiroki aka hATrayflood

そろそろ刷新予定

ただしESRのみ

freetype2版は可能なら出す(パッチ的に)

ESRでのビルドももう少しかかりそう

第1陣で旧バージョンが3⽉第2陣でESRが4⽉かもね

vc11の対応はWindows 8が出てから…

・リンク集twitter @hATrayfloodhttp://twitter.com/hATrayfloodmozilla rayflood独⾃ビルドhttp://rayflood.org/mozilla/firefox-4.0.1 freetype2版サンプルビルドhttp://rayflood.org/diary-temp/firefox-4.0.1-rayflood-win32-sdk70.7zバックナンバー freetype2 on fx-3.6 win32http://www.slideshare.net/hATrayflood/modest02-freetype2-on-fx36-win32バックナンバー firefox-3.6.4以降のビルドについてhttp://www.slideshare.net/hATrayflood/modest04-firefox364バックナンバー core i7 2600とfirefox 4.0b9でベンチ測ってみたよhttp://www.slideshare.net/hATrayflood/modest08-core-i7-2600firefox-40b9

modbuilders 独自ビルド環境について

Technology

2017 3 14 ios ビルドもお任せ...

xcode の一歩進んだ使い方分散ビルド

注意点（エラーに関すること）cgt25.rosx.net/category/cgt/programming/file/text/troubleshooting.pdf ·...

openstack最新情報セミナー（2015年12月）...

cubesuite ver.1.40 統合開発環境ユーザーズ・マ...

toppers向け開発環境 pizzafactoryの概要 · •...

[android] モジュール管理でビルド高速化！

§1－5 独立电压源和独立电流源

2008 年9 月 -...

xcode の一歩進んだ使い方...

自動車用新燃料と将来の方向独立行政法人...

windows で拡張モジュールをビルドしてみた

frontistr のビルド虎の巻 ·...

組立・施工説明書シンプルモダン独立仕様...

夏サミ2013...

team foundation serverの新しいビルド

frontistr ビルド方法の紹介...frontistr...

androidアプリをtravis ciでビルド

typescript 独習会

生態毒性qsarシステムの解説 -...