osc 2013 kansai @kyoto

栗元憲一http://k2-garage.com

FPGAキット上のオープンソースソフト・オープンソースハードを用いたシステム開発

13年8月2日金曜日

http://k2-garage.com


Agenda

introduction 1. 発表概要 2. FPGAって何?main 3. JPEGアルゴリズム 4. softwareのみでmotionJPEG再生 5. 一部処理をhardware化 6. JPEG処理をhardware化 7. まとめ


自己紹介

SoCカスタムデータパスハードマクロ

static timing analyzer大学院で論理合成アルゴリズム研究

SoCの物理実装不揮発メモリ開発

トランジスタばらつき測定システム

物理実装に近い分野を10年以上やってました。


android + hardware





書籍出版しました

表テーマソフトウェア処理で重たい部分をハードウェア化して高速化する手法を学ぶ

実習書です。

対象読者

SoC開発のエッセンスを学びたい人


概要

LAN上にあるサーバからmotionJPEGファイルをストリーミング。FPGA上のSoCで動画表示

このようなSoCを開発することでSoC開発のエッセンス(ソフト処理をハード処理にすることで高速化する)を学習します。


こんな感じのSoCをFPGA上で動かします


開発フロー

ソフトウェア処理をハードウェア処理に変更することでfpsが向上。ハードウェア処理が何故高速なのかを学習。


Agenda

introduction 1. 自己紹介 2. FPGAって何?main 3. JPEGアルゴリズム 4. softwareのみでmotionJPEG再生 5. YCbCr-RGB変換のみhardware化 6. JPEG処理すべてhardware化 7. まとめ


まずは普通のSoCの中身を知ろう(1)

texus instrumentsのDM3730

ARM Cortex A-8 (processor), GPU,.......

example

これ

beagleboard-xM


SoCはどうやって設計するの？

HDLで記述-- controller part if ((count_num = 0 and strobe1 = '1' v.control_reg.counter := if(count_num = 73)then v.control_reg.counter := (others => end if; end if; vready1 := '0';

論理合成ツール

テキスト工場毎に設計された論理セルの接続ネット(1000万ゲート以上!)

配置配線ツール

工場毎に設計された論理セルのレイアウトを自動で配置配線

工場で製造できるレイアウトが完成!


FPGA

FPGA内部構造前ページのHDLを全く別の方法で動作させます。

4～5入力のSRAMのメモリの中の値と接続を変更することで任意のlogicを実現


Agenda



JPEG decode Algorithmの主な構造

huffman decode

量子化を戻す

2D-DCT変換

YCbCr-RGB変換


YCbCr-RGB変換

R = Y + 1.40200(Cr-128)G = Y -0.34414(Cb-128) - 0.71414(Cr-128)B = Y +1.77200(Cb-128)

単なる色空間の変換演算です！今日はここにFocus!


Agenda

introduction 1. 自己紹介 2. FPGAって何? 3. JPEGアルゴリズムmain 4. softwareのみでmotionJPEG再生 5. YCbCr-RGB変換のみhardware化 6. JPEG処理すべてhardware化 7. まとめ


FPGA上にSoCを実現!


開発するSoC

SPARC V8 CPU, AHB・APBバス, ethernet mac......


最初にFPGA上にSoCをインプリLinuxをブートしてソフトウェアのみで

システムを動作させる。


aeroflex gaisler社からGPLライセンスのSoCが公開されていて、前出の図からjpegモジュールを除いたSoCが40種類ぐらいのボードでmakeコマンド一つで実装できます。

この状態でrepositoryに含めてます


linuxについてもconfigurationさえすれば動作するsnapgear-linuxが公開されてます。

この状態でrepositoryに含めてます


jpegソフトウェアについては定評のあるIJG(International Jpeg Group)のjpeg library

を使用します。

linuxのユーザランドアプリのディレクトリとしてrepositoryに含めてます


softもhardもgitで管理

sourceforgeの MJPEG-LEON-FPGA　にrepositoryがあります。

xilinxalteraactel

ASICでも!動作します


Boot!

とりあえず、フレームバッファにコンソール出力するとこうなります。以降はコンソールはUART。


IJG付属のjpeg表示ソフトを少し変更するとmotionJPEG表示できます。

遅い!!!!!! (こんなに小さな画面でもカクカク)

(ちなみに動作周波数40MHz)13年8月2日金曜日

ちなみにVGAサイズだと、、、


gprofを用いて処理時間を測定

Each sample counts as 0.01 seconds.% cumulative self self total time seconds seconds calls ms/call ms/call name 32.26 0.20 0.20 62424 0.00 0.00 decode_mcu24.19 0.35 0.15 249696 0.00 0.00 jpeg_idct_islow20.97 0.48 0.13 2448 0.05 0.05 ycc_rgb_convert8.06 0.53 0.05 1722390 0.00 0.00 jpeg_fill_bit_buffer8.06 0.58 0.05 1 50.00 50.00 finish_output_bmp3.23 0.60 0.02 2448 0.01 0.01 put_pixel_rows1.61 0.61 0.01 236866 0.00 0.00 jpeg_huff_decode1.61 0.62 0.01 4896 0.00 0.00 h2v1_fancy_upsample0.00 0.62 0.00 62424 0.00 0.00 jzero_far

huffman decode, idct, YCbCr-RGB変換が占める


software処理でデータはどう流れる？ (1)

IU,cache,MMU



cache miss とMMU13年8月2日金曜日


framebuffer出力も同時動作memory controllerの入り口もかなり厳しい



memory controller入り口がボトルネックの場合は回避策を考える


Agenda



以下の様な要素技術をマスター

・IPコア設計・AMBAバスの理解とインターフェース設計・デバイスドライバ開発 (この発表ではふれません)


AMBA busにつながるIPコア

YCbCr-RGB


YCbCr-RGB演算をハード化

hardwareは並行動作可能動作周波数を満たす限り直列接続可能


他にも考慮しないといけないものがある

BUS


Busって何? (1)

いつキャッシュミスが起きるかはHardware設計時にも分からないし、アプリケーション開発時にも分からない

busにつながるコアにはマスタとスレーブの２種類ある


Busって何? (2)

bus上にマスタは複数あって要求が出るタイミングは分からないので当然ぶつかる


Busって何? (3)

アービタが交通整理をしている


Busって何? (4)

どのようなタイミングで要求や応答が起きても正しく動くように構造やプロトコルを規定したもの


YCbCr-RGBコア概要設計

processorから書き込まれるslave interfaceとSDRAM上のframe bufferに書き込むmaster interface

両方を持ちます


実行すると

殆どfps変わらない!?


CPU使用時間の変化


データの流れ


Agenda



huffman, dctもhardware化

FIFOやダブルバッファで接続シェークハンドで連携


再生!

ソフト処理より遥かに大きな画面サイズで動画再生


fpsが上がる理由


Agenda



まとめ(1)


まとめ(2)


osc 2013 kansai @kyoto

Technology