FUJITSU. 63, 4, p. 401-410 （07, 2012） 401

あ ら ま し

アプリケーションプロセッサを用いた画像ソリューションとは，富士通の得意とする

画像処理技術を生かし，ソフトウェアや評価ボードを含めたアプリケーションプラット

フォームを顧客に提供する形態である。このプラットフォームを使用することにより，

セットメーカである顧客は多機能な新製品を短期間に開発し，市場へ投入することがで

きる。本プラットフォームはイメージングプロセッサMilbeautと組み合わせることで，高性能の画像処理システムを実現し，他セットメーカに対して優位性をアピールするこ

とが可能となる。

本稿では，アプリケーションプロセッサ「MB86S62」を用いた画像アプリケーションプラットフォームの事例を紹介する。

Abstract

The imaging solutions using application processors is a form of providing customers with an application platform including software and evaluation boards by taking advantage of image processing technology at which Fujitsu excels. By using this platform, customers who are assembly manufacturers can develop multifunctional and new products in a short time and bring them to market. This platform realizes a high-performance image processing system when combined with the Milbeaut imaging processor, and manufacturers can use it to emphasize their superiority over other assembly manufacturers. This paper presents examples of imaging application platforms that use application processor MB86S62.

● 須賀敦浩　　　● 中原英利　　　● 兵頭正人　　　● 瀧本伸一

アプリケーションプロセッサを用いた画像ソリューションの構築

Imaging Solutions Using Application Processors

FUJITSU. 63, 4 （07, 2012）402

アプリケーションプロセッサを用いた画像ソリューションの構築

ま　え　が　き

今日のスマートフォン，およびタブレットは劇的なほど進化しており，数年前には不可能だった機能やアプリケーションを動作させることにより，あらゆるビジネスや生活の場の中心的存在になりつつある。この背景としては，アプリケーションプロセッサを中心にして，端末側で十分な処理速度を維持できるようになったことに加え，LTE（1）

を中心とする通信のインフラが整うことにより，多くのインターネットアクセスがストレスなく実現できていることに起因する。そのため，様々なサービスが，端末側のアプリケーションとクラウドとの連携で実現できつつある。スマートフォンやタブレットに採用された高度なユーザインタフェースは今後様々な製品へ応用されていくと予想され，アプリケーションプロセッサにより実現される画像処理はますます重要となっていく。一方で市場が要求する新製品を実現するためのアプリケーションプロセッサと他社との差異化を実現するためには，最先端のプロセステクノロジーを用いる必要がある。しかし，40 nmプロセステクノロジー以降のLSIの開発は検証工数やレイアウトの難易度が爆発的に増加することで，従来のテクノロジーを採用する場合に比べて，多くの開発期間と開発費が必要となる。この結果，先端テクノロジーを用いたLSIの開発は，リスクが増大しており，セットメーカの個別商品開発においてROI（Return On Investment）を悪化させる大きな要因となり新規の開発をより一層困難なものにしている。このことは，40 nmプロセステクノロジー以降顧客の負担（開発コスト，ソフトウェア開発増）に対して新たなソリューションを提供することによる新たなビジネスチャンスがあることを示している。このような背景の中，アプリケーションプロセッサを開発している各半導体メーカは，スマートフォンやタブレット市場をターゲットにしていることはもちろんのこと，車載やデジタル家電市場にも参入する意思を示している。この一方で顧客であるセットメーカは新規に独自のLSIを開発するより既製品のアプリケーションプロセッサを用いてシ

ま　え　が　きステムインテグレーションを行うことで開発コストやリスクを低減する方向に向き始めている。このことが，ASICビジネスを得意とする富士通に，変革を促す一つのきっかけとなっている。このような状況から，富士通は得意とする画像処理技術を生かす応用にフォーカスし，ソフトウェアや評価ボードを含めたアプリケーションプラットフォームを顧客に提供することで，アプリケーションプロセッサベースの開発でありながら，顧客の独自ロジックを融合して従来のASICのような独自機能を実現できるソリューションを実現した。更にイメージングプロセッサMilbeautと組み合わせることで，ほかのアプリケーションプロセッサベンダとは異なる切り口で画像プラットフォームとして使用することが可能となる。本稿では，アプリケーションプロセッサ

「MB86S62」を用いて構築した画像アプリケーションプラットフォームの事例を紹介する。

MB86S62を用いた画像アプリケーションプラットフォーム

画像アプリケーションプラットフォームのコンセプトを図-1に示す。富士通の従来有するASICの実現技術と，

Milbeautをはじめとする画像処理技術を活用し，先端のCPU/GPUをベースとしたソフトウェア・ハードウェアを搭載することによる電力・性能・面積（コスト）の優位性に加え，・センシング・解析・加工・圧縮・伸張・表示・出力などの一連の画像処理機能に対しては，競争力のあるマルチメディアフレームワークへ対応することにより，使い勝手の良いプラットフォームを提供することが基本的なコンセプトである。これにより，顧客に対し，・画像系ASSPへのPF基盤活用によるコスト低減，デリバリ加速

・既存ビジネス強化，高付加価値商品創出への貢献・新規ビジネスへの貢献といった価値を提供することが可能となる。本プラットフォームの構成を図-2に示す。アプリケーションプロセッサをベースとしたSoCに加

MB86S62を用いた画像アプリケーションプラットフォーム

FUJITSU. 63, 4 （07, 2012） 403

アプリケーションプロセッサを用いた画像ソリューションの構築

リケーションを構築することで，容易にシステム開発を行うことができる。以下に本プラットフォームのハードウェアおよびソフトウェアの構成とその特徴を示す。

え，Linux（2）とAndroid（3）のBSP（Board Support Package），および富士通の画像処理機能であるマルチメディアプラットフォームから構成される。顧客は，このLinuxとAndroid BSP上に独自のアプ

オプション

Kernel Generic

Platform Specific（V4）

Google供給

拡張ライブラリ

アプリケーションフレームワーク拡張部

テストアプリケーション

電源制御

デバイスドライバ

標準ドライバ

ディスプレイドライバ

アプリケーションフレームワーク

標準ライブラリ

セットメーカ開発部

アプリケーション

マルチメディアフレームワークAudio HAL

Display HAL

StandardHALs

FSL ISP部ISPHAL

Others（HALs）

FSLISP部そのほかのドライバ

GPUドライバ

ARM供給部OpenGL ES

Lib

Linux BSP

High bandwidthConnectivity

コンピュートサブシステム

CPUCluster

GPUCluster

Hig

h B

andw

idth

inte

rcon

nect

with

QoS

DRAMI/F

DRAM

イメージングサブシステム

⇔ USB⇔ SATA⇔ GMII/Ether⇔ PCIe

← Clock← Reset⇔ I2C⇔ UART

⇔ GPIO⇔ UART⇔ I2C⇔ SPI⇔ I2S

CSI →

DSI ←DSI ←HDMI ←HDMI ←

Cache coherent interconnect

ハードウェアアーキテクチャ

System control

low bandwidthConnectivity

ISP

Codec

Post proc.

disp

audio

Android BSP

図-2　MB86S62のプラットフォーム構成

画像アプリケーションプラットフォーム

画像アプリケーションプラットフォーム用SoC

マルチメディアフレームワーク（画像・音を含む環境全般）

センシング 解析・加工 圧縮・伸張 表示・出力

CPU

GPU DSP アクセラレータ connectivity

高効率アーキテクチャ（電力・性能・面積・使い勝手）

富士通の画像技術

既存ビジネス強化高付加価値商品創出への貢献

画像系ASSPへのPF基盤活用によるコスト低減，デリバリ加速

新規ビジネスへの貢献

ドライバ層での高効率化の実現

Linux O/S

オープン環境で競争力のあるマルチメディアフレームワーク

の実現

ターゲットシステムアプリを容易に実現できるAPIの提供

図-1　画像アプリケーションプラットフォームのコンセプト

FUJITSU. 63, 4 （07, 2012）404

アプリケーションプロセッサを用いた画像ソリューションの構築

● MB86S62MB86S62のブロックダイアグラムを図-3に，主な機能仕様を表-1に示す。本プラットフォームでは徹底した低消費電力化とハイパフォーマンスな画像処理に注力しており，ハードウェア上での取組みと主な特徴を以下に挙げる。（1） 低消費電力プロセスの使用最先端の45 nm Low Powerプロセスを採用し，

低消費電力化とローコスト化を実現している。（2） ARM社CortexTM-A8プロセッサを搭載組込み型プロセッサとして代表的なARMコアを搭載し，最大1 GHz動作を実現している。一次キャッシュはIDともに32 Kバイト，二次キャッシュは256 Kバイトのメモリを搭載している。（3） 強力・充実したマルチメディア機能二つのカメラ入力インタフェースを持っており，

表-1　MB86S62の主な機能仕様項目 仕様

CPU ARM CortexTM-A8，～ 1 GHz

ビデオ

1080 p @30 fpsエンコーディング：MPEG-4，H.264（720 pデュアルエンコーディング）1080 p @30 fpsデコーディング：MPEG-2/4，H.264，VC-1，RV8.9.10，H.263モードサポート/Divxストリーミング

グラフィックス OpenGL2.0/OpenVG1.1（30 MPoly/s，400 Mpixel/s）

ディスプレイ XGA LCD I/F＆デュアルLCDサポート（24ビットRGB or MIPI DSI/3D De-Interlacer）

カメラ デュアルカメラ（8 M＆3 M）

インタフェース

USB Host×1，OTG×1 PHY内蔵MPEG-2 TS RX×2＆SPI×3，SmartCard I/F×2SD/MMC/SDIO/SDHC I/FSATAII/HDMI

パッケージ 19 mm×19 mm620ピンFBGA（0.65ピッチ）

CortexTM-A8（1 GHz）

オーディオインタフェース

外部ペリフェラルインタフェース

グラフィックス2D/3D セキュリティ

システムコントロールユニット

カメラインタフェース

ディスプレイユニット

フルHDビデオ ポストプロセッサ

ストレージコントローラ

メモリコントローラ

HDMI Tx

USB 2.0Host & OTG

MPEG-2 TSRx I/F X2

Smart CardI/F X2

図-3　MB86S62のブロックダイアグラム

FUJITSU. 63, 4 （07, 2012） 405

アプリケーションプロセッサを用いた画像ソリューションの構築

載されており，DRAMは外付け対応となる。実装基板上の省スペース化，および更なる低消費電力化に向け，図-4の例のような多チップスタック化によるSiP（System in Package）を開発中である。● 評価環境

【MB86S62評価キット（DTK）の概要】

DTKは，MB86S62周辺デバイスおよび各種インタフェースを備えており，必要な機能を容易に実現できる。

MB86S52の開発用評価ボードを図-5に示す。同図（a）がドライバミドルウェアなどのソフトウェア開発用のDTK，同図（b）がアプリケーション開発用のタブレットである。タブレットは拡張ボードを接続することにより，DTKとほぼ同等なデバッグ環境を構築することもできる。ソフトウェアに関しても，市場要求度の高い

LinuxおよびAndroidシステムに対応できるように，それぞれBSPを準備しており，顧客は下位層をほぼ意識することなく，商品仕様に直結する上位層の開発に注力することができる。

【DTKの基本機能】

・LCD：800×480 pixel・DDR Capacity：512 Mバイト（System），256 Mバイト（Media）

・NAND：8 GバイトMLC・USB（13）OTGコンバータケーブル・Non-crossシリアルケーブル・ステレオスピーカ・5 V/2 Aアダプタ・3.7 Vシングルバッテリ（Max：4.2 V）

メインはMIPI CSIまたは8ビットパラレルインタフェースで8 Mpixel，サブは8ビットパラレルインタフェースで3 Mpixelまで対応している。またビデオコーデックは，MPEG-2（4）やH.264，（5）

VC-1（6）などの複数の映像規格に対応しており，フルHDサイズの1080 p/30 fpsのエンコード/デコード，および720 pでのデュアルエンコードに対応している。オーディオコーデックについてはMP3（7）

やAACなどの様々なオーディオ規格，I2S（8）やSPDIF（9）などのインタフェースに対応している。（4） 3Dグラフィックスエンジンを搭載

2D/3Dのグラフィックスハードウェアアクセラレータを搭載し，OpenVG1.1，（10） OpenGL ES2.0をサポートしている。デュアルコアを搭載し，30 MPoly/s，400 Mpixel/sの処理能力を持っている。（5） 3画面表示およびXGA，対応のディスプレイ機能24ビットRGBおよびMIPI（11）DSIインタフェースを持ち，XGAサイズ（1024×768）LCDインタフェース対応やデュアルLCDをサポートしている。また，デュアルLCDと，HDMI，（12） またはTV（NTSC/PAL）での三つのディスプレイへの表示が対応可能である。（6） 電源管理による低消費電力化システム制御ユニットを搭載しており，各種パワーモード（Normal/Idle/Stop/Sleep/Deep Sleep）設定，クロックゲーティングによる動作電流の抑制，およびそれぞれの機能マクロに対するパワーゲーティング（リーク電流も抑制される）により，低消費電力化を図っている。

MB86S62は，19 mm角のFBGAパッケージに搭

FLIP-CHIP

省スペースサイズ：12 mm角高さ：1.5 mm以下

メモリを4個積層

配線負荷容量低減によるローパワ－化

図-4　SiPの構成例

FUJITSU. 63, 4 （07, 2012）406

アプリケーションプロセッサを用いた画像ソリューションの構築

・MIPIスレーブ：MIPIカメラボード・Micro SATA（15）：External 1.8インチSATA HDD・D-TVコネクタ：D-TVボード（4） 表示・操作系表示および操作キーとして以下の機能を有する。

・タッチパネル：7インチLED LCD・ホーム，メニュー，バック，ボリューム-アップ/ダウン

（5） 入出力端子入出力端子として以下の機能を有する。

・マイク・ライン入力・ヘッドフォン出力・ステレオスピーカ（8 Ohm）・CVBS Out・SPDIF・HDMI（6） スイッチ関連リセットおよび動作モード選択用のスイッチを有する。・パワースイッチ・リセットスイッチ・CPUリセットスイッチ・Bootモード設定スイッチ

【DTKの機能詳細】

（1） 電源関連メインの電源スイッチおよびPower Indicate

LEDを有する。電源の供給経路としては下記2種類に対応している。・AC supply（5 V）・3.7 V Single-Cell Battery（2） 評価関連下記の手段によりメインボードからデバッグボード経由でPCと接続し，評価を行うことができる。・Ethernet・JTAG・RS-232C・USB（3） 外部デバイス関連外部デバイスへの接続手段として以下の機能を有する。・NAND・UART1・SD（14）Ch0/Ch1・USB Host：USBホストコネクタ・カメラインタフェース0：パラレルカメラボード・カメラインタフェース1：パラレルカメラボード

表面 裏面

（a）ソフトウェア開発用DTK （b）アプリケーション開発用タブレット

図-5　MB86S52の開発用評価ボード

FUJITSU. 63, 4 （07, 2012） 407

アプリケーションプロセッサを用いた画像ソリューションの構築

層で，ハードウェアとAndroidシステムを分離している。（5） Linuxカーネル

Linuxカーネルを採用することにより，デバイスドライバは，Linux用として開発されたものをそのまま利用することが可能となる。

Androidシステムの導入のメリットとして，開発ツールが提供されているという点がある。・Android SDK（Software Development Kit）・Android NDK（Native Development Kit）商品の要求仕様に合わせ，上述の2種類の開発ツールを選択し，使用することができる。本プラットフォームは，組込み機器向けの汎用メディアフレームワークである，マルチメディアライブラリ（OpenMAX/GStreamer），（16） 2D/3Dグラフィックスライブラリ（OpenVG/OpenGL ES）をベースとした画像処理ライブラリを構築することができる。これらのマルチメディアライブラリは，ハードウェアシスト機能をフルに活用することにより，低消費電力で所望の動画性能を実現することができる。顧客は上述のようなAndroidシステムを導入することにより，標準のAPIをベースにしたアプリケー

【ソフトウェア構成】

本プラットフォームは，使用用途としてタブレットを含む携帯端末，およびそれらと同等の機能を有するデジタル機器を想定している。システムのOSおよびフレームワークとしては，AndroidとLinuxを基本と考えている。

Androidシステムの基本構成を図-6に示す。レイヤ構成は以下の5層となる。（1） アプリケーション

Androidアプリケーションはこのレイヤで動作する。（2） アプリケーションフレームワーク

Androidアプリケーションに様々なサービスを提供する。（3） ライブラリ/Android Runtime以下の基本的なライブラリ群で構成している。

・SQLite・Libc・Webkit・OpenGL ES・CoreLibrary・Dalvik Virtual Machine（4） ハードウェア抽象化ハードウェアを抽象化したレイヤであり，この

アプリケーション

アプリケーションフレームワーク

ライブラリ Androidランタイム

ハードウェア抽象化

LinuxカーネルGPSBluetoothGraphics Audio Camera Wi-fi ・・・

コア・ライブラリ

仮想マシン（Dalvik VM）

LibcSurfaceManager

MediaFramework SQLite

・・・OpenGL ES AudioManager FreeType

ContactsHome Browser Media Player ・・・

ContentProviders

ActiveManager

WindowManager

ResourceManager ・・・

Shared MemoryDriverDisplay Driver Camera Driver Bluetooth Driver Binder（IPC）

Driver

Audio DriversUSB Driver Key Driver Wifi Driver PowerManagement

図-6　Androidシステムの基本構成

FUJITSU. 63, 4 （07, 2012）408

アプリケーションプロセッサを用いた画像ソリューションの構築

・オートフォーカスなど追加機能の対応などの商品仕様を特徴付ける個別機能の最適化に十分時間を費やすことができる。上述のように，DTKを開発のプラットフォームとして使用することにより，容易に統合システムの構築が可能であり，これまでの開発ではシステム全体に配分する必要があった工数を，画像・画質調整などの各社の独自性を強調する部分に集中できるようになる。

今後の展開

MB86S62は基本的にはコンピュートサブシステム部分は他社同等製品と差異はない。他社と明確な差異化をするためには下記のことを推進する必要がある。（1） 非競争領域に対する対応・デバイステクノロジーおよびCPUコアを他社製品と同世代あるいは一世代先のテクノロジーの実装

・LinuxやAndroidなどのOS，Khronos社標準API，OpenCLやOpenCV（17）など，最新バージョンへの速やかな対応

（2） 差異化領域の強化・低消費電力化を中心にしたデバイステクノロジー・画像処理技術・容易なシステムインテグレートを実現するソフトウェア資産の構築これらを実現するためのプラットフォームおよび商品展開を図-8に示す。基本プラットフォーム｛同図（a）｝はコンピュートサブシステムおよび画像フレームワークで構成され，本プラットフォームチップ単体でもLinuxやAndroidを搭載した1チップソリューションとして提供可能な構成とする。本チップをベースにアプリケーション個別部分を組み込んだプラットフォーム｛同図（b）｝，および広帯域で接続可能なインターコネクトで接続されプラットフォームチップ，コンパニオンチップの2チップ構成のプラットフォーム｛同図（c）｝の3種類を提供予定である。上記の対応を行ったプラットフォーム開発環境を整備し，2013年度には28 nmプロセス，CortexTM-A15搭載，画像処理は4 Kクラスの動画処理を行う製品を投入予定である（図-9）。

今後の展開

ションの開発に注力できる。更に，OpenGL ES/OpenMAXというオープンなフレームワークを利用することにより，SoC固有技術のAPIをベースにしたソフトウェア資産の構築を避けることができ，開発期間短縮と開発工数削減などのメリットを享受できる。

応　用　事　例

本章では，DTKを使用した応用事例として，富士通の画像処理に関する独自技術であるイメージングプロセッサMilbeautとの統合システムを紹介する。ハードウェア的な接続方法としては，パラレルインタフェースが2 ch，そしてMIPIスレーブインタフェースが1 chの計3系統の中から応用商品のニーズに合わせ選択できる。実際の構成を図-7に示す。ソフトウェアの対応としては，Androidを導入することにより非常に簡単になり，基本的にはデバイスドライバのみを準備するだけである。プレビュー動作，またシャッタ動作に伴う映

像の取込みなどのカメラを扱うための機能は，AndoridにAPIが用意されているため，作成者は使用するデバイスを意識することなく，Androidアプリケーションを作成することでカメラ基本機能を実現できる。カメラ基本機能を構築した後に，

・パフォーマンスの検討・画質調整

応　用　事　例

カメラパラレルI/F

カメラMIPI I/F

Milbeautイメージングプロセッサ

図-7　DTKを使用した応用事例

FUJITSU. 63, 4 （07, 2012） 409

アプリケーションプロセッサを用いた画像ソリューションの構築

ディスプレイシステムが家庭や公共施設，オフィスなどで様々な形態で広く普及すると想定される。富士通は最先端のデバイステクノロジーを駆使し，20 nm以降の世代でも同様のプラットフォームを開発して画像処理ソリューションを展開していく予定である。

む　　す　　び

本稿では，MB86S62を用いた画像アプリケーションプラットフォームを紹介した。今後の映像ソリューションとしてはタブレット端末に代表されるクラウド連携した高機能なインタラクティブ

む　　す　　び

（a）基本プラットフォーム （b）カスタムプラットフォーム

顧客仕様ハードウェア

コンピュートサブシステム

イメージングサブシステム

Inter-chip

DDRI/F

（c）2チップ構成

コンパニオンASIC

Inter-chip

ドライバ

カーネル

ドライバ

カーネル

マルチメディアフレームワーク

ドライバ

ミドルウェア

ドライバ

カーネル

マルチメディアフレームワーク

ドライバ

ミドルウェアマルチメディアフレームワーク ミドルウェア

アプリケーション固有追加部分

プラットフォーム提供部分

ペリフェラル

コンピュートサブシステム

イメージングサブシステム

Inter-chip

DDRI/F ペリフェラル

コンピュートサブシステム

イメージングサブシステム

Inter-chip

DDRI/F ペリフェラル

図-8　プラットフォームおよび商品展開

2012 2013 2014 2015

MB86S7x計画中20 nm

Next CPU multi-coreOpenGL ES，OpenVG，OpenCL

OpenSL ES， OpenCV 8K4K 対応

MB86S62開発完了45 nm

CortexTM-A8 @1 GHzH.264 full HD Codec

OpenGL ES，OpenVGFull HD対応

MB86S64開発中28 nm

CortexTM-A15 dual @2 GHzCortexTM-A7 dual @1 GHz

OpenGL ES，OpenVG，OpenCL4K2K 対応

MB86S6x計画中28 nm

CortexTM-A7 quad @1 GHzOpenGL ES，OpenVG，OpenCL

OpenSL ES，OpenCV 4K2K 対応

高機能用途向

け

ローパワー/モバイル用途向け

図-9　開発ロードマップ

FUJITSU. 63, 4 （07, 2012）410

アプリケーションプロセッサを用いた画像ソリューションの構築

（9） International Electrotechnical Commission． http://www.iec.ch/ （10）The Khronos Group： Connecting Software to

Silicon． http://jp.khronos.org/ （11）MIPI Alliance． www.mipi.org （12）HDMI Licensing, LLC． http://www.hdmi.org/ （13）USB Implementers Forum, Inc． http://www.usb.org/home （14）SDアソシエーション． https://www.sdcard.org/jp/home （15）Serial ATA International Organization． http://www.serialata.org/ （16）freedesktop.org． http://gstreamer.freedesktop.org/ （17）OpenCV． http://code.opencv.org/embedded/opencv/index.html

須賀敦浩（すが　あつひろ）

富士通セミコンダクター（株）アドバンストプロダクト事業本部 所属現在，画像用アプリケーションプロセッサの開発に従事。

著 者 紹 介

兵頭正人（ひょうどう　まさと）

富士通セミコンダクター（株）アドバンストプロダクト事業本部 所属現在，画像用アプリケーションプロセッサの開発に従事。

中原英利（なかはら　ひでとし）

富士通セミコンダクター（株）アドバンストプロダクト事業本部 所属現在，画像用アプリケーションプロセッサの開発に従事。

瀧本伸一（たきもと　しんいち）

富士通セミコンダクター（株）アドバンストプロダクト事業本部 所属現在，画像用アプリケーションプロセッサの開発に従事。

参 考 文 献

（1） The 3rd Generation Partnership Project． http://www.3gpp.org/ （2） Linux． http://www.kernel.org/ （3） Android Developers． http://developer.android.com/index.html （4） MPEG LA． http://www.mpegla.com/main/default.aspx （5） International Telecommunication Union

Telecommunication Standardization Sector． http://www.itu.int/en/pages/default.aspx （6） Society of Motion Picture and Television Engineers． http://www.smpte.org/ （7） International Organization for Standardization． http://www.iso.org/iso/home.html （8） NXP Semiconductors． http://www.classic.nxp.com/acrobat_download2/ various/I2SBUS.pdf