[ieee 2011 ieee 19th signal processing and communications applications conference (siu) - antalya,...

BİR UYARLANIR H.264 VİDEO KODLAYICI DONANIMI A RECONFIGURABLE H.264 VIDEO ENCODER HARDWARE

Ilker Hamzaoglu, Aydın Aysu, Onur Can Ulusel

Mühendislik ve Doğa Bilimleri Fakültesi Sabancı Üniversitesi, Istanbul

{hamzaoglu,aydinaysu,onurcansel}@sabanciuniv.edu

ÖZETÇE

Hareket tahmini (HT) video sıkıştırma sistemlerinin en çok işlem yapılan kısmıdır. Çoklu referans çerçevesi kullanan hareket tahmini (ÇRÇ HT) video kodlama verimliliğini arttırmakla birlikte işlem karmaşıklığını ve güç kullanımını da arttırmaktadır. Bu nedenle, bu bildiride, ÇRÇ HT’de kullandığı referans çerçeve sayısı ayarlanabilen ve böylece video kodlama kalitesi ve harcanan güç arasında ödünleşim yapabilen bir uyarlanır H.264 video kodlayıcı donanımı önerdik. Önerilen donanım daha önceden gerçekleştirilmiş düşük maliyetli bir çerçeve içi H.264 video kodlayıcı donanımını ve yeni gerçeklenen ÇRÇ HT, kip seçimi ve hareket denkleştirmesi donanımlarını içermektedir. Önerilen H.264 video kodlayıcı donanımı saniyede 55 CIF (352x288) çerçevesi kodlayabilmektedir ve harcadığı güç HT’de kullandığı referans çerçeve sayısına göre 115 mW ile 235 mW arasında değişmektedir.

ABSTRACT Motion Estimation (ME) is the most computationally intensive part of video compression systems. Multiple reference frame (MRF) ME used in H.264 standard increases the video coding efficiency at the expense of increased computational complexity and power consumption. Therefore, in this paper, we present a reconfigurable baseline H.264 video encoder hardware in which the number of reference frames used for MRF ME can be configured based on the application requirements in order to trade-off video coding efficiency and power consumption. The proposed H.264 video encoder hardware is based on an existing low cost H.264 intra frame coder hardware and it includes new reconfigurable MRF ME, mode decision and motion compensation hardware. The proposed H.264 video encoder hardware is capable of processing 55 CIF (352x288) frames per second and its power consumption ranges between 115mW and 235mW depending on the number of reference frames used for MRF ME.

1. GİRİŞ

Video sıkıştırma donanımları dijital video kameralar ve cep telefonları gibi bir çok elektronik üründe kullanılmaktadır. H.264 video sıkıştırma standardı daha önceki video sıkıştırma standartlarından daha iyi sıkıştırma verimliliğine sahiptir [1,2,3]. H.264 video kodlayıcı hem çerçeve içi ve çerçeveler arası öngörü yaparak video çerçevesini kodlayıp bit dizgisi oluşturur hemde kodlanmış çerçeveyi kodçözerek geri çatılmış çerçeveyi oluşturur. H.264 standardının sıkıştırma verimliliği çerçeve içi öngörü ve çoklu referans çerçevesi kullanan hareket tahmini (ÇRÇ HT) gibi birden fazla yeni kodlama tekniğinin kullanılmasından kaynaklanmaktadır. Çerçeve içi öngörü uzamsal artıklığı kullanarak bir öngörü Makroblok

(MB) üretir. HT ise çerçeveler arasındaki zamansal artıklığı kullanarak bir öngörü MB üretir. Kip seçimi de bu iki öngörüden en iyisini seçer. HT video sıkıştırma sistemlerinin en çok işlem yapılan kısmıdır. H.264 standardındaki ÇRÇ HT video kodlama verimliliğini arttırmakla birlikte işlem karmaşıklığını ve güç kullanımını da arttırmaktadır. Bu nedenle, bu bildiride, ÇRÇ HT’de kullandığı referans çerçeve sayısı ayarlanabilen ve böylece video kodlama kalitesi ve harcanan güç arasında ödünleşim yapabilen bir uyarlanır H.264 video kodlayıcı donanımı önerdik. Önerilen H.264 video kodlayıcı donanımı daha önceden gerçekleştirilmiş düşük maliyetli bir çerçeve içi H.264 video kodlayıcı donanımını [4,5] ve yeni gerçeklenen ÇRÇ HT, kip seçimi ve hareket denkleştirmesi donanımlarını içermektedir. Önerilen H.264 video kodlayıcı donanımı Verilog Donanım Tanımlama Dili (HDL) ile gerçeklendi. Verilog kodları Xilinx Virtex-6 FPGA’sına yerleştirildi. FPGA gerçeklemesi saniyede 55 CIF (352x288) çerçevesi kodlayabilmektedir ve 50 MHz’de Foreman videosunun bir çerçevesini kodlamak için harcadığı dinamik güç HT’de kullandığı referans çerçeve sayısına göre 115 mW ile 235 mW arasında değişmektedir. H.264 video kodlayıcı donanımının Foreman videosunun bir çerçevesi için hem Verilog HDL simülasyonu hemde FPGA’ya yerleştirme sonrasındaki zamanlama simülasyonu sonucunda oluşan bit dizgileri H.264 Joint Model (JM) kodçözücü yazılımı [6] ile başarılı bir şekilde çözüldü ve çözülen çerçeve “YUV Player” programı kullanılarak görsel olarak doğrulandı. [7,8]’de önerilen H.264 video kodlayıcı donanımları daha fazla donanım alanı ve daha fazla güç kullanarak önerilen donanımdan daha yüksek performans (sırasıyla 720p ve 1080p HDTV) elde ediyorlar. Bu nedenle, düşük güç kullanımı gerektiren taşınabilir uygulamalar için önerilen H.264 video kodlayıcı donanımının kullanılması daha uygundur. Bildirinin geri kalanı şu şekilde organize edilmiştir. 2. bölümde önerilen H.264 video kodlayıcı donanımı anlatılmıştır. 3. bölümde önerilen donanımın gerçekleme sonuçları verilmiştir. 4. bölümde sonuçlar sunulmuştur.

2. ÖNERİLEN H.264 VİDEO KODLAYICI DONANIMI

Önerilen uyarlanır H.264 video kodlayıcı donanımının blok diyagramı Şekil 1’de gösterilmiştir. Önerilen donanımın iki boruhattı aşaması vardır. Arama ve kip seçimi donanımı olan birinci aşama, çerçeve içi öngörü, hareket tahmini ve kip seçimleri bloklarını içermektedir. Kodlayıcı donanımı olan ikinci aşama ise diğer blokları içermektedir.

2011 IEEE 19th Signal Processing and Communications Applications Conference (SIU 2011)

984978-1-4577-0463-511/11/$26.00 ©2011 IEEE

Şekil 1: H.264 Video Kodlayıcı Donanımının Blok Diyagramı

[4,5]’de önerilen H.264 çerçeve içi video kodlayıcı sisteminde Şekil 1’deki beyaz bloklar vardır. Bu bildiride, gri Hareket Tahmini, Kip Seçimi, Hareket Vektörü Öngörüsü ve Hareket Denkleştirmesi bloklarının tamamı, Başlık Üretimi bloğunun ise bir bölümü tasarlanıp gerçeklendi ve [9]’da önerilen blok giderici filtreleme bloğu ile birlikte H.264 çerçeve içi video kodlayıcısına entegre edildi. Çerçeve içi öngörü donanımı işlenen çerçevedeki pikseller arasındaki uzamsal artıklığı, HT donanımı da işlenen çerçeve ve referans çerçevelerdeki pikseller arasındaki zamansal artıklığı kullanarak işlenen çerçevedeki her 16x16 MB için bir öngörü MB üretir. Kip seçimi donanımı çerçeve içi öngörü donanımının ve HT donanımının öngördüğü MB’leri karşılaştırır, ve bu iki öngörülen MB’den en iyisini seçer. Kip seçimi donanımı işlenen MB’yi HT ile kodlamayı seçerse, hareket denkleştirmesi donanımı işlenen MB için seçilen en iyi referans çerçeveyi ve hareket vektörlerini (HV) kullanarak öngörülen MB’yi oluşturur. Önerilen H.264 video kodlayıcı donanımı değişken blok boyutlu HT yaptığı için hareket denkleştirmesi donanımı ağaç yapılı blok tabanlı bir hareket denkleştirmesi yapar. Daha sonra öngörülen MB işlenen MB’den çıkartılarak fark MB oluşturulur, fark MB tam sayı dönüşümü ve hadamard dönüşümü (HD) ile dönüştürülür, ve dönüştürülmüş katsayılar nicemlenir. Nicemlenen dönüştürülmüş katsayılar zig-zag tarama sırasıyla entropi kodlanır. Başlık üretimi donanımı işlenen MB’nin atlanan MB olup olmadığı, atlanan MB değilse çerçeve içi öngörü ile mi çerçeveler arası öngörü ile mi kodlandığı, çerçeveler arası öngörü ile kodlandıysa seçilen referans çerçevesi, blok boyutları ve her alt bloğun HV ile

hareket vektörü öngörüsü arasındaki farkı, kullanılan nicemleme parametresi gibi bilgileri Golomb kodları ile kodlar. Başlık üretimi donanımının oluşturduğu başlık, bağlama göre uyarlanır değişken uzunluklu kodlama (BUDUK) donanımının oluşturduğu veri ile birleştirilerek bit dizgisi oluşturulur. H.264 video kodlayıcı kodlanan çerçeveyi kodçözerek daha sonra işlenecek çerçeveler için referans çerçeve olarak kullanılacak geri çatılmış çerçeveyi oluşturur. Bunun için nicemlenmiş dönüştürülmüş katsayılar ters nicemlenir, ters nicemlenmiş katsayılar ters dönüştürülür, ters dönüştürülen MB öngörülen MB ile toplanır, ve geri çatılmış MB bloksal bozulumları azaltmak için blok giderici filtre ile filtrelenir. Uyarlanır ÇRÇ hareket tahmini, kip seçimi, hareket vektörü öngörü (HVÖ) ve kodlayıcı donanımlarının blok diyagramı Şekil 2’de gösterilmiştir. Uyarlanır ÇRÇ HT donanımı her işlenen MB için dört referans çerçevesine kadar farklı sayıda referans çerçevede arama yapabilir. Kontrol Ünitesi arama yapılacak referans çerçevedeki arama penceresindeki gerekli pikselleri okuyup HT donanımına gönderir. HT donanımı bu referans çerçevedeki arama penceresindeki arama işlemini bitirdikten sonra, işlenen MB için arama yapacağı diğer referans çerçevelerindeki arama pencerelerindeki arama işlemlerini yapar. Kip seçimi donanımı HV ve mutlak farklar toplamı (MFT) bilgilerini kullanarak işlenen MB için en iyi referans çerçeveyi ve en iyi kipi seçer. HVÖ donanımı seçilen HV’leri için hareket vektörü farklarını (HVf) hesaplar. Kodlayıcı donanımı en iyi referans çerçeve, en iyi kip, ve hareket vektörü farklarını da kullanarak bitdizgisini oluşturur.


985

Şekil 2: ÇRÇ Hareket Tahmini, Kip Seçimi, Hareket Vektörü Öngörü ve Kodlayıcı Donanımlarının Blok Diyagramı

Önerilen H.264 video kodlayıcı donanımındaki uyarlanır ÇRÇ hareket tahmini donanımı [10]’da önerdiğimiz tek referans çerçeve değişken blok boyutlu HT donanımını kullanmaktadır. Bu HT donanımı [-16,15]’lik bir arama aralığında tam arama yapar. 256 İşlem Biriminden (İB) oluşan 2 boyutlu bir sistolik İB dizisi içermektedir ve bütün İB’ler verileri yukarı, aşağı ve sola kaydırabilir. Her İB işlenmekte olan MB’den bir piksel ile arama penceresindeki bir pikselin mutlak farkını hesaplar. Bir arama noktasının MFT’si İB’lerin hesapladıkları mutlak farklar bir toplama ağacı ile toplanarak hesaplanır. Bu HT donanımı boruhatlıdır ve gecikme süresi sekiz saat çevrimidir. Bir çevrim BRAM’den okuma için, bir çevrim yatay kaydırma için, bir çevrim 2 boyutlu sistolik İB dizisinde mutlak farkları hesaplamak için, iki çevrim toplama ağacında 4x4 boyutundaki blokların MFT’lerinin ve HV’lerinin hesaplanması için ve üç çevrim toplama ağacında yedi değişken boyuttaki blokların 41 hareket vektörünü hesaplamak için harcanmaktadır. Kip seçimi en az bit hızı ile en iyi video kalitesini sağlayan öngörüyü seçmek için kullanılır. H.264 video kodlayıcı donanımında 5 farklı kip seçimi yapılır.

• 4x4 Çerçeve içi öngörü kipleri arasında kip seçimi

• 16x16 Çerçeve içi öngörü kipleri arasında kip seçimi

• 4x4 ve 16x16 Çerçeve içi öngörü kipleri arasında kip seçimi

• ÇRÇ değişken blok boyutlu HT kipleri arasında kip seçimi

• HT ve Çerçeve içi öngörü arasında kip seçimi

H.264 video kodlayıcı donanımı bir çerçevedeki ilk MB için kip seçimi tarafından seçilen blok boyutları için hareket tahmini tarafından bulunmuş olan hareket vektörlerini bir değişiklik yapmadan kodlar. Fakat sonraki bütün MB’lerin hareket vektörlerini HVÖ donanımının hesapladığı komşu

MB’lerin hareket vektörlerinin ortalamasından çıkartarak kodlar. HVÖ donanımı önce sol, üst, ve üst-sağ komşu MB’lerin hareket vektörlerinin ortalamasından oluşan hareket vektörü öngörüsünü hesaplar. Sonra işlenen MB’nin hareket vektörünü bu hareket vektörü öngörüsünden çıkartır. Komşu MB’lerden hareket vektörü olmayanlar varsa bu MB’lerin hareket vektörleri yerine hareket vektörü olan komşu MB’lerin hareket vektörlerini kullanır.

3. GERÇEKLEME SONUÇLARI

Önerilen H.264 video kodlayıcı donanımı Verilog HDL ile gerçeklendi ve ModelSim SE yazılımı ile simülasyonlar yapılarak doğrulandı. Daha sonra Verilog kodları Xilinx Virtex-6 FPGA’sına en kötü PVT durumunda 135 MHz’de çalışacak şekilde yerleştirildi. FPGA gerçeklemesi saniyede 55 CIF (352x288) çerçevesi kodlayabilmektedir. H.264 video kodlayıcı donanımının alan kullanımı Şekil 3’de gösterilmiştir. H.264 video kodlayıcı donanımı toplam 14k CLB dilimi kullanmaktadır. Çerçeve içi öngörü ve hareket tahmini blokları en çok CLB dilimi kullanan bloklardır. H.264 video kodlayıcı donanımının Foreman videosunun bir çerçevesi için hem Verilog HDL simülasyonu hemde FPGA’ya yerleştirme sonrasındaki zamanlama simülasyonu sonucunda oluşan bit dizgileri H.264 JM kodçözücü yazılımı ile başarılı bir şekilde çözüldü ve çözülen çerçeve “YUV Player” programı kullanılarak görsel olarak doğrulandı. H.264 video kodlayıcı donanımının Virtex-6 FPGA’sında 50 MHz’de Foreman videosunun bir çerçevesini kodlamak için harcadığı dinamik güç Xilinx XPower 11.4 yazılımı kullanılarak belirlendi ve Şekil 4’de gösterildi. H.264 video kodlayıcı donanımı işlenen MB’ler için 1 referans çerçevesi, 2 referans çerçevesi, 3 referans çerçevesi veya 4 referans çerçevesi kullandığında sırasıyla 115mW, 153mW, 193mW ve 235mW güç harcamaktadır. ÇRÇ kullanan HT donanımı kullandığı referans çerçevesi sayısına göre H.264 video kodlayıcı donanımının harcadığı toplam gücün %66-89’unu harcamaktadır.


986

Şekil 3: H.264 Video Kodlayıcı Donanımının Alan Kullanımı Şekil 4: H.264 Video Kodlayıcı Donanımının Güç Kullanımı

Tablo 1’de “–“ ile gösterilen yerlerdeki bilgiler ilgili makalede verilmemiştir. Tablo 1’de gösterildiği gibi, [7,8]’deki H.264 video kodlayıcı donanımları daha fazla donanım alanı ve daha fazla güç kullanarak önerilen donanımdan daha yüksek performans (sırasıyla 720p ve 1080p HDTV) elde ediyorlar. Bu nedenle, düşük güç kullanımı gerektiren taşınabilir uygulamalar için önerilen H.264 video kodlayıcı donanımının kullanılması daha uygundur.

4. SONUÇ

Bu bildiride, ÇRÇ HT’de kullandığı referans çerçeve sayısı ayarlanabilen ve böylece video kodlama kalitesi ve harcanan güç arasında ödünleşim yapabilen bir uyarlanır H.264 video kodlayıcı donanımı önerdik. Önerilen H.264 video kodlayıcı donanımı Verilog HDL ile gerçeklendi ve Xilinx Virtex-6 FPGA’sına yerleştirildi. Önerilen H.264 video kodlayıcı donanımı saniyede 55 CIF (352x288) çerçevesi kodlayabilmektedir ve harcadığı güç HT’de kullandığı

referans çerçeve sayısına göre 115 mW ile 235 mW arasında değişmektedir.

5. TEŞEKKÜR TÜBİTAK’a 106E153 ve 108E239 sayılı projeler kapsamında bu çalışmayı desteklediği için teşekkür ederiz.

6. KAYNAKÇA [1] T. Wiegand, G. J. Sullivan, G. Bjøntegaard, and A. Luthra,

“Overview of the H.264/AVC Video Coding Standard,” IEEE Trans. on Circuits and Systems for Video Technology, vol. 13, no. 7, pp. 560–576, Temmuz 2003.

[2] I. G. Richardson, H.264 and MPEG-4 Video Compression, Wiley, 2003.

[3] Joint Video Team (JVT) of ITU-T VCEG and ISO/IEC MPEG, Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification, ITU-T Rec. H.264 and ISO/IEC 14496-10 AVC, Mayıs 2003.

[4] E. Sahin, and I. Hamzaoglu, “An Efficient Hardware Architecture for H.264 Intra Prediction Algorithm,” DATE Conference, Nisan 2007.

[5] I. Hamzaoglu, O. Tasdizen, and E. Sahin, “An Efficient H.264 Intra Frame Coder System,” IEEE Trans. on Consumer Electronics, vol. 54, no. 4, Kasım 2008.

[6] Joint Video Team (JVT) of ITU-T VCEG and ISO/IEC MPEG, Joint Model (JM) Reference Software Version 14.0.

[7] T. C. Chen, et.al., “Analysis and Architecture Design of an HDTV720p 30 Frames/s H.264/AVC Encoder,” IEEE Trans. on Circuits and Systems for Video Technology, vol. 16, no.4, pp. 507-522, Nisan 2006.

[8] Z. Liu, et.al., “HDTV1080p H.264/AVC Encoder Chip Design and Performance Analysis,” IEEE Journal of Solid-State Circuits, vol. 44, no.2, pp. 594-608, Şubat 2009.

[9] M. Parlak, and I. Hamzaoglu, “Low Power H.264 Deblocking Filter Hardware Implementations,” IEEE Trans. on Consumer Electronics, vol. 54, no. 2, Mayıs 2008.

[10] C. Kalaycioglu, O. C. Ulusel, and I. Hamzaoglu, “Low Power Techniques for Motion Estimation Hardware,” International Conference on Field Programmable Logic and Applications, Ağustos 2009.

Tablo 1: H.264 Video Kodlayıcı Donanımlarının Karşılaştırması [7] [8] Önerilen

Profil Baseline Baseline Baseline

Çerçeve Boyutu 1280x720 1920x1080 352x288

Güç Kullanımı (mW) 785 1409 115-235

Teknoloji ASIC ASIC FPGA

Alan HT - Arama Aralığı HT - İşlem Birimleri

Çerçeve İçi Öngörü - Veriyolları Dönüşüm – Ters Dönüşüm

(Toplayıcılar & İç Saklayıcılar) Fark Alma - Çıkarıcılar

128x64 128x8

4

16 & 16 4

192x128 64x32

4 – –

16x16 256

3

3 & 6 1


987

[ieee 2011 ieee 19th signal processing and communications applications conference (siu) - antalya,...

Documents