.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

٢٩ / ١ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش

بهینه سازی و کنترل سمینار دومین

دهنده) (ارائه خوش نویس بابک طوسی، امین محمود دکترکارشناسی ارشد دانشجو استادیار،

١٣٩٧ آبان ٢٣

٢٩ / ٢ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

قد٢٩ / ٣ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

معرفی مقدمه

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

معرفی

روی آن پیاده سازی با مرکزی پردازنده روی تطابقی جستجوی الگوریتم پیاده سازی مقاله این در ◀

است. گرفته قرار مقایسه مورد گرافیکی پردازندهمی دهد. نشان را گرافیکی پردازنده فوق العاده عملکرد و باال محاسباتی توان مقایسه این ◀

٢٩ / ۴ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

اجمالی نگاه مقدمه

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

اجمالی نگاه

٢٩ / ۵ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نک ه سازی٢٩ / ۶ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

کلی نگاه تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

کلی نگاه

٢٩ / ٧ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

تنک نمایش تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

داده مدل سازی

٢٩ / ٨ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

تنک نمایش تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

مثال

٢٩ / ٩ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

تنک نمایش تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

منظم سازی

٢٩ / ١٠ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

منظم سازی تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

P١ مسئله

می باشد. Lp نرم خانواده هستند، محدب که توابع مجموعه یک ◀

(Lp (نرم تعریف

Lp : ∥x∥p =

(∑k

∣∣xpk∣∣) ١

p

for p ∈ [١,∞)

می شود. تنک جواب های به منجر L١ نرم از استفاده ◀

(P١ (مسئله تعریف

(P١) minx

∥x∥١ s.t. Ax = b

٢٩ / ١١ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

منظم سازی تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

P٢ و P١ مقایسه

دارد. تنک جواب های خطی مسائل حل P١ مسئله ◀

مثال

جواب به رسیدن در خطی محدودیت با L٢ و L١ مقایسه شکل:

٢٩ / ١٢ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

منظم سازی تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

P٠ مسئله

(L٠ (نرم تعریف

برمی گرداند. را x بردار در غیرصفر عناصر تعداد ،(∥x∥٠) L٠ نرم ساده، بیان به

(P٠ (مسئله تعریف

(P٠) minx

∥x∥٠ s.t. Ax = b

قضیهمی باشد Ax = b نامعین خطی سیستم با معادالت جواب های تنک ترین دنبال به P٠ مسئله

٢٩ / ١٣ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

جستجو الگوریتم های تنک بهینه سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

تطابقی جستجوی

٢٩ / ١۴ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

وازی سازی٢٩ / ١۵ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

ناهمگون موازی محاسبات موازی سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

CPU vs. GPU

٢٩ / ١۶ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

ناهمگون موازی محاسبات موازی سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

ناهمگون موازی محاسبات

٢٩ / ١٧ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

کودا برنامه نویسی موازی سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

کودا معماری

٢٩ / ١٨ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

کودا برنامه نویسی موازی سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

کودا معماری

٢٩ / ١٩ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

ده سازی٢٩ / ٢٠ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

کلی نگاه پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

کلی نگاه

جی پی یو برتری نمایش و تنک بهینه سازی در جی پی یو و سی پی یو عملکرد مقایسه اصلی هدف ◀

است. عمل در سی پی یو به نسبتروی تصادفی صورت به شده تولید داده های روی تطابقی جستجوی الگوریتم تحلیل و اجرا ◀

گرفته است. صورت جی پی یو و سی پی یوانجام BLAS کتابخانه توابع از استفاده با (میزبان)، سی پی یو روی الگوریتم این پیاده سازی ◀

می شود.شده است. استفاده cuBLAS کتابخانه از جی پی یو، روی پیاده سازی برای ◀

٢٩ / ٢١ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

معرفی پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

cuBLAS کتابخانه

تحت خطی) جبر (زیربرنامه های BLAS کتابخانه پیاده سازی کتابخانه این ◀

است. NVIDIA®CUDA™ runtimeمی سازد. فراهم کاربر برای را ان ویدیا (جی پی یو) گرافیکی پردازنده منابع به دسترسی امکان ◀

بردارهای و ماتریس ها باید برنامه ،cuBLAS کاربردی برنامه نویسی رابط از استفاده جهت ◀

توابع توالی دهد، قرار آن ها در را داده ها دهد، تخصیص جی پی یو حافظه فضای به را الزممیزبان به جی پی یو حافظه از را نتایج سپس و نماید فراخوانی را نظر مورد cuBLAS

بازگرداند.

٢٩ / ٢٢ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

معرفی پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

BLAS کتابخانه

اجرای برای استاندارد بلوکی ساختمان ساختن فراهم برای است امکاناتی ،BLAS کتابخانه ◀

ماتریسی. و برداری ابتدایی عملیات٢ سطح BLAS می دهد، انجام را بردار-بردار و برداری اسکالر، عملیات ١ سطح BLAS ◀

می کند. اجرا را ماتریس-ماتریس عملیات ٣ سطح BLAS و ماتریس-برداری عملیات

در معموال BLAS کتابخانه وسیع، بودن دسترس در و بودن حمل قابل کارآمدی، دلیل به ◀

می گیرد. قرار استفاده مورد خطی جبر کیفیت با برنامه های توسعهمانند باال کیفیت با خطی جبر افزار نرم توسعه در ای گسترده طور به BLAS مشخصات ◀

(GSL) گنو علمی کتابخانه و IMKL ،LAPACKشده است. استفاده GSL CBLAS از سی پی یو روی الگوریتم پیاده سازی برای اینجا در ◀

٢٩ / ٢٣ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

معرفی پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

رویکردها

شده است: انجام کلی رویکرد دو با مقایسه این ◀

روی تطابقی جستجوی الگوریتم اجرای در جی پی یو با سی پی یو زمانی عملکرد تغییر مقایسه ◀

تنکی میزان کاهش با تصادفی داده هایروی تطابقی جستجوی الگوریتم اجرای در جی پی یو با سی پی یو زمانی عملکرد تغییر مقایسه ◀

دیکشنری. اتم های تعداد افزایش با تصادفی داده های

برای و Core i7 -7700HQ اینتل مرکزی پردازنده یک از سی پی یو روی برنامه اجرای برای ◀

استفاده NVIDIA GeForce GTX 1050 گرافیکی پردازنده یک از جی پی یو، روی اجراشده است.

٢٩ / ٢۴ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

اجرا گام های پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

برنامه اجرای گام های

کتابخانه ها فراخوانی ◀

اولیه مقداردهی ◀

تصادفی صورت به دیکشنری تولید ◀

تصادفی صورت به تنک (نمایش) بردار یک تولید ◀

حافظه تخصیص ◀

داده ها انتقال ◀

کدگذاری) (عملیات تنک بردار از استفاده با آزمون سیگنال تولید ◀

کدگشایی) (عملیات آزمون سیگنال تخمین و تطابقی جستجوی الگوریتم اجرای ◀

اجرا زمان و خطا محاسبه ◀

٢٩ / ٢۵ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

شده استفاده توابع پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

شده استفاده توابع

ماتریس-برداری نوع جمع و ضرب محاسبه ◀

y = αAx+ β or y = αATx+ βy

gsl_blas_sgemv, gsl_blas_dgemv : CBLAS کتابخانه ◀

cublasSgemv, cublasDgemv : cuBLAS کتابخانه ◀

بردار یک ماکزیمم عضو اندیس کوچک ترین برگرداندن ◀

m = argmaxm

|xm|

gsl_blas_isamax, gsl_blas_idamax : CBLAS کتابخانه ◀

cublasIsamax, cublasIdamax : cuBLAS کتابخانه ◀

٢٩ / ٢۶ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

شده استفاده توابع پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

شده استفاده توابع

جمع محاسبه ◀

y = αx+ y

gsl_blas_saxpy, gsl_blas_daxpy : CBLAS کتابخانه ◀

cublasSaxpy, cublasDaxpy : cuBLAS کتابخانه ◀

بردار یک اقلیدسی نرم محاسبه ◀

∥x∥٢ =

√√√√ M∑m=٠

xm٢

gsl_blas_snrm2, gsl_blas_dnrm2 : CBLAS کتابخانه ◀

cublasSnrm2, cublasDnrm2 : cuBLAS کتابخانه ◀

٢٩ / ٢٧ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

نتایج پیاده سازی

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

نتایج

٢,٠٠٠ ۴,٠٠٠ ۶,٠٠٠ ٨,٠٠٠

٠

٢٠٠

۴٠٠

۶٠٠

Atoms

Dec

odin

gTi

me

(sec

onds

)

CPUGPU

اتم ها تعداد تغییر با مقایسه شکل:

۵٠ ١٠٠ ١۵٠

٠

۵٠

١٠٠

SparsityD

ecod

ing

Tim

e(s

econ

ds)

CPUGPU

تنکی میزان تغییر با مقایسه شکل:

٢٩ / ٢٨ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

ما و از پاس٢٩ / ٢٩ ١٣٩٧ آبان ٢٣ جی پی یو روی موازی پردازش با تنک بهینه سازی سرعت افزایش سبزواری) حکیم (دانشگاه خوش نویس بابک