(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلانداده

(3)اده تحلیل با رویکرد یادگیری ژرف بر بستر کالن ددانشگاه صنعتی شریف، تهران

1ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست

Fayyaz@Sensifai.com محسن فیاض1395دی 22

فیاضمحسن

فیاضمحسن

یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده

2

مروری

هبر مباحث گذشت

شبکه کانولوشنشبکه متصل محلیشبکه تمام متصل

فیاضمحسن

یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده

3

آموزش یشبکه های عصب

آموزش شبکهوزن های اولیه

پیش بینی اولیه

اختالف با هدف

آموزش

4ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

آموزش شبکه

گرادیان نزولی•

5ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن

آموزش شبکه

گرادیان نزولی•

6ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن

آموزش شبکه

گرادیان نزولی•

7ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست[1] فیاضمحسن

آموزش شبکه

گرادیان نزولی•

8ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

آموزش شبکه

انتشار رو به عقب•

9ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

آموزش شبکه

انتشار رو به عقب•

10ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

آموزش شبکهانتشار رو به عقب•

11ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

گرادیانمحوشدگی

فعالسازتابع های •Sigmoid

oگرادیانمحوشدگیoغیر صفر بودن میانگین خروجی

12ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

1( )

1 tS t

e

𝜕𝑆(𝑡)

𝜕𝑥= 𝑆(𝑡)(1 − 𝑆 𝑡 )

گرادیانمحوشدگی

فعالسازتابع های •Tanh

o محوشدگیدارای مشکلoرفع مشکل میانگین غیر صفر

13ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

tanh x = 2𝑆 2𝑥 − 1S(x) = Sigmoid(x)

𝜕tanh(𝑥)

𝜕𝑥= 1 − 𝑡𝑎𝑛ℎ2(𝑥)

گرادیانمحوشدگی

فعالسازهایتابع•

•ReLU

گرادیانهمگراییسرعتافزایش•

سادهریاضیعملیات•

احیاقابلغیرمرگ:مشکل•

14ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

( ) max(0, )f x x

𝑥 > 0,𝜕𝑓(𝑥)

𝜕𝑥= 1

𝑥 = 0,𝜕𝑓(𝑥)

𝜕𝑥= 0

𝑥 < 0,𝜕𝑓(𝑥)

𝜕𝑥= 0

برابر با صفر در نظر گرفته می شودReLUمشتق x=0برای *

مفاهیم الیه ها در شبکه های ژرف

15ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بستفیاضمحسن

مفاهیم الیه ها در شبکه های ژرف

16ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

مفاهیم الیه ها در شبکه های ژرف

GMP

Fully Convolutional VGG + GMP

17ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

فیاضمحسن

یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده

18

مختلفانواع

یعصبشبکه های

انواع مختلف شبکه های عصبی

شبکه عصبی تمام متصل•

مناسب برای تغییر فضای بازنمایی

مناسب برای دسته بندی

19ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

انواع مختلف شبکه های عصبی

شبکه عصبی کانولوشن•

مناسب برای پردازش تصویر

استفاده در پردازش متن و صوت

20ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

انواع مختلف شبکه های عصبی

شبکه عصبی بازگشتی•

مناسب برای دادگان با طول متغیر

پردازش متن

پردازش صوت

RNN [2] LSTM [2]

21ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

انواع مختلف شبکه های عصبی

خودرمزکننده ها•

یادگیری ویژگی ها به صورت بدون نظارت

استفاده در تمامی زمینه ها

22ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

فیاضمحسن

یکرد جلسه سوم ارائه علمی تحلیل با رویادگیری ژرف بر بستر کالن داده

23

بررسی کارهای

State of the Art

آموزش با نظارت ضعیف

هاCNNیادگیری با نظارت ضعیف با استفاده از

•Multiple Labeling

•Weakly Localization

امکان استفاده از دادگان موجود در اینترنت•

Is object localization for free? - Weakly-supervised learning with convolutional neural networks,Oquab et. al., CVPR 2015

24ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

آموزش بدون نظارت

پیش بینی بازنمایی های تصویری از ویدیوهای بدون برچسب

آموزش بر روی حجم عظیم ویدیوهای بدون برچسب موجود بر روی اینترنت•

آموزش دسته بندها بر روی خروجی سامانه بدون نظارت•

Anticipating Visual Representations From Unlabeled Video, Vondrick et. al., CVPR 2016

25ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

Distributed Training:

From Karpathy’s slides

آموزش توزیع شده

26ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

آموزش توزیع شده

27ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

[Large Scale Distributed Deep Networks, Jeff Dean et al., 2013]

توزیع دادگان توزیع شبکه

منابع

• [1] https://ayearofai.com/rohan-lenny-1-neural-networks-the-backpropagation-algorithm-explained-abf4609d4f9d#.g0n7r1ain, 1/10/2017

• [2] http://colah.github.io/posts/2015-08-Understanding-LSTMs/, 1/10/2017

28ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست فیاضمحسن

(3)اده تحلیل با رویکرد یادگیری ژرف بر بستر کالن دکارگروه کالن داده؛ دانشگاه صنعتی شریف، تهران

با تشکر

29ر کالن دادهجلسه سوم ارائه علمی تحلیل با رویکرد یادگیری ژرف بر بست

Fayyaz@Sensifai.com محسن فیاض1395دی 22

فیاضمحسن