يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/sp-lecture1... · 2016-09-28 ·...

21
سي وي هادي[email protected] تهراننشگاه دا- وين نونم و فنانشکده علو د

Upload: others

Post on 09-Aug-2020

2 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

هادي ويسي[email protected]

دانشکده علوم و فنون نوين -دانشگاه تهران

Page 2: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

2 Hadi Veisi ([email protected])

معرفي کاربردهاي پردازش گفتار

گفتار( تشخیص)بازشناسی

سنتز گفتار

ديالوگ و فهم گفتار

شناسايی گوينده

بهسازی گفتار

کدينگ و فشرده سازی

Page 3: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

3 Hadi Veisi ([email protected])

گفتار اولین و ساده ترين راه ارتباطي

ارسطو:

است ناطقانسان، حیوان

Page 4: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

4 Hadi Veisi ([email protected])

پردازش گفتار ايجاد توانايی های انسان در زمینه صحبت کردن، شنیدن، فهمیدن و يادگیری برای رايانه

ساخت سیستم های زبان گفتاری(Spoken Language System)

گفتار تبديل به اولین وسیله ارتباطی بین انسان و کامپیوتر شود

Page 5: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

5 Hadi Veisi ([email protected])

چرا گفتار؟

طبیعی يادگیری نیاز ندارد

منعطف دست و چشم را درگیر نمی کند

بهینه نرخ انتقال داده باال دارد

اقتصادی ارتباط ارزان

تاثیرگذار اطالعات ديگر را نیز منتقل می کند عالوه بر کلمات،

رايج آن را ترجیح می دهند انسان ها

تکامل از زبان نوشتاری است کامل تر

Page 6: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

6 Hadi Veisi ([email protected])

گفتار ( تشخیص)بازشناسي(Speech Recognition) تبديل گفتار به متن

سنتز گفتار(Speech Synthesis) تبديل متن به گفتار(Text-to-Speech)

ديالوگ و فهم گفتار(Speech Dialogue/Understanding) (متفاوت با تشخیص)درک گفتار

شناسايي گوينده(Speaker Recognition)

بهسازي گفتار(Speech Enhancement)

کدينگ و فشرده سازي

Page 7: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

7 Hadi Veisi ([email protected])

گفتار ( تشخیص)بازشناسي . . . ASR: Automatic Speech Recognition

Page 8: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

8 Hadi Veisi ([email protected])

گفتار ( تشخیص)بازشناسي . . . تايپ گفتاری و سیستم ديکته

تشخیص فرامین و دستورات صوتی

اجراي برنامه ها در رايانه با بيان نام آنها، کنترل لوازم خانگي با صوت فرمان دادن به ربات ها و فرمان هاي صوتي در خودرو کيوسک هاي اطالعات و دستگاه هاي خود پرداز بانک ها ( افزايش قابليت ها و جذابيت)استفاده در بازي هاي کامپيوتري و ...

Page 9: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

9 Hadi Veisi ([email protected])

گفتار ( تشخیص)بازشناسي کاربردهای مربوط به معلولین، ناشنوايان و نابینايان

صحبت کردن براي استفاده از وسايل و ابزارها : معلولين حرکتي تايپ سخنان ديگران، تبديل گفتار به حرکات ايما و اشاره : ناشنوايان تايپ گفتاري و رورد اطالعات، صحبت کردن براي استفاده از وسايل و ابزارها: نابينايان

سیستم های اطالع رسانی

تلفن گوياها

سیستم های آموزش

پرسش و پاسخ

ترجمه گفتار به گفتار : کاربردهای ترکیبی

Page 10: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

10 Hadi Veisi ([email protected])

سنتز گفتار . . .

TTS: Text-to-Speech

Page 11: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

11 Hadi Veisi ([email protected])

سنتز گفتار . . .

سخنگو کردن کامپیوتر (کتاب های الکترونیکی، محتواهای آموزشی، آموزش از راه دور)سیستم های آموزشی (اخبار و اطالعات، آموزش)وب سايت ها (خواندن پیامک، نقشه، کتاب و )تلفن های همراه.... رفع مشکالت و محدوديت های افراد ناتوان جسمی در صحبت کردن و خواندن

Page 12: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

12 Hadi Veisi ([email protected])

سنتز گفتار . . .

رفع مشکالت و محدوديت های افراد ناتوان در خواندن

نابينايان، افراد کم سواد و بي سواد و سالمندان سيستم هاي صفحه خوان(Screen Reader )ويژه نابينايان

JAWS

HAL

Talks (موبایل)

کیوسک ها، نوبت دهی بانک ها (تلفن گويا)سامانه های اطالع رسانی مانند سیستم های تلفنی ،

تغيير سريع و آسان پيغام هاي صوتي بدون نياز به ضبط صدا

مترجم گفتار به گفتار، : استفاده در نرم افزارهای ديگرOCR

(کد کردن)فشرده سازی گفتار

Page 13: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

13 Hadi Veisi ([email protected])

ديالوگ و فهم گفتار. . . Spoken Dialogue System

(ورود اطالعات)تشخیص گفتار گفتار( فهم)درک (تولید پاسخ)تولید جمله (خواندن پاسخ)تولید گفتار

Page 14: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

14 Hadi Veisi ([email protected])

ديالوگ و فهم گفتار. . .

Page 15: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

15 Hadi Veisi ([email protected])

ديالوگ و فهم گفتار. . . Apple Siri رویiPhone Microsoft Cortana 8.1روی ويندوز موبايل

Google Now به بعد 4.1روی اندرويد( وiOS)

Page 16: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

16 Hadi Veisi ([email protected])

(سیستم هاي تلفني)ديالوگ و فهم گفتار Microsoft Tellme

Jupiter ( شهر دنیا 500اطالعات آب و هوای)

+1-800-555-8355

Page 17: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

17 Hadi Veisi ([email protected])

شناسايي گوينده. . . تشخیص گوينده(Speaker Identification)

کسي که صحبت مي کند، کيست؟ زمينه هاي مشابه

تشخیص جنسیت(Gender Identification)

تشخیص زبان(Language Identification)

تايید گوينده(Speaker Verification) آيا او واقعاً حسين است؟

جداسازی گوينده(Speaker Diarization) به تفکيک گوينده( دو يا چند نفره)جداسازي بخش هاي يک مکالمه چه کسي، چه زماني صحبت کرده است؟

Page 18: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

18 Hadi Veisi ([email protected])

شناسايي گوينده تشخیص گوينده(Speaker Identification)

کاربردهاي امنيتي و جنايي

تايید گوينده(Speaker Verification) (کنترل دسترسي)رمز صوتي

در تلفن بانک ها

دسترسي به رايانه يا دستگاه خاص

جداسازی گوينده(Speaker Diarization) تايپ گفتاري صورت جلسه ها

صحن علنی مجلس : مثال

زمينه مشابه جداسازی گ فتار از غیرگ فتار(VAD)

Page 19: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

19 Hadi Veisi ([email protected])

بهسازي گفتار بهبود کیفیت و قابلیت فهم در کاربردهای عمومی

کاربرد در سمعک ها و وسايل کمک شنوايي (بي سيم ها و تلفن هاي همراه)حذف نويز در کانال هاي مخابراتي سيستم هاي صوتي موجود در اماکن نويزي مانند فرودگاه ها و کابين خلبان حذف صداهاي مزاحم در فايل هاي سخنراني و کاست هاي قديمي و...

استفاده در سیستم های پردازش گفتار ديگر جهت مقاوم سازی

مقاوم سازي سيستم هاي کدينگ و انتقال صوت با کاربرد در تلفن هاي همراه، کنفرانس هاي ...ويدئويي و صوتي، انتقال صوت روي اينترنت مثل تلفن اينترنتي و

مقاوم سازي سيستم هاي بازشناسي خودکار گفتار(ASR ) و تشخيص گوينده به نويز

Page 20: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

20 Hadi Veisi ([email protected])

کدينگ و فشرده سازي سیگنال ( اندازه)کاهش حجم

ذخيره سازي(mp3) (روي کانال هاي مخابراتي)انتقال

تلفن همراه

(اینترنت)روی شبکه- G.729

بی سیم های نظامی

افزايش امنیت انتقال

Page 21: يسيو يداهdsp.ut.ac.ir/en/wp-content/uploads/2016/09/SP-Lecture1... · 2016-09-28 · )Speech Synthesis( راتفگ زتنس )Text-to-Speech( راتفگ هب نتم ليدبت

معرفی و کاربردها: پردازش گ فتار

21 Hadi Veisi ([email protected])

کامپیوترهاي پوشیدني(Wearable Computers) کاربردهای نظامی عینک گوگل