הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

11

הבחנה בין קולות הבחנה בין קולות רחרוח וקולות הלחתה רחרוח וקולות הלחתה

של כלביםשל כלביםאופיר אזולאיאופיר אזולאי

גיל בלוךגיל בלוך

מנחה : ד"ר יזהר לבנרמנחה : ד"ר יזהר לבנר

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

22

מטרותמטרות

פיתוח כלי אוטומטי לזיהוי בין קולות רחרוח וקולות פיתוח כלי אוטומטי לזיהוי בין קולות רחרוח וקולות •הלחתה של כלבים.הלחתה של כלבים.

מערכת המקבלת הקלטה של קולות הנשימה של מערכת המקבלת הקלטה של קולות הנשימה של –כלב, מזהה מאורעות רחרוח ומאורעות הלחתה כלב, מזהה מאורעות רחרוח ומאורעות הלחתה

ומציגה את המידע.ומציגה את המידע.על המערכת להתאים לכלבים שונים.על המערכת להתאים לכלבים שונים.–על המערכת להתאים להקלטות שונות )מיקרופון על המערכת להתאים להקלטות שונות )מיקרופון –

שונה, מערכת הקלטה שונה(.שונה, מערכת הקלטה שונה(.המערכת תהיה חסינה לרעשי רקע שונים.המערכת תהיה חסינה לרעשי רקע שונים.–

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

33

נושאים לדיוןנושאים לדיון

בחירת שיטה למיצוי פרמטרים של האות.בחירת שיטה למיצוי פרמטרים של האות.•

בחירת שיטה לזיהוי תצורת רחרוח והלחתה.בחירת שיטה לזיהוי תצורת רחרוח והלחתה.•

מערכת איסוף מידע 'לימוד' פרמטרים אופייניים מערכת איסוף מידע 'לימוד' פרמטרים אופייניים •עבור כלבים שונים.עבור כלבים שונים.

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

44

פרויקט א - תקצירפרויקט א - תקציר

שימוש בפונקצית אנרגיה לגילוי מאורעות.שימוש בפונקצית אנרגיה לגילוי מאורעות.•

לתיאור המעטפת הספקטרלית לתיאור המעטפת הספקטרלית ARARמיצוי מקדמי מיצוי מקדמי •של האות.של האות.

שימוש ברשת נוירונים לזיהוי המאורעות.שימוש ברשת נוירונים לזיהוי המאורעות.•

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

55

שינוי גישהשינוי גישה

בחלקו השני של הפרויקט ניסינו להשתמש בחלקו השני של הפרויקט ניסינו להשתמש •בטכניקה שונה בכל אחד מחלקי הפרויקט.בטכניקה שונה בכל אחד מחלקי הפרויקט.

בנוסף ניסינו לאחד את שלב גילוי המאורעות לשלב בנוסף ניסינו לאחד את שלב גילוי המאורעות לשלב •זיהוי המאורעות ע"י שימוש בפרמטרים המאפיינים זיהוי המאורעות ע"י שימוש בפרמטרים המאפיינים

לגילוי וזיהוי גם יחד.לגילוי וזיהוי גם יחד.

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

66

תיאור האלגוריתםתיאור האלגוריתם

MFCCMFCCמיצוי פרמטרים – חישוב מקדמי מיצוי פרמטרים – חישוב מקדמי •עבור חלונות זמן לאורך האות המוקלט.עבור חלונות זמן לאורך האות המוקלט.

יצירת וקטור מאפיין של מקטעי אות יצירת וקטור מאפיין של מקטעי אות • של של MFCCMFCCקצרים )שילוב מקדמי ה-קצרים )שילוב מקדמי ה-

מספר חלונות עוקבים(.מספר חלונות עוקבים(.

זיהוי שייכות הוקטורים המאפיינים של זיהוי שייכות הוקטורים המאפיינים של •האות לקבוצת וקטורים אופייניים של האות לקבוצת וקטורים אופייניים של

מאורעות רחרוח ומאורעות הלחתה מאורעות רחרוח ומאורעות הלחתה (. (. Fuzzy KNNFuzzy KNN)שימוש ב )שימוש ב

מיצוי פרמטרים מהאות

יצירת וקטור מאפיין(Feature Vector)

זיהוי מאורעות רחרוחומאורעות הלחתה

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

77

מיצוי פרמטריםמיצוי פרמטריםMel Frequency Cepstral Mel Frequency Cepstral

CoefficientsCoefficients

מספר פרמטרים קטן.מספר פרמטרים קטן.•

-Mel-Melהצגת ספקטרום האות על גבי סקלת התדר הצגת ספקטרום האות על גבי סקלת התדר •scalescale . .

•Mel scaleMel scale מבוססת על מחקרים רבים המראים - מבוססת על מחקרים רבים המראים - שתגובת האוזן לתדר היא ליניארית עד לתדר של שתגובת האוזן לתדר היא ליניארית עד לתדר של

, ולוגריתמית מעל לתדר זה., ולוגריתמית מעל לתדר זה.KHzKHz11כ - כ -

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

88

MFCCMFCCאופן חישוב מקדמי ה אופן חישוב מקדמי ה ( ממירה ( ממירה Fourier transformFourier transformהתמרת פורייה )התמרת פורייה )1.1.

( לציר ( לציר Windowed segmentWindowed segmentאת קטע האות )את קטע האות )התדר, ליצירת ספקטרום האנרגיה בזמן קצר.התדר, ליצירת ספקטרום האנרגיה בזמן קצר.

MelMelהספקטרום מוטל על מסננות הספקטרום מוטל על מסננות 2.2. )יוצג בשקף הבא(. )יוצג בשקף הבא(.

חשוב הלוגריתם של המקדמים. חשוב הלוגריתם של המקדמים. 3.3.

מפחיתה את הקורולציה בין מפחיתה את הקורולציה בין DCTDCTהתמרת ה התמרת ה 4.4.המקדמים. המקדמים.

Framing Windowing |FFT| Mel-filtering DCTLOG

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

99

בנק מסננים מלבנק מסננים מל

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1010

וקטור אופייני –וקטור אופייני – Event Feature vectorEvent Feature vector

בעלי ההפרדה הגבוהה ביותר של מספר בעלי ההפרדה הגבוהה ביותר של מספר MFCCMFCCשילוב מקדמי ה-שילוב מקדמי ה-•חלונות זמן עוקבים. שיטה זו מאפשרת לזהות שינוי במעטפת חלונות זמן עוקבים. שיטה זו מאפשרת לזהות שינוי במעטפת

הספקטראלית של האות.הספקטראלית של האות.

יתרונות – שיטה זו מאפשרת לאתרשינוי בפרמטרים האופייניים

למשך הזמן, בהנחה ששינוי זהקיים )האות אינו סטציונארי(

חסרונות – שיטה זו דורשת שקצב השינויבמעטפת הספקטראלית יהיה

.זהה במאורעות שונים

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1111

זיהוי המאורעות:זיהוי המאורעות:Fuzzy K-Nearest NeighborFuzzy K-Nearest Neighbor

חישוב רמת שייכות הווקטור האופייני לקבוצת חישוב רמת שייכות הווקטור האופייני לקבוצת •וקטורים אופייניים של המאורעות המבוקשים וקטורים אופייניים של המאורעות המבוקשים

)מאורעות רחרוח ומאורעות הלחתה(.)מאורעות רחרוח ומאורעות הלחתה(.•KK.כל קבוצת המדגם. – כל קבוצת המדגם –

מספר שווה של וקטורי לימוד עבור רחרוח והלחתה.מספר שווה של וקטורי לימוד עבור רחרוח והלחתה.•

n

j j

n

j j

n

j j

s

PxSx

SxxU

12

12

12

11

1

()

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1212

Fuzzy K-Nearest NeighborFuzzy K-Nearest NeighborY

-Axi

s

X-Axis

AnalyzedFeature VectorPanting

FeatureVectors

SniffingFeatureVectors

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1313

MFCCMFCCהפרדה בין מקדמי ה - הפרדה בין מקדמי ה -

אופייניים של אותות רחרוח )באדום( אופייניים של אותות רחרוח )באדום( MFCCMFCCמקדמי מקדמי •ומאורעות הלחתה )בכחול(.ומאורעות הלחתה )בכחול(.

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1414

Fuzzy KNNFuzzy KNNפונקציית שייכות פונקציית שייכות

פונקציות שייכות של האות לקבוצת הרחרוחים )באדום( פונקציות שייכות של האות לקבוצת הרחרוחים )באדום( •ולקבוצת ההלחתות )בכחול(.ולקבוצת ההלחתות )בכחול(.

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1515

הפרדת המאורעותהפרדת המאורעות

כפי שניתן לראות בתוצאות חישוב פונקציות כפי שניתן לראות בתוצאות חישוב פונקציות •השייכותהשייכות

((Fuzzy KNNFuzzy KNN קיים הצורך להפריד בין מאורעות ,) קיים הצורך להפריד בין מאורעות ,)סמוכים.סמוכים.

שימוש בפונקצית אנרגיה בזמן קצר לצורך שימוש בפונקצית אנרגיה בזמן קצר לצורך •..ההפרדהההפרדה

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1616

פונקצית אנרגיה בזמן קצר.פונקצית אנרגיה בזמן קצר.

פונקציות השייכות )אדום-רחרוחים, כחול-הלחתות( מראה בצורה פונקציות השייכות )אדום-רחרוחים, כחול-הלחתות( מראה בצורה •טובה שמדובר במאורעות רחרוחים.טובה שמדובר במאורעות רחרוחים.

פונקצית האנרגיה )בירוק( "גוזרת" את המאורעות הבדידים.פונקצית האנרגיה )בירוק( "גוזרת" את המאורעות הבדידים.•

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1717

תהליך הלימודתהליך הלימוד

לצורך זיהוי המאורעות לצורך זיהוי המאורעות Fuzzy KNNFuzzy KNNהשימוש ב – השימוש ב – •דורש יצירת מאגר מידע המכיל וקטורים אופייניים דורש יצירת מאגר מידע המכיל וקטורים אופייניים

של מאורעות רחרוח ומאורעות הלחתה.של מאורעות רחרוח ומאורעות הלחתה.מאגר זה יהיה שונה עבור כלבים שונים.מאגר זה יהיה שונה עבור כלבים שונים.–יתכן ויידרש מאגר שונה עבור הקלטות שונות יתכן ויידרש מאגר שונה עבור הקלטות שונות –

)שימוש בציוד שונה או התקנה שונה של הציוד על )שימוש בציוד שונה או התקנה שונה של הציוד על הכלב(הכלב(

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1818

תהליך הלימוד - המשךתהליך הלימוד - המשך

יצירת קובץ המכיל מאורעות רחרוח בלבד וקובץ המכיל יצירת קובץ המכיל מאורעות רחרוח בלבד וקובץ המכיל •מאורעות הלחתה בלבד.מאורעות הלחתה בלבד.

יצירת מאגר המידע:יצירת מאגר המידע:• עם חפיפה ביניהם עם חפיפה ביניהם MFCCMFCCחישוב רצף של שמונה חישוב רצף של שמונה –

מהתחלת כל מאורע.מהתחלת כל מאורע.מציאת אינדקסים של שני המקדמים בעלי ההפרדה מציאת אינדקסים של שני המקדמים בעלי ההפרדה –

הגבוהה ביותר.הגבוהה ביותר. 66 לכל מאורע ע"י שרשור של לכל מאורע ע"י שרשור של EFVEFVיצירת שלושה וקטורי יצירת שלושה וקטורי –

..MFCCMFCCזוגות של מקדמי זוגות של מקדמי

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

1919

תהליך הזיהויתהליך הזיהוי

עם חפיפה לכל סיגנל עם חפיפה לכל סיגנל MFCCMFCCחישוב מקדמי חישוב מקדמי •הקלט.הקלט.

יצירת הוקטורים המאפיינים לפי המקדמים בעלי יצירת הוקטורים המאפיינים לפי המקדמים בעלי •ההפרדה הגבוהה ביותר כמו בשלב הלימוד.ההפרדה הגבוהה ביותר כמו בשלב הלימוד.

סווג ראשוני של המאורעות ע"י אלגוריתםסווג ראשוני של המאורעות ע"י אלגוריתם•Fuzzy KNNFuzzy KNN..

הפרדת המאורעות ע"י פונקציית האנרגייה.הפרדת המאורעות ע"י פונקציית האנרגייה.•

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

2020

תוצאות עבור מאורעות הלחתה של תוצאות עבור מאורעות הלחתה של BenBen

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

2121

תוצאות עבור מאורעות רחרוח של תוצאות עבור מאורעות רחרוח של BenBen

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

2222

תוצאות עבור מאורעות הלחתה של תוצאות עבור מאורעות הלחתה של RondoRondo

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

2323

תוצאות עבור מאורעות הלחתה של תוצאות עבור מאורעות הלחתה של RondoRondo

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

2424

תוצאותתוצאות

Dog File Type Num events Errors Recognition percentage

Ben Panting 28 5 82

Ben Sniffing 24 3 88

Leon Panting 31 8 74

Leon Sniffing 29 4 86

Rondo Panting 26 2 92

Rondo Sniffing 18 8 55

Rubi Panting 33 5 84

Rubi Sniffing 18 16 11

Sonia Panting 24 2 91

Sonia Sniffing 29 9 69

Stu Panting 28 13 53

Stu Sniffing 30 12 60

הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים

2525

מסקנותמסקנות

האלגוריתם אינו מתאים לכל הכלבים. ישנם כלבים עם אחוז זיהוי גבוה וישנם האלגוריתם אינו מתאים לכל הכלבים. ישנם כלבים עם אחוז זיהוי גבוה וישנם •כלבים עם אחוז זיהוי נמוך.כלבים עם אחוז זיהוי נמוך.

אחוז הזיהוי הנכון גדל עבור כלבים שמאורעות הרחרוח וההלחתה שלהם אחוז הזיהוי הנכון גדל עבור כלבים שמאורעות הרחרוח וההלחתה שלהם • גבוה. עבור גבוה. עבור SNRSNRמופרדים זה מזה לפי האנרגיה שלהם ועבור אותות בעלי מופרדים זה מזה לפי האנרגיה שלהם ועבור אותות בעלי

כלבים שבהם המאורעות מרוחים ומחוברים פונקצית האנרגיה אינה מצליחה כלבים שבהם המאורעות מרוחים ומחוברים פונקצית האנרגיה אינה מצליחה להפריד היטב בין המאורעות ולכן יש זיהוי כפול או חוסר זיהוי.להפריד היטב בין המאורעות ולכן יש זיהוי כפול או חוסר זיהוי.

עבור מאורעות רחרוח גורמת לזיהוי של רעשים עבור מאורעות רחרוח גורמת לזיהוי של רעשים MFCCMFCC --שונות מקדמי ה שונות מקדמי ה •מסוגים שונים כמאורעות רחרוח.מסוגים שונים כמאורעות רחרוח.

טעויות זיהוי רבות נגרמות ע"י זיהוי כפול של מאורעות כלומר עבור מאורע אחד טעויות זיהוי רבות נגרמות ע"י זיהוי כפול של מאורעות כלומר עבור מאורע אחד •ישנו זיהוי של יותר ממאורע אחד.ישנו זיהוי של יותר ממאורע אחד.

קבצי הלימוד צריכים לכלול מאורעות נקיים ומייצגים ככל האפשר ע"מ לקבל קבצי הלימוד צריכים לכלול מאורעות נקיים ומייצגים ככל האפשר ע"מ לקבל •אחוז זיהוי גבוה ככל האפשר.אחוז זיהוי גבוה ככל האפשר.