بحث بعنوان : معالجة اللغات الطبيعية

Natural Language Processing

اكاديمية الدراسات العليا بنغازي

قسم علوم الحاسوب Artificialالمادة

Intelligent

مقدم البحث : محمد االجنف 6109رقم الدراسي

اشراف الدكتور : طارق الشهيبية

  الطبيعية اللغات هي ماالطبيعية مصطلح Natural Languages” اللغات

” العربية “ مثل السائدة البشرية اللغات على يطلق ” طبيعية “ كلمة ووجود وغيرها، والفرنسية واإلنجليزية . طبيعية ليست أخرى لغات وجود يحتم المصطلح فيبدون أي طبيعي، تطور عن ناتجة ألنها طبيعية فسمى

تخطيط وتركيبها وجود ومصطلحاتها قواعدها لوضععبر تطورت العربية اللغة فمثال وغيره، الصوتي

وال فيها للكلمات تخطيط هناك يكون أن بدون السنين   لها الفرعية واللغات اللهجات كذلك غيرها، وال القواعد

العملية، لهذه واٍع تخطيط بدون السنين عبر تتطور ) من ) وغيرها النحو القواعد استخراج يكون بينما

وليس موجودة تكون أن بعد الطبيعية اللغة خصائصالعكس.

المبنية اللغات المقابل Constructed فيLanguages المخططة االصطناعية Plannedأو أو

Artificial المخترعة مصطلحاتها Inventedأو توضع ،تكون أن قبل اللغوية الخصائص من وغيرها وقواعدهااألمثلة أشهر ولعل الناس، بين ومتداولة موجودة لغة

مثل البرمجة لغات هي وغيرها Pythonو Javaعليها

Ambiguity اللغوي الغموض

اللغوي لمصطلح او االشتراك حرفية كترجمة الغموضAmbiguity في و الوضوح عدم حالة على يطلق

وي لغويا، المراد : الي قسم نالمعنى مستويات عدةا • صرفي )للالغموض أو (Lexicalفظيال • (Syntacticنحوي )الغموضال • (Semanticمعنوي )الغموض

غالبا أنها الطبيعية عن المبنية اللغات يميز ما وأهماللغات بعكس اللغوي االشتراك من خالية تكون

لتعقيدها نتيجة منه طبيعية لغة تخلو ال التي الطبيعية. فيها االلتباس وجود يحتم الذي الطبيعي وتطورها

Lexical Ambiguity اللفظيالغموض

    عن النظر بغض منفردة الكلمة مستوى على يكونكلمة فمثال فيها، تظهر التي الجملة أو عين #السياق

فمثال مختلفة، كثيرة معاٍن تحمل العربية اللغة في “ ” عين“ و ذاته، أو الشيء نفس تعني الشيء عين

عين” “ و للمياه، كمصدر ينبوع بها يقصد جاريةالناس” بأمور يهتم من إلى غالبًا بها يشار ساهرة

. اللغة في أيضا وغيرهم األمن رجال مثل العامةكلمة مثال تعني Barاإلنجليزية فقد عديدة، معاٍن لها

وقد   غيره، أو المطبخ من جزء تكون التي الطاولة ) حانة ) الكحولية المشروبات يقدم الذي المكان تعني

.

 Syntactic Ambiguity النحويالغموض

) (   محتمل  إعراب تحليل من أكثر وجود به ويقصدأقل االلتباس من النوع هذا يكون وقد معينة، لجملةمثل األخرى اللغات من العديد من العربية اللغة في

  للغة، النحوية الخصائص بسبب وذلك اإلنجليزيةموجودًا  اللغوي االشتراك من النوع هذا يظل ولكنالكالم في خاصة العربية اللغة في قليل بشكل ولو

. مشكل الغير و المكتوبWe read. You read. They read

Semantic Ambiguity المعنويالغموض

التباس   يوجد ال وأيضا واضًحا، الجملة إعراب كان لو حتىواضح غير الجملة معنى يكون أحيانًا الكلمات، معنى في

فمثال تماًماالعمل جملة “ في زميال األول” قابلُت معنيين، تحتمل

في الجهة نفس في معه يعمل شخص قابل المتحدث أن ) (  والمعنى غيره أو كافي أو مطعم يكون قد ما مكان

في معه يكون أن بالضرورة ليس زميال قابل أنه اآلخرمكان في وقابله مثال، دراسة زميل يكون فقد عمله نفس

عمله.

الطبيعية اللغات معالجةNatural Language Processing

الطبيعية اللغات معالجة NLP Natural Language Processing

أن هو مباشرة كصورة الطبيعية اللغات لمعالجة الرئيسي الهدفحيث , الطبيعية اللغات كلمات فهم على قادرا الحاسب نجعل

الطبيعية اللغات معالج Natural Language Processingيقومالتقنيات خالل من و المدخلة الجمل من المعلومات باستخالص

يترجم , أن أو االسئلة على ً مثال يرد أن المعالج يستطيع المقترحةو , موضوع بتخليص يقوم أن أو المختلفة اللغات بين ما الجمل

هكذا ..

تصنيفات في الطبيعية اللغات معالجةاآللي الحاسب علوم

لمعالجة الرئيسية المجاالت بعضالطبيعية اللغات

الصوتيات • علي تعرفصرفي • تحليلنحوي • تحليلداللي • تحليلالنصوص • تفهمالكالم • تمييزاآللية • الترجمةعليها • واإلجابة األسئلة فهمالمعلومات • استخالصالنصوص • في التنقيب

الطبيعية اللغات معالجة NLP منهجياتMethods

القانوني • . rule-based methodالمنهج   ثم ومن لغويين خبراء قبل من غالبا مسبقًا القوانين بوضع يكون

لتلك وفقا الطبيعية اللغات مجاالت بأحد تتعلق التي البرامج تصميمآلي ) تعلم ذلك يتطلب وال من( Machine Learningالقوانين

الحاسبات قبلال • . statisticalإحصائي المنهجالحاسب تجعل بطريقة مسبًقا معدة بيانات وجود يتطلب

هذه إعداد يتم أن بحيث منها القوانين تعلم على قادًراالخبراء مستوى في ليسوا غالبا أشخاص قبل من البيانات

وتقنيات تطبيقات معظم وحاليا السابق، المنهج في كمااإلحصائي المنهج تتبع الطبيعية اللغات .معالجة

الفرعية الطبيعية اللغات معالجة مجاالت

فروع عدة الطبيعية اللغات معالجة مجال تحت يندرجمستويات، عدة على تقسيمها ويمكن وتطبيقات،

صرفي ، lexicalمستوى المفردة الكلمة مستوى علىنحوي وتركيبها syntaxومستوى الجملة مستوى على

المعنى ومستوى ، مستوى semanticنحويا على وهو . contextالسياق

lexicalالصرفي المستوى Part-of-Speech Tagging

الكالم ) أقسام النص من الكالم أقسام استخراج يعنياسم، صفة، أمر، فعل مضارع، فعل ماض، فعل مثل

إلخ .. تصنيف ( حال ويعد ،تقريبا تستخدم التي الرئيسية األمور من الكالم أقسام

الطبيعية اللغات معالجة ومجاالت تطبيقات معظم فيتصنيف في المستخدم والتقنيات الخوارزميات أشهر

  نموذج هي الكالم Hidden Markov Model أقسامHMM وخوارزمية Viterbi Algorithm.

Syntactic Parsingالصرفي  التحليل أو   تحليلها ثم ومن ككل للجملة النظر يتم الصرفي التحليل في

، إعرابهاالنحوي للتحليل وطرق خوارزميات عدة CKYمثل وهناك

Parsing ،The Earley Parsing , Collins Parser

مثال : The cat ate my homework

السابقة الجملة في الكالم اقسام ماهي نحدد ان اردنا لو ( part of speech ) pos

Cat = noun ; ate = verb ; homework = nounنسبته بما نقول ان مثال ونستطيع صحيح الجملة هذه % 95بناء

؟ سليم المعنى هل ولكن

Meaning Representation المعنىمستوى آخر   بشكل اللغة من المراد المعنى تمثيل يعني

طرق , أسهل أشهر ولعل الحاسب في معه للتعاملالمنطق استخدام هو الحاسب في المعنى تمثيل

تمثيل First-order Logicاإلسنادي يتم حيث ،منطقية رياضية بصيغة الجملة من .المعنى

) السيناريو ) Scriptsالنصوصالسيناريو تطبيق ميكانيكية على Scriptمثال

Mechanism SAMبرنامج

: كاآلتي قصصي نص فهم البرنامج هذا يستطيعرقم" السريع الطريق عن سيارة اصطدمت 6انحرفت أن بعد

الرئيسي بالحاجزمن دارك فرانسيس الراكب وقُتل الماضي، الجمعة يوم مساء

الحال في وارنجتونمارفل أندرو السائق أخذ وقد باستور، لويس دكتور قرره لما ً وفقا

في 59المقيماإلنقاذ فريق بواسطة المستشفى إلى بالنكستر ستريت ميديل شارع

له وسمح . وسيقوم إتهامات، أي توجه ولم يومين بعد منزله إلى بالذهاب

الشرطة مفتش". الحادث ظروف في بالتحقيق بالك سيكستون

الملخص البرنامج أخرج الحاسب إلى النص هذا وبإدخالالتالي:

طريق " في الرئيسي بالحاجز سيارة اصطدمت أيام أربعة منذُجرح 6رقم كما وارنجتون، في المقيم دارك فرانسيس وقتل

في المقيم مارفل أندرو ولم 59السائق بالنكستر ستريت ميدل. « ألحد تهم أي الشرطة توجه

على بالحادثة المتعلقة األسئلة على اإلجابة البرنامج واستطاعالتالي : الوجه

دارك فرانسيس قتل نعم أحد؟ قتل هل ً سطحيا ً جرحا مارفل أندرو جرح لقد نعم أحد؟ جرح هل

بالحاجز اصطدمت السيارة ألن مارفل؟ أندرو جرح لماذاالرئيسي

إلى مارفل أندرو اخذ نعم المستشفى؟ إلى مارفل أندرو أخذ هلالمستشفى

مارفل اإلنقاذ فريق أخذ المستشفى؟ إلى مارفل أندرو أخذ كيفالمستشفى إلى

الخالصة الطبيعية ) اللغات Natural Languagesمعالجxxxxxة

Processing:)

بي¥ن المباش¥ر التخاط¥ب تأمي¥ن إل¥ى المجال هذا يهدفالحاس¥ و , واإلنس¥ان اإلنس¥ان , بلغ¥ة ً كالما أ¥و طباع¥ة ب

الطبيعية

نظ¥¥م , يس¥¥تخدم مث¥¥ل المجاالت م¥¥ن العدي¥¥د ف¥¥يو الكالم فه¥م نظ¥م و المعلومات بنوك م¥ن االس¥تفادةتألي¥ف نظ¥م و فهمه¥ا و النص¥وص قراء¥ة نظ¥م و توليده

النصوص.

المراجع

www.elearning.jo/.../TH2...PPT/TH2_S05_M4_EXTRA3_PPT.ppt

_ الطبيعية_ اللغات //:httpsمعالجةar.wikipedia.org/wiki/

بعنوان : البحثية الورقة ملخص

أنظمة في منطقية كحدود العربية اللغة قواعد تمثيلالطبيعية اللغات معالجة

كاظم. لله مال سهاد دعبدالوهاب. بهجت هالة د

. اكباشي خلف إخالص م م

الورقة : ملخص

القواعد من كبير حجم الي تحتاج العربية اللغة معالجةالي يؤدي هذا و النحوية لمرونتها نظراً لتمثيلها النحويةزيادة عليه يترتب الذي و البرنامج حجم في كبيرة زيادة

. البيانات استرجاع وقت فيالشجري الهيكل استخدام تم البحث هذا لخزن+ Bفي

مما , الكبيرة البيانات حجم مع مالئم ألنه الحدود تلكالنحوية القواعد استرجاع سرعة زيادة الي يؤدي

المطلوبة .

تطبيق لغة باستخدام الوراثة Prologنظام