perception دکتر سعید شیری قیداری فصل 4 کتاب amirkabir university of...

Perception

قیداری شیری سعید دکتر

کتاب 4فصل

Amirkabir University of TechnologyComputer Engineering & Information Technology Department

هوشمند روبات اجزای

Action

عمل

Actuatorsعملگر

Perceptionادراک

External Worldخارجی محیط

External Worldخارجی محیط

Sensorsحسگر

Cognitionشناخت

هوشمند روبات اجزای

Perception اطراف دنیای از مدلی ساخت کردن، حس

Cognition یادگیری ریزی، طرح عمل، انتخاب رفتارها، تیمی کار روبات، چند بین همکاری عاملی چند یادگیری محیط، به پاسخ

Action موانع از پرهیز ناوبری، حرکت،

مقدمه

خودکار سیستم هر وظایف مهمترین از یکی. میباشد محیطش از دانش دریافت

مختلف سنسورهای گیری بکار طریق از اینکاراندازه های داده از مفید اطالعات استخراج و

. میباشد شده گیری خودکار روباتهای در سنسورها از وسیعی رنج

. فصل این در میگیرد قرار استفاده موردکه گرفت خواهند قرار توجه مورد سنسورهائی

. میروند بکار محیط از اطالعات دریافت برای

: روبات یک از AIBOمثالی

گردید معرفی در سونی شرکت توسط

ERS-110 ERS-210 ERS-220 ERS-311

May 1999 Oct. 2000 Nov.2001 Sept.2001

افزاری مشخصاتسخت 64-bit MIPS RISC CPU 32MB SDRAM Memory Stick Media for AIBO Built in Clock PC Card Slot Type 2 (ERS-200 Series) Sensors:

CMOS Camera, Stereo Microphone, Temperature, Acceleration, Pressure, Vibration, IR Distance

20 DOF on Legs, Tail, Head, Mouth & Ears

آزادی درجات

افزاری نرم AIBOمشخصات

AIBO-ware PC Applications for AIBO Development R-CODE OPEN-R SDK Aperios / OPEN-R

که میدهد AIBOکارهائی انجام Instincts Love, curiosity, movement, hunger & sleep Expressing Emotions Happiness, sadness, anger, surprise, fear and dislike Tonal language, motions, LED Learning Voice(Tonal language) recognition Mimic, Humming, Sing a song Object tracking & Face recognition Take pictures

که میدهد AIBOکارهائی انجام

و نوجوانی کودکی، به نوزادی از آنرا میتوان. کرد بزرگ بزرگسالی

. میشود کوتاهتر آن بلوغ دوره آن با تعامل صورت درداد یاد آن به را مختلفی عملیات توان می

کرد انتخاب آن برای اسمی میتوان. بگیرد یاد را شما اسم میتواند

میدهد 75 تشخیص را صوتی فرماندارد اجتماعی رفتاهای

که میدهد AIBOکارهائی انجام

است شده ذخیره پیش از بازی چند دارای میرقصد و کرده پخش موسیقی دهد تشخیص را مالکش میتواند و داده تشخیص را باتری شارژر محل میتواند

کند شارژ را خودش. است عکس گرفتن به قادر برای متعددی افزارهای قابلیت PCنرم که دارد

. میکنند اضافه آن به دیگری های

برای نویسی AIBOبرنامه

Programming AIBO:R-CODE Features

Similar to BASIC Control statements Subroutines Variables (16-bit integers) System variables support sensor data Addition/Subtraction Stacks

برای نویسی AIBOبرنامه

Programming AIBO:OPEN-R Features

OO designed OPEN-R API of system layer Full control of joints & displays Full access to sensors Image data, wave formatted sound data Network supports High level functions are not supported. Gait, Voice & Object Recognition, MIDI

برای هوشمند سناریوی یکAIBO

‘AIBO, come here!’

Owner: ‘AIBO, come here!’ AIBO: Tries to find where its owner is. ‘Where are you?’ Owner: ‘At the kitchen.’ AIBO: Finds the way to the kitchen.

Required FunctionsMap ConstructionWay finding (Search)BFS, DFS, IDSRecognizing the door

روبات از مثالی

روبات از مثالی

سنسورها بندی دسته

سنسورها بندی دسته

:داخلی : . زاویه موتور، سرعت مثل میکنند گیری اندازه روبات داخل از را اطالعاتی

وغیره باتری ولتاژ ها، مفصل:خارجی

: مسافت، گیری اندازه میکنند آوری جمع روبات محیط از را اطالعاتیصدا دامنه نور، شدت

Passive :حرارتی، سنسور مثل میکند دریافت محیط از را انرژی و CCDسنسور ،

میکروفنActive:

اندازه آنرا مقابل در محیط العمل وعکس فرستاده محیط به را انرژی . میکند گیری

سنسورها کارائی گیری اندازه

Dynamic Range ورودی مقادیر پائین و باال حد دامنه از است عبارت

عملکرد به قادر سنسور نحویکه به سنسور به. باشد خود عادی

DR= Maximum Input/Minimum Input. میشود بیان دسیبل حسب بر معموال

سنسورها کارائی گیری اندازه

Range : سنسور به ورودی مقادیر باالی حدResolution:

قابل سنسور توسط که مقداری دو بین اختالف حداقلاست دریافت

Linearity

تغییرات به نسبت سنسور یک خروجی رفتار نحوهمیکند مشخص را ورودی سیگنال

. میشود مشخص زیر رابطه با خطی رفتار یکF(ax+by)= aF(x)+ bF(y)

سنسورها کارائی گیری اندازه

Bandwidth or Frequency

کردن آماده در سنسور یک سرعت گیری اندازه برای . تعداد دیگر بعبارت میرود بکار ها خروجی از ای دنبالهتعبیر فرکانس به را ثانیه در سنسور های گیری اندازه

میکنند.Sensitivity

در جزئی تغییرات میزان از معیاری از است عبارت: شود خروجی در تغییر باعث میتواند که ورودی سیگنال

Output change / Input change

سنسورها کارائی گیری اندازه

Cross Sensitivity محیطی پارامترهای به حساسیت از است عبارت

هستند اصلی سیگنال با متعامد .که بر روبات یابی جهت در میتواند نما قطب یک

. باشد مفید بسیار زمین مغناطیسی میدان اساسبه زمین مغناطیسی میدان بر عالوه وسیله این اما

. در دارد حساسیت نیز فلزی ساختمانی مصالحاتاق محیط در که روبات برای آن از استفاده نتیجه

. بود نخواهد مفید چندان میکند حرکت

سنسورها کارائی گیری اندازه

سنسورها کارائی گیری اندازه

سنسورها کارائی گیری اندازه

واقعی محیط در کار مشکالت و نموده آنالیز کرده، درک را اطرافش محیط وضعیت باید متحرک روبات

. که واقعی محیط در گیری اندازه آما نماید بازگو ای استفاده قابل بنحوخواهد خطا دارای و مشکل است کاری است تغییر معرض در همواره

بود.: محیطی خطاهای و تغییرات از مثالی

نور شدت تغییرات سطوح توسط صدا یا نور جذب سطوح توسط انعکاس

و موقعیت به نسبت تعامدی حساست معرض در همواره روبات نتیجه در. بود خواهد محیط و روبات دینامیک

است سختی کار تصادفی خطاهای کردن مدل امکان شده کنترل های محیط برای تصادفی و سیستماتیک خطای تعریف

. است سخت بسیار متحرک روبات برای ولی است پذیر

خطا کردن مدل

محیط در روبات یابی مکان

One of the most basic abilities for a mobile robot is that of localization, i.e. to be able to determine its own position in the environment.

دارد وجود اینکار برای مختلفی روشهای Global Positioning System Dead-reckoning localization Triangulation Ranging ....

Dead-reckoning localization

داخلی سنسورهای از استفاده بر مبتنی روش اینسایر و انکدرها از استفاده با معموال و است

فریم به نسبت جهت و موقعیت تغییرات سنسورها. میشود گیری اندازه روبات مرجع

. لذا نمیشود دریافت محیط از فیدبکی معموال. دارد وجود روش این در خطا بروز احتمال

. است وسریع ساده روشی. میشود استفاده روشها سایر با ترکیب در معموال

Dead-reckoning localization

Dead-Reckoning

(0,0)

Dead-Reckoning

Accumulated error can be quite big for a period of time.

(x, y, α)

α(x+∆x, y+∆y, β)

β

Dead-Reckoning

A robot’s path as obtained by its odometry, relative to a given map.

موتور و چرخ انکدر

موتور و چرخ انکدر

جهت سنسور

مثل باشد داخلی میتواند جهت سنسورنما قطب مثل خارجی یا ژایروسکوپ

استفاده روبات چرخش مقدار گیری اندازه برایمیشود.

با میتوان سرعت اطالعات داشتن صورت در. آورد بدست را وقعیت از تخمینی گیری انتگرال

را فرایند .dead reckoningاین Dead reckoning is the process of estimating one's current position basedمیگیوند upon a previously determined position, or fix, and advancing that position

based upon known speed, elapsed time, and course .

نما قطب

ژیرسکوپ

Ground-Based Active and Passive Beacons

Introduction to GPS

What is GPSThe Global Positioning System (GPS) is a

worldwide radio-navigation system formed from a constellation of 24 satellites and their ground stations

GPS receivers use these satellites as reference points to calculate positions and time

Originally known as Navigation System with Timing And Ranging (NAVSTAR)

Global Positioning System (GPS)

Global Positioning System (GPS)

Global Positioning System (GPS)

GPS Error Budget

Source Uncorrected Error Level Ionosphere 0-30 meters

Troposphere 0-30 meters Measurement Noise 0-10 meters Ephemeris Data 1-5 meters Clock Drift 0-1.5 meters Multipath 0-1 meter Selective Availability 0-70 meters

فاصله های سنسور

فاصله سنسورهای

اولتراسونیک سنسور

اولتراسونیک سنسور

اولتراسونیک سنسور

اولتراسونیک سنسور

اولتراسونیک سنسور

Ultrasonic Sonar Sensor

استفاده با فاصله گیری اندازهلیزر از

برتری فاصله گیری اندازه برای لیزر از استفاده. دارد صوت از استفاده به نسبت زیادی های

نظر مورد سطح روی بر لیزری نور باریکه یکنوری ساز آشکار توسط آن بازتاب و شده تابانده

. میشود داده تشخیص نور برگشت و رفت برای الزم زمان روی از فاصله

. میشود زده تخمین و آینه شامل که مکانیکی سیستم یک از استفاده با

بصورت را محیط میتوان است یا 2موتور 3و. نمود ترسیم را محیط ونقشه کرده جاروب بعدی

استفاده با فاصله گیری اندازهلیزر از

Pulsed laser نوری بسته یک اولتراسونیک همانند روش این در

و رفت زمان و شده ارسال هدف سمت به . خواهد آن نیازمند اینکار میشود محاسبه برگشت

دقت با زمان تا . PSبود شود گیری اندازهPhase Shift و ارسالی نور بین فاز اختالف روش این در

. این عملی اجرای میشود گیری اندازه برگشتی. است تر ساده روش

استفاده با فاصله گیری اندازهلیزر از

Phase Shift Measurement

استفاده با فاصله گیری اندازهلیزر از

استفاده با فاصله گیری اندازهلیزر از

استفاده با فاصله گیری اندازهلیزر از

استفاده با فاصله گیری اندازهلیزر از

ای زاویه درجه 0.5رزلوشنحدود در عمق سانتیمتر 5رزلوشن

بین گیری اندازه قابل رنج است 5cm , 20 mو.180اسکن 5 میدهد انجام ثانیه در درجه

استفاده با فاصله گیری اندازهلیزر از

مشکالت نیست شیشه مثل شفاف اشیا تشخیص به قادر نور دریافت عدم باعث صیقلی ازاشیا نور برگشت

فاصله تشخیص عدم نتیجه در و گیرنده توسطمیگردد.

Triangulation Ranging

به هندسی خواص از استفاده با روشها این درمیپردازند فاصله گیری اندازه

و شده فرستاده محیط به نوری پترن یک معموالبا و میشود دریافت ای گیرنده توسط آن انعکاس

اندازه فاصله مشخص هندسی اطالعات داشتن. میشود گیری

Triangulation Ranging

Sensors based on this principle are used in range sensing up to 1 or 2 m, but also in high-precision industrial measurements with resolutions far below 1 μm.

Triangulation Ranging

Triangulation Ranging

Triangulation Ranging

حرکت و سرعت سنسورهای

مستقیما میتوانند که دارند وجود سنسورهائی. بگیرند اندازه را محیط و روبات بین نسبی حرکت

میکنند حرکت ها بزرگراه در که روباتهائی برایسنسورهای از تشخیص Dopplerاستفاده راه تنها

. میباشد اشیا و صوتی امواج دو هر از سیستمها این در

. میشود استفاده الکترومغناطیسی

حرکت و سرعت سنسورهای

سنج شتاب

استفاده با فاصله گیری اندازهشتاب از

جهت گیری اندازه

استفاده با فاصله گیری اندازهبینائی سنسور از

است آدمی حس قویترین بینائی. میرود بشمار نیز آدمی حس ترین پیچیده بینائی تصویر بعدی سه شیئ یک از دوربین یک توسط که هنگامی

فاصله یا عمق یعنی سوم بعد اطالعات میشود، برداری. شد خواهد تصویر بعدی دو بصورت شیئ

کار بعدی دو تصویر یک از سوم بعد اطالعات استخراج . نیست ای ساده

،استریو بینائی نظیر روشهائی یا triangulationاز وآوردن بدست برای میتوان فوکاس بر مبتنی روشهای

. نمود استفاده سوم بعد اطالعات

بینائی سنسورهای

Vision Sensors

CCD (light-sensitive, discharging capacitors of 5 to 25 micron )

CMOS (Complementary Metal Oxide Semiconductor technology )

Visual Range Sensors

داشته وجود اشیا اندازه مورد در اطالعاتی اگراندازه روی از فاصله گیری اندازه امکان باشد

. نیست چنین معموال ولی داشت خواهد وجود است مختلف تصویر چندین از استفاه کلی حل راه

. آید بدست نیاز مورد اضافی اطالعات تا : مختلف روش دو

Depth from focus/defocus پارامترهای اختالف از. میکند استفاده ها دوربین

Stereo vision. میکند استفاده ها دوربین دید اختالف از

طریق از فاصله گیری اندازهفوکاس/ فوکاسدی

طریق از فاصله استخراج روش این در اصلی ایده. است دوربین پارامترهای گیری اندازه

عمق گیری اندازه مسئله حل برای روش این در . میشود گرفته صحنه از تصویر چند یا و تصویردو

صفحه فاصله یا و کانونی فاصله در تصاویر اختالف. میباشد تصویر

طریق از فاصله گیری اندازهفوکاس

طریق از فاصله گیری اندازهفوکاس

گیری Sharpnessاندازه

Depth from defocus

با تصویر چند یا و دو صحنه یک از روش این در. میشود گرفته دوربین مختلف پارامترهای

بعدی سه تصویر از فاصله به مربوط اطالعات. میشود استخراج حاصل

فوکاسشده تصویر

دوربین مقابل در شی یک گرفته Pineholeاگر قرارنقطه یک شده فوکاس تصویر از x,yباشد،

با است F(x,y) تصویرآن برابر و شده داده نشان . میرسد تصویر به نقطه آن از که نوری شدت با

تابعpoint spread function تعریف زیر بصورتمیشود:

نقطه از شده تابش نور تصویر Pمقدار در شیدخالت فوکاس بدون تصویر در که شده فوکاس

میکند.

Point Spread Function

اینکه فرض نور blur circleبا شدت دارایتعریف زیر بصورت تابع این است یکنواختی

میشود:

Best reported result is 1.3% RMS error in terms of distance from the camera when the target is about 0.9 m away .

The key problems are the measurement of difference of blurring amount and the calibration of the mapping between depth and the difference of blurring.

Stereo Vision

Stereo Vision

با معکوس نسبت دارد disparityفاصله گرفت اندازه میتوان بیشتری دقت با را نزدیکتر اشیا

مقدارdisparity باb دارد مستقیم رابطه خطای مقدار یک با disparityبرای عمق گیری اندازه دقت ثابت

. bافزایش شد خواهد بیشتر افزایش با که دارد وجود امکان این یک bاما در فقط اشیا برخی

. شوند دیده تصویر یک تشکیل باشد، رویت قابل تصویر دو هر در که ای نقطه

دانستن conjugateزوج با که داد خواهد حاصله تصاویر درنام با خطی در میتوانیم یکی دیگری epipolarمحل بدنبال

محور. موازی خط این قبل شکل مثال در است. x بگردیم

Stereo Vision – the general case

بودن موازی فرض است ممکن کلی حالت در. نباشد صحیح دوربین دو اپتیکی محور

. میاید بدست کالیبراسیون طریق از دوران ماتریس مقادیر

We have 12 unknowns and require 12 equations:we require 4 conjugate points for a complete calibration.

Note: Additionally there is a optical distortion of the image

اساسی سوال

پیدا میتوان چگونه را تصویر دو در مزدوج نقاطکرد؟

How do we solve the correspondence problem?

روشZero Crossing of Laplacian of Gaussian

مزدوج نقاط یافتن برای متداول های تکنیک از یکیمیباشد.

Zero Crossing of Laplacian of Gaussian

سمت تصاویر در نقاطی یافتن برای است روشیانطباق هم با بخوبی و بوده پایدار که چپ و راست

. میکنند پیدا شده پیاده افزار سخت و افزار نرم در روش این

است.: میدهد تشکیل تصویر الپالسین را روش این هسته

Zero Crossing of Laplacian of Gaussian

تصویر یک برای را فوق رابطه بتوان اینکه برایتقریب کانولوشن یک با آنرا نمود محاسبه دیجیتال

میزنند:

kernel

مثال

Step / Edge Detection in Noisy Image

نویز حذف

اپراتور از استفاده با ابتدا نویز اثر کاهش برای. میاید بعمل سازی هموار تصویر روی گاوسی

filtering through Gaussian smoothing

مثال

بر الپالسین اعمالهموار تصویر رویبوجود باعث شده

و spikeآمدن مثبتها لبه محل در منفی

. شد خواهدb1 and b2: vertical edge filteredleft and right image;

filter = [1 2 4 -2 -10 -2 4 2 1]c: confidence image:

bright = high confidence (good texture)d: depth image:bright = close; dark = far

left images right images

edge filtered

confidence image depth image

Zero Crossing of Laplacian of Gaussian

کردن پیدا برای برای موثر بسیار ویژگی یکcorrespondence چپ و راست تصاویر بین

شده zero crossingمیتواند هموار تصویر الپالسینLoGباشد

Zero crossing پیکسل یک با برابر عرضی دارای. است محاسبه قابل تصاویر در بخوبی و است

Color Tracking Sensors

Motion estimation of ball and robot for soccer playing using color tracking

Representing Colors in an RGB Image

How do We Segment a “Single” Color?

We need to model it mathematically a priori

Simple RGB Color Segmentation

Grouping, Clustering: Assigning Features to Features