amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/user/4346/analystest.docx · web viewتجزیه...

49
ی ل عا ت مه س ب اری ی ت س ای د ق تی ار ها ن و م ر ا ت ی ف ی ک ود ب ه ن های وه ب) ش ها ن و م ر ل ا ی ل ح ت م: ی2 ظ ن5 ت و ه ی ه ن1

Upload: others

Post on 01-Jan-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

بسمه تعالی

شیوه های بهبود کیفیت آزمونهای ارتقایدستیاری

تحلیل آزمونها

تهیه و تنظیم: دکتر محمد برزگر–دکتر رضا غفاری

1

Page 2: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

مقدمه:

مدرس��ین و اس��اتید ن��ه تنه��ا نس��بت ب��ه تنظیم اه��داف آموزش��ی براس��اس برنام��ه درس��ی دانشجویان مسئولیت دارند بلکه برای طراحی و اجرای شیوه های مناسب و موثر ارزیابی

نیز جهت کمک به دانشجویان برای دستیابی به اهداف آموزشی مسئول می باشند. ارزیابی مطلوب دانشجویان از اجزای مهم فرایند ی��اددهی و ی��ادگیری محس��وب می ش��ود. که به منظور اندازه گیری سطح یادگیری فراگیران در هر یک از حیطه های دانش، نگ��رش و مهارتی و ب��ا ه��دف اخ��ذ تص��میم درب��اره برنام��ه آموزش��ی و در نه��ایت قض��اوت ارزش��ی

پیرامون آن صورت می گیرد.ارزشیابی پیشرفت تحصیلی را میتوان بصورت زیر تعریف کرد:

سنجش عملکرد یادگیرندگان و میزان یادگیری فراگیران در حیطه های مختل��ف ی��ادگیری و مقایسه نتایج حاصل با اهداف آموزشی از پیش تعیین شده که به منظور تص��میم گ��یری در ارتباط با اینکه آی��ا فعالیته��ای آموزش��ی مدرس��ین و تالش��های ی��ادگیری فراگ��یران ب��ه نت��ایج

مطلوب انجامیده است یا نه و به چه میزانی؟ بنابراین در هر برنامه آموزشی ارزیابی از جایگاه خاص��ی برخ��وردار ب��وده و می توان��د ک��ل

چرخه فعالیتها و فرایندهای آموزشی را تحت تاثیر خود قرار دهد.

تعریف آزمون:

آزمون وسیله اندازه گ�یری در آم��وزش و روانشناس��ی اس��ت. اگ��ر قب��ول ک��نیم ک��ه ان��دازه ان�دازه2 اطالق یک برچسب عددی برای یک مفهوم یا یک ش�ی می باش�د و س�نجش1گیری

گیری مبتنی بر یک هدف می باشد بنابراین آزمون را میت��وان ن��وعی س��نجش ب��رای ان��دازه گیری ویژگیهای روانی و رفتاری افراد دانست ک��ه ص��رفاً در آم��وزش و روانشناس��ی م��ورد

استفاده قرار می گیرد.

1 Measurement2 Assessment

2

Page 3: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

انواع آزمون:

در آموزش علوم پزش��کی آزمونه��ای مختلفی ب��ه منظ��ور ارزی��ابی س��طح دانش، نگ��رش و مهارت فراگیران طراحی و اجراء می شود همچنین با توجه به ویژگیهای آم��وزش پزش��کی که در آن عملکرد و توانمندی دانش آموختگ��ان مت��اثر از دانش، نگ��رش و مهارته��ای روانی حرکتی مناسب در کنار رفتار و اخالق حرفه ای مطلوب می باشد، طراحی آزمونه��ایی ک��ه بتواند همه ویژگیهای مورد اشاره را ارزیابی کند نیازمند کسب آگاهیهای دانش��ی و مه��ارتی

مربوطه می باشد. از ای��نرو ب��رای ارزی��ابی س��طح دانش محفوظ��اتی، دانش توص��یفی و س��طح توانمن��دی و عملکرد دانشجویان رشته های علوم پزشکی ابزارهای متعدد و مناسبی ط�راحی ش�ده ک�ه

( جمعبندی و ارائه میشود:1-1در اینجا برخی از آنها طبق جدول)

حوزه های مورد ارزیابیآزمونهای پیشنهادی رایجسطوح ارزیابیردیفمحفوظات و دانش نظریT/F,CRQ,MCQ,EMI,SAQدانش محفوظاتی1,Essay, Oral Examدانش توصیفی2

PMP(Linear, Branchial) مکانیسم ها و فیزیوپاتولوژی

بیماریها

توانمندی3OSCE, Long case, OSPE

مهارتهای بالینی )شرح حال و معاینات فیزیکی(، پروسیجرهای عملی،

توانایی برقراری ارتباط موثر، نگرش و تفسیر

اطالعات,Real Patientsعملکرد4

Under covered SP,Logs

نگرشها، اخالق پزشکی،تصمیم گیری و خود ارتقایی

مهارتهای استدالل5Puzzleبالینی

استدالل بالینی، تصمیمگیری، قضاوت بالینی

3

Page 4: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

تقسیم بندی آزمونها در آموزش علوم پزشکی آزمونها را بر حسب موارد و مقاصد مختلفی تقس��یم بن��دی می نماین��د ک��ه اهم آنه��ا را می

خالصه کرد :1-2توان براساس جدول انواع آزمونهامعیار تقسیم بندی آزمونها

ارزیابی آغازین.1- زمان برگزاری آزمون1ارزیابی تشخیصی.2ارزیابی تکوینی.3ارزیابی تراکمی.4

آزمونهای وابسته به مالک.1- مالک مورد قضاوت2آزمونهای وابسته به هنجار.2

آزمونه��ای بس��ته پاس��خ )عی��نی(- نوع سوال3 -)آزمونه����ای چن����د گزین����ه ای

جور کردنی(-صحیح /غلط آزمونهای باز پاس��خ )غ��یر عی��نی (

-3-کوت��ه پاس��خ ، 2- تش��ریحی، 1کامل کردنی

کتبی.1- نوشتاری4شفاهی.2کتبی- شفاهی.3

: تقسیم بندی آزمونها بر اساس معیارهای مختلف1-2جدول

4

Page 5: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

(Blue Print)جدول مشخصات آزمون

جدول مشخصات آزمون یا جدول طرح آزم��ون ج��دولی اس��ت ک��ه س��طوح ی��ادگیری را ب��ه محتوای درسی ربط داده و باعث می شود آزمون؛ سطوح مختلف محت��وا را ب��ه خ��وبی در برگیرد. در این جدول؛ تعداد سئواالت مربوط به هر یک از سطوح یادگیری، همچنین تع��داد سئوال تعلق گرفته به ه��ر مطلب درس��ی، در ه��ر س��طح مش��خص میش��ود. ب��ه ط��ور کلی جدول مشخصات، اهمیت نسبی و تعداد سئواالت مربوط به آن را بر اساس میزان اهمیت فوق تعیین می کند. حال این سئوال پیش می آید که س��طوح ی��اد گ��یری چیس��ت و چگون��ه

تعیین می شود؟سطوح یادگیری

هدفهای یادگیری در حوزه شناختی براساس طبقه بندی بلوم شامل شش سطح است ک��هاز ساده ترین به پیچیده ترین عبارتند از :

-6- ت��رکیب؛ 5- تجزیه و تحلی��ل؛ 4- به کار بستن؛ 3- فهمیدن؛ 2بازشناسی و یادآوری؛ -1ارزشیابی و یادآوری

برای رسیدن به هر سطحی از رشد فکری سپری کردن مراحل پیشین ضروری است ک��هبه صورت مختصر به شرح آن می پردازیم:

. پایین ترین سطح یادگیری، دانش است. در این سطح دانش��جو بای��دبازشناسی و یادآوری-1 بتواند از طریق بازشناسی و یادآوری شواهدی ارائه دهد حاکی از اینکه او پدی��ده ای را که در جریان آموزش تجریه کرده به خاطر سپرده است. یادگیری در این س��طح ص��رفا جنبه حفظی دارد. البته به خاطر سپردن مفاهیم و اصول را نمی توان به ط��ور کلی بی

اهمیت شمرد؛ زیرا الیه ای برای یادگیری در سطوح باالتر است. مثال: دانشجو بتواند بخشهای سیستم تحریکی هدایتی قلب را نام برده، نحوه فعالیت

الکتریکی قلبی را توضیح دهد . . یادگیری در این سطح عبارت است از توانایی پی بردن آنچ��ه می��ان آن مطلب ب��افهمیدن-2

مطالب دیگر ارتباطی برقرار کند. مث��ال : دانش��جو بتوان��د قس��متهای مختل��ف فع��الیت الک��تریکی قلب را ب��ا منح��نی

الکتروکاردیوگرام تطبیق دهد . . ی��ادگیری در این س��طح عب��ارت اس��ت از توان��ایی ک��اربرد اص��ول علمی،- به ک33ار بس33تن3

فرضیه ها، قضایا و دیگر مفاهیم انتراعی، در موقعیت مناسب بدون اینکه هیچ راه حلی ارائه شود.

مثال : دانشجو بتواند مش��خص کن��د در چ��ه بیم��ارانی اس��تفاده از الکتروک��اردیوگرام ب��هتشخیص کمک می کند.

5

Page 6: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

. در این سطح بر تجزیه مطالب به اجزای تشکیل دهنده آن و ی��افتن رواب��طتجزیه و تحلیل-4بین اجزا و نحوه سازمان یافتن آنها تاکید می شود.

مثال : دانشجو بتواند تغییرات پاتولوژیک الکتروکاردیوگرام را ب��ا اختالالت ب��الینی بیم��ارارتباط دهد.

. در این سطح یادگیرنده قسمتهایی از تجارب گذشته را ب��ا مط��الب جدی��د درترکیب-5هم آمیخته، آن را به صورت یک مفهوم کلی جدید بازسازی می کند .

مثال : دانشجو بتواند با تفسیر الکتروکاردیوگرام و با کمک عالئم بالینی بیمار، ن��وعبیماری فرد را مشخص کند.

. آخرین و ع��الیترین مرحل��ه ش��ناخت، ارزش��یابی اس��ت. در اینارزشیابی و یادآوری-6مرحله فراگیرنده، ناچار به اخذ تصمیم است.

مثال: دانشجو بتواند از بین شیوه های مختلف درمانی بهترین را انتخاب کند.برای تعیین سطوح این نکات را رعایت کنید:

الف( سطوح را به صورت رفتارهای قابل مشاهده بیان کنید .)توضیح دهید ، تعریف کنید ، به کار برید و غیره( در این صورت می توان بین کس��انی ک��ه می دانن��د ف��رق

گذاشت . دانش��جو بتوان��د عبارته��ای"ب( سطوح و اهداف را به صورت کلی بی��ان کنی��د. مثال:

غلط است، زیرا کلی نیست و بای��د" اپونوروز و تاندون را به طور صحیح تعریف کند ب��ه ص��ورت ت��ک ت��ک عب��ارت کلی"تان��دون" "آپون��وروز"ب��ه ج��ای ک��اربرد کلم��ات

دانش��جو" را به کار برد. یعنی جمله هدف به این صورت در می آی��د: ((اصطالحات))".باید بتواند اصطالحات را به طور صحیح تعریف کند

ج( سطوح و اهداف تعیین شده را به صورت مبهم بیان نکنید . به منظور طرح نهایی سئواالت به این نکات توجه کنید:

سطوح یادگیری و زمین��ه ه�ای محت�وا را براس��اس اهمیت مطلب و مق��دار زم�انی ک�ه-1صرف آموزش آن شده است،

تعیین کنید . به هر یک از موارد ب��اال )س��طح و محت��وا( ارزش��ی داده ض�ریب دهی��د. این ض��رایب در-2

درجه اول با قضاوت استاد براساس اهمیت موضوع و در درجه دوم با توجه ب��ه تع��دادصفحات و ساعات صرف شده و تاکید حین تدریس تعیین می شود .

با توجه به ضرایب داده شده ، تعداد پرسشهای آزمون را بین مباحث و سطوح تقسیم-3 کنید. این جدول در حکم پیش آزمون اس��ت. پس از تهی��ه آن س��عی کنی��د س��ئواالت را دقیقا براساس محتوا و سطح مشخص شده در جدول تهیه کنید. توفیق بیش��تر در این

کار؛ سبب برگزاری آزمون مناسبتر خواهد بود.

6

Page 7: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

نکات دیگری از قبیل طول آزمون، کیفیت سئواالت و دستورالعملها، ت��رتیب پرسش��ها،-4 چگونگی تصحیح و نمره گذاری، اصالح نم��رات، تفس��یر نت��ایج، اعالم نت��ایج و تغی��یر در

.آزمون را )در صورت نیاز ( مد نظر قرار دهید

مثالی از جدول طرح آزمون سطوح

دانش

موضوعات مورد(Aامتحان )

درک )تاکسونومییک(

باز خوانی

کاربرد)تاکسونومی دو(

درک و کاربرد

مرحله باالتر)تاکسونومی سه ( تحلیل و ترکیب و

قضاوت

جمع

xذهنیعینیذهنیعینیذهنیعینی-12-3-4-

yجمع

X در اینب�ه ی�ک موض�وع تعداد کل سئواالت مط�رح ش�ده در ه�ر س�طح را جم�ع( تعداد کل سئواالتY سئوال طرح شده است(.X, Aامتحان خاص راجع به موضوع

سئوال در حیطه دانش��ی ب��ه ش��کلYموجود در یک سطح یادگیری )در این امتحان عینی وجود دارد(.

مزایای استفاده از جدول طرح آزمون در این روش آزمون روا براساس هدفهای پرورشی و محت��وای درس��ی تهی��ه می ش��ود؛.1

زیرا در طرح آزمون هیچ نکته مهمی نباید از قلم بیفتد. ض��من اینک��ه الزام��ا نبای��د کلی��ه مط��الب ک��ه در کالس بحث ش��ده در آزم��ون گنجان��ده ش��ود. ب��ا اس��تفاده از ج��دول

مشخصات می توان به این هدف رسید. با وجود ج�دول ط��رح آزم��ون اهمیت و ض��ریب یکس��ان ب�ه قس�متهای مش�ابه داده می.2

شود. بدون استفاده از جدول، سئواالت فقط از قسمتهای آسان طرح می شود؛ زی��را راحت.3

تر می توان از این قسمتها سئواالت استخراج کرد. گاهی برای طرح ریزی آزمون به جای ج��دول مشخص��ات از چ��ک لیس��ت اس��تفاده می شود. در این روش باید در ذهن خود، به تعدادی سئوال در مورد محدوده طراحی ش��ده

7

Page 8: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

آزمون، وسعت محتوا، زمان و غیره پاسخ گوییم. سپس براساس پاسخ این سئواالت و مشورت ب�ا اف�راد متخص�ص آزم�ون ط��راحی گ�ردد. مثال : تاکی��د اص�لی چیس�ت؟ چن��د موضوع امتحان می شود؟ زمان هر موضوع چقدر اس��ت؟ وس��عت ه��ر موض��وع چق��در

است؟

تحلیل آزمون های چند گزینه ای آزمونه��ای چن��د گزین��ه ای ب��ا توج��ه ب��ه عی��نیت و پای��ایی ب��اال و ن��یز مقب��ولیت آن در بین دانشجویان و اساتید جایگاه خاصی در ارزیابی بویژه حیطه دانش در آموزش علوم پزشکی باز کرده است به طوریک��ه در ح��ال حاض��ر اک��ثر آزمونه��ای ج��امع در آم��وزش پزش��کی ب��ه صورت آزمونهای چند گزینه ای طراحی و اج��را می ش��وند از آنجائیک��ه ض��روری اس��ت این آزمونها نظیر سایر ارزیابی ها در راستای اه��داف آموزش��ی ت��دوین و م��ورد اس��تفاده ق��رار گیرد تاکید می شود که هر مدرس نیز باید قادر باشد در هنگام ارزشیابی س��واالت و تع��یینً ح��داقل نم��ره قب��ولی و تحلی��ل س��وال و آزم��ون ب��ا اس��تفاده از محاس��بات آم��اری شخص��ا اطالعات کافی داشته باشد. تحلیل آزمون های چن��د گزین��ه ای بس��ته ب��ه منظ��ور و مقاص��د نظام آموزشی می تواند به صور مختلفی صورت گیرد که از آن جمله می توان ب��ه تحلی��ل تک تک سواالت یک آزمون چند گزینه ای در مقابل تحلیل کل آزمون، تحلیل کمی در مقابل تحلیل کیفی و تحلیل قبل از برگزاری آزمون در مقایسه با تحلی��ل بع��د از اج��را و مش��خص شدن نم��رات اش��اره ک��رد. ک��ه در این مج��ال موض��وع م��ورد بحث تحلی��ل کمی س��واالت و

آزمونهای چند گزینه ای می باشد.تجزیه و تحلیل سوال

تجزیه و تحلیل سوال، فرایند بررسی نقادانه سواالت آزم��ون ب��وده، ه��دف آن شناس��ایی و کاهش منابع خطای اندازه گیری است. باید طراحان سوال بط��ور مس��تمر تجزی��ه و تحلی��ل سواالت را به عنوان معیار کیفیت و حذف سواالت غیرقابل قبول، جایگزین ساختن آنه��ا ب��ا

سواالت بهتر و نگه داشتن سواالتی که مالکهای مطلوب دارد، بکار گیرند.روش های تجزیه و تحلیل سواالت

روش های تجزیه و تحلیل سوال فوایدی را در بر دارد: که از آن جمله میتوان به موارد زیراشاره کرد:

منجر به افزایش کیفیت سواالت می شود..1در تهیه یک بانک سوال کارآمد مورد استفاده قرار می گیرد..2منجر به بهبود و ارتقای مهارتهای ما در تهیه آزمون می گردد..3 ارزش تشخیصی دارد به نحوی که با مشخص کردن نقاط قوت و ضعف دانش��جویان.4

در طراحی و تدوین فعالیتهای یادگیری در آینده کمک می کند.8

Page 9: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

مبنایی برای بحث در زمینه نتایج آزمون است..5 در صورتی که دانشجویان در این فرایند مشارکت داشته باش��ند و ی��ا نت��ایج تجزی��ه و.6

تحلیل سواالت به آنه��ا گفت��ه ش��ود، می توان��د ب��ه عن��وان ی��ک تجرب��ه ی��ادگیری م��ورداستفاده قرار گیرد.

ارائه بازخورد به دانشجویان همگان باید به این باور برسند که استاد، الزم است به عنوان بخشی از فرایند آم��وزش، در مورد تک تک سواالت آزمون با دانشجویان به بحث و گفتگو بپردازد. این امر موجب به ب��ار

آمدن نتایجی خواهد شد که می توان به ذکر موارد زیر پرداخت: خطاها و اشتباهات دانشجویان به ویژه آن کسانی که نتایج ضعیفی به دس��ت آورده ان��د ی��ا.1

مهارتهای مورد نظر را به درستی فرا نگرفته اند، اصالح می گردد.انگیزه دانشجویان برای کسب نتایج بهتر در آزمونهای بعدی افزایش می یابد..2 به وسیله این کار می توان به دانشجویان ش��یوه س��ازماندهی رفتاره��ا و عادته��ای مطالع��ه.3

کردن را براساس اهداف آموزشی آموخت. دانشجویان اجازه یابند تا در مورد علت انتخاب پاسخ صحیح بحث کنند که این امر ب��ه رف��ع.4

کج فهمی ها کمک می کند.

البته سواالتی که اینگون��ه م��ورد تجزی��ه و تحلی��ل ق��رار گیرن��د، دیگ��ر س��ری نخواهن��د ب��ود و بنابراین امکان کاربرد دوباره را از دست خواهند داد، اما با کمی توجه به مزایای بی ش��مار ارائه بازخورد به دانشجویان، برتری آن آشکار می گردد. عالوه بر آن ممکن است در مورد وقت زیادی که برای برگزاری چنین جلس��اتی بای��د ص��رف گ��ردد، نگ��ران ش��وید، ام��ا توج��ه نمایید که اطمینان از یادگیری درست و کامل مطالب قبلی بسیار مهم��تر از ارائ��ه مط��الب جدید است. تجزی��ه و تحلی��ل س��واالت ب�ه یکی از روش��های تجزی�ه و تحلی��ل آم�اری و ی�ا ب�ا استفاده از رویکرد قضاوتی قابل انجام اس��ت. در تجزی��ه و تحلی��ل ع��ددی بس��ته ب��ه توزی��ع پاسخ های هر سوال از روش های آماری مناسب استفاده می شود. بنابراین روش م��ذکور عمدتاً بر پایه اج�رای آزم�ون و تجزی��ه و تحلی��ل پس از اج��را مبت��نی اس�ت. در رویکرده��ای قضاوتی از برخی افراد خواسته می شود در مورد ویژگی های سوال و م��یزان انطب��اق آن با برخی معیارها )مالک ها( اعالم نظر نمایند. ممکن است این افراد از جمل��ه ص��احبنظران در زمینه محتوا، کارشناس یا از جمله ویراستاران و یا در زمره آزمون شوندگان باشند. در مرور بر مبنای داوری به دو مطلب مهم باید توجه داشت: اوال هر م��رور کنن��ده بای��د در آن وظیفه، صاحب صالحیت و شایستگی بوده، و از طرفی خود وظیفه نیز یک فرایند نظامدار

باشد، بدین معنا که روش انجام آن تعریف شده و مالکهای آن در دسترس باشد.رواسازی محتوای سواالت

9

Page 10: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

در این رواسازی محتوای آزم��ون، س��عی در جم��ع آوری دالی�ل و ش��واهدی مب�نی ب�ر روایی محتوای آزمون است، این امر در تش��خیص کیفیت آزم��ون کم��ک ش��ایان ت��وجهی می کن��د. ط��راح آزم��ون می توان��د از اطالع��اتی ک��ه از مطالع��ات نظ��ام دار ب��ه دس��ت آم��ده، ب��رای ارزشیابی و بهبود س��واالت اس��تفاده نمای�د. در رواس��ازی بای��د از ق�درت ارزی�ابی س��واالت الاقل در یکی از حیطه های محتوا اطمین�ان حاص�ل ک�رد. ب�رای رس�یدن ب�ه این اه�داف از تشکیل نشستهایی که با حضور کارشناسان برگ��زار می گ��ردد، در م��ورد م��یزان هم��اهنگی سوال با محتوا قض��اوت می ش��ود، بط��ور کلی ب��رای نظرخ��واهی از کارشناس��ان دو روش

کلی وجود دارد: الف( فهرستی از اهداف و سواالت از قبل جور شده، ب��رای نظرخ��واهی در اختی��ار داوران قرار داده می شود، به عبارت دیگر نویسنده هر سوال، آن را با یک ه��دف ی��ا حیط��ه وی��ژه مرتبط می سازد و نقش داور یا داوران آن است که وجود این ارتباط را تایید یا رد نماین��د. البته پرسش�نامه ایی مناس��ب ب�رای ثبت نظ�ر داوران م�ورد نی��از می باش��د ک�ه میت��وان از مقیاس بلی- خیر یا مقیاس ه��ای درج��ه بن��دی )درج��ه ای از هم��اهنگی و ارتب��اط( اس��تفاده

(10-1نمود. )فرم ً ب( در روش دیگر فقط اهداف و سواالت در اختیار داوران قرار می گیرد. هر داور شخصا به جور کردن سوال با یکی از اهداف اق��دام ک�رده، نظ��ر خ�ود را در ی��ک برگ�ه جم��ع آوری

(10-2اطالعات )مقیاس های درجه بندی( منعکس می کند.)فرم این قضاوتها به عنوان شواهد مربوط به روایی محتوا مورد توجه قرار می گیرد. برای بهتر شدن نتیجه کارشناسی ها میتوان از نشستهای ک��ور اس��تفاده نم��ود. در این روش مس��ئول طرح با استفاده از تلفن، پست یا شبکه ه��ای رایان��ه ای اق��دام ب��ه جم��ع آوری نظ��ر گ��روه داوری می نماید، این امر کمک می کند تا میزان تاثیرگذاری داوران یا فش��ار ایش��ان ب��رای متقاعد کردن یکدیگر تحت تاثیر مقام و موقعیت، مرتبه اجتم��اعی و ی��ا جاذب��ه شخص��ی ب��ه حداقل ممکن برسد. معموال جلب نظر چهار یا پنج داور برای هر سوال کافی اس��ت، البت��ه در صورت زیاد بودن تعداد سواالت می توان س��واالت را ب��ه چن��د بخش تقس��یم نم��ود و در مورد هر بخش نظر چهار یا پنج داور را جویا شد. در مواردی که نتیجه امتحان برای آزمون شوندگان حیاتی بوده امتحان دارای حدنصاب قبولی است، )مانند امتحانات جامع و پذیرش در مقاطع مختلف( بهتر است از نظر ده تا پانزده نف��ر داور اس��تفاده ک��رد. داوران بای��د در

زمینه مورد ارزیابی و نیز در جور کردن سواالت با اهداف، خبره باشند. : نمون3ه برگ33ه داوری ب3رای بررس3ی م3یزان هم3اهنگی س3واالت و10-1ف3رم

اهداف

نام ..............................................................

10

Page 11: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

راهنم��ایی: ه��دف ش��ماره ی��ک را در زی��ر بخوانی��د. س��پس اولین س��وال دفترچ��ه آزم��ون را مطالعه کرده به دقت به میزان هماهنگی سوال با مهارت مرب��وط توج��ه کنی��د. ب��ه منظ��ور

درجه بندی میزان هماهنگی از الگوی زیر پیروی نمایید.1با درجه هماهنگی زیاد =

2با درجه هماهنگی متوسط = 3با درجه هماهنگی کم یا نامشخص =

اگر نظریه خاصی راجع به هماهنگی این سوال دارید، در محل مخص��وص بنویس��ید. پس از پایان قضاوت در مورد یک سوال، به سراغ سوال دوم رفت��ه ب��ه همین نح��و در م��ورد تم��ام

سواالت قضاوت نمایید.هدف شماره یک:

دانشجو باید بتواند کاربرد داروهای ضدفشارخون را در مورد درجات مختلف بیم��اری ش��رحدهد.

درجه بندی نظریه س���������������������������������������������������������������������������������������������������������������������وال

1 ....................................... ...................................

س���������������������������������������������������������������������������������������������������������������������وال2.................................. ...................................

..... س���������������������������������������������������������������������������������������������������������������������وال

3 ....................................... ...................................

س���������������������������������������������������������������������������������������������������������������������وال4................................... ..................................

.... س���������������������������������������������������������������������������������������������������������������������وال

6 ....................................... ...................................

س���������������������������������������������������������������������������������������������������������������������وال9

....................................... ...................................

هدف شماره دو:

11

Page 12: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

دانشجو بتواند برای انواع مختلف سرطان، دارو درمانی مناسب را پیشنهاد نماید.درجه بندی نظریه

س���������������������������������������������������������������������������������������������������������������������وال3................................... ..................................

.... س���������������������������������������������������������������������������������������������������������������������وال

5 ....................................... ...................................

س���������������������������������������������������������������������������������������������������������������������وال10...................................... .................................

س���������������������������������������������������������������������������������������������������������������������وال11...................................... .................................

12

Page 13: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

نمونه برگه داوری در زمینه هماهنگی سواالت با اهداف10-2فرم

جور کردن سواالت/اهدافنام مرور کننده ....................................................

محتوای مورد نظر: نخست، فهرست تم��ام حیط��ه ه��ای اختصاص��ی م�ورد نظ�ر و س��واالت آزم�ون را بخوانی�د. وظیفه شما آن است که مشخص کنید آیا هر سوال یکی از حیطه های مورد نظر را اندازه گیری می نماید یا خیر. این امر به شرطی است که شما احساس کنید پاس��خ دهی آزم��ون شونده به یک سوال بیانگر سطح خاصی از عملکرد در حیطه مورد نظر است. در کنار ه��ر هدف، شماره سواالتی را که فکر می کنید اندازه گیری آن ه��دف خ��اص اس��ت، یادداش��ت نمایید و احتماالً در برخی از موارد، شما احساس می کنید که سوال هیچ یک از حیطه ه��ای

مورد نظر را اندازه گیری نمی نماید، شماره چنین سواالتی را در پایان برگه بنویسید.هدف سواالت جور شده

1234

پاسخ به هیچ هدفی مربوط نیست

کمی سازی نظر داوران پس از جمع آوری مناس��ب داده ه��ای مرب��وط ب��ه ارزش��یابی داوران اطالع��ات مزب��ور بای��د تجزیه و تحلیل و سپس تفسیر گ�ردد. ط��راح ازم�ون بای�د از تواف�ق نظ�ر داوران در زمین�ه انطباق سوال با اهداف کامال مطمئن گردد. مثالً اگر پنج داور وج��ود دارد، چه��ار تن از آنه��ا باید توافق داشته باشند یا در صورت استفاده از ده داور باید هشت تن آنها موافق باش��ند. همچنین در تجزی��ه و تحلی��ل س��وال می ت��وان از جلس��ات غ��یر رس��می و پرس��ش از اف��راد مناسب برای اطمین��ان از روایی ظ��اهری و محت��وایی س��واالت به��ره گ��رفت. مثأل از س��ایر همکاران شاغل در گروه آموزشی یا گروهی مشابه با افرادی که قرار است م��ورد آزم��ون قرار گیرند، میتوان خواست در مورد سواالت قضاوت کنند. مثأل به سواالت باز ذی��ل پاس��خ گویند: به نظر شما، آیا این سوال دانشجو را گیج می کند؟ آیا گزینه های غلط باور ک��ردنی

13

Page 14: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

است؟ آیا کلمات استفاده شده با توجه به سن و مرتبه دانش��جو قاب��ل فهم می باش��د؟ آی��انمودارها و تصاویر واضح است؟

البته این روش مشکالتی را دربردارد که دشواری برپایی و اداره چ��نین جلس��اتی، از جمل��ه آنهاست. همچنین پیدا کردن گروهی مشابه با افراد آزمون ش��ونده ب��ه نح��وی ک��ه س��واالت فاش نشود، بسیار مشکل است. گرچه چنین مش��کالتی وج��ود دارد، اس��تفاده از این روش

بسیار ارزشمند است.

روشهای آماری تجزیه و تحلیل سواالت برخی از روشهای آماری که در تجزیه و تحلی��ل س�واالت قاب��ل اس��تفاده اس��ت، در این مبحث

( شاخصهای مذکور را به سه دس��ته1986مورد بررسی قرار خواهد گرفت. کروکر و آلیژینا )تقسیم نموده اند:

شاخصهایی که بیان کننده چگونگی توزیع پاسخهای یک سوال است )میانگین و واریانسهای.1پاسخهای هر سوال(

شاخصهایی که درجه ارتباط بین پاسخ به هر سوال و برخی مالکهای مورد نظر را توص��یف.2می کند.

شاخصهایی که به صورت همزمان، بیان کننده واریانس سوال و ارتباط سوال با ی��ک مالک.3است.

توصیف نمرات آزمون امتیازی که پس از تصحیح برگه امتحانی به دانشجو داده می شود، نمره خام نام دارد ک��ه ب��ه خودی خود ارزشی ندارد، چون اوأل اطالعات زیادی راجع به استاندارد بودن یا نب��ودن امتح��ان بدست نمی دهد، ثانیأ قادر به نشان دادن درجه قوت و ض��عف دانش��جویان نیس��ت. ب��رای ب��ه دست آوردن چنین آگاهی هایی احتیاج به توصیف نمرات آزمون است. برای توص��یف نم��رات

آزمون می توان اندازه گیری های زیر را انجام داد:

الف( محاسبه انحراف معیار آزمون انحراف معیار، معدل فاصله نمرات از نمره میانگین است و می�انگین نم�رات حاص�ل تقس�یم مجموع نمرات بر تعداد آنها می باشد. برای ب��ه دس��ت آوردن انح��راف معی��ار، پس از م��رتب

پ�ایینی آن را مش�خص ک�رده، ب�ا 6/1باالیی نمرات و 6/1کردن نمرات به ترتیب ارزش آنها استفاده از فرمول زیر انحراف استاندارد بدست می آید:

باالیی 6/1پایینی - حاصل جمع 6/1 حاصل جمع

14

Page 15: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

معیار = انحراف نصف تعداد دانشجویان

دانشجو را در آزمونی به ترتیب زیر در نظر بگیرید: 30مثال: اگر نمرات 14-15-15-17-18-18-20-20-21-22-23-23-23-25-25-26-27-27-28-30-30-30-31-32-33-33-

35-36-36-37177=33+35+36+36+37باالیی = 6/1حاصل جمع 79= 18+17+15+15+14پایینی = 6/1 حاصل جمع

53/6 عدد از نمرات است، بنابراین انحراف معیار برابر : 5 نمرات برابر 6/1 اگر انحراف معیار بزرگ باشد نشان می دهد که آزم�ون توانس�ته اس�ت آزم�ون ش��وندگان را بهتر طبقه بندی کند، ولی اگر انحراف معیار کوچک باشد بیان کننده ع��دم توان��ایی آزم��ون در نشان دادن تفاوت بین امتحان شوندگان است. آزمونی مناسب است ک��ه منح��نی نم��رات آن به شکل زنگوله ای متقارن باشد. در این منحنی، میانگین نمرات در مرکز ان در نظ��ر گرفت��ه

+1شده و واحدهای محور افقی براساس انحراف معیار محاسبه می شود به این مع��نی ک��ه + دو برابر انحراف معیار و .... در این منحنی اک��ثریت نم��رات، نزدی��ک2برابر انحراف معیار

نمره میانگین متمرکز بوده و هر چه از میانگین، دورتر شود تراکم نمرات ان منطق��ه ک��اهش + انحراف معی��ار،1 تا 0 درصد انها از 34می یابد. در یک منحنی توزیع طبیعی از کل نمرات

% درصد بیشتر13+ انحراف و 3+ تا 2 درصد از 2+ انحراف معیار و 2+ تا 1 درصد از 14 + قرار می گیرد . به همین ترتیب در مورد اعداد سمت چپ منحنی صدق می کن��د. پس3از

2می توان گفت امتحانی دارای توزیع طبیعی است که تقریباً درص��د( نم��رات مح��دوده68 ) 3

میانگین یک انحراف استاندارد قرار گیرد .

که میانگین است را به عنوان نقطه ص��فر منح��نی در6/25مثال : در امتحان مثال قبل نمره )دو انح��راف06/13 )ی��ک انح��راف معی��ار (و 53/6نظر می گیریم و از هر طرف ب��ه ان��دازه

)سه انحراف معیار ( پیش می رویم.59/19معیار ( و

15

Page 16: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

روش دیگر برای محاسبه انحراف معیار با توجه به فرمولهای زیر نیز می توان انحراف استاندارد را محاسبه کرد :

∑√ انحراف معیار = (X−X )2

n

∑ انحراف معیار = X2−(∑ X )2

N

X ;نمره هر دانشجو =Xمیانگین نمرات دانشجویان =

∑ x2 ;مجموع مجذور نمرات دانشجویان = (∑ X = مجذور جمع نمرات دانشجویان2(

n.تعداد کل دانشجویان =

تعریف و انواع روایی

روایی اصطالحی است که به هدفی که آزمون برای تحقق بخشیدن به ان درست شده است اشاره می کند . به سخن دیگر ، آزمونی دارای روایی است که برای اندازه گیری انچ��ه م��ورد نظ��ر اس��ت مناس��ب باش��د ب��رای مث��ال ، ی��ک آزم��ون پیش��رفت تحص��یلی فیزیولوژی سال سوم در صورتی یک آزمون رو است که محت�وا و ه�دفهای آن درس را به خوبی اندازه گیری کند و بجز یادگیری دانشجویان از ان درس چیز دیگری را ش��امل نباشد. به عنوان مثالی دیگر از روایی ، یک آزمون هوشی روا، آزم��ونی اس��ت ک��ه تنه��ا هوش افراد را اندازه گیری کند نه چیز دیگری را . بنابراین، یک آزم�ون ممکن اس��ت از جهتی روا باشد اما از جهاتی دیگر روا نباشد. پس، روایی یک امر نس�بی اس��ت ن��ه ی��ک

ویژگی که هست یا نیست. آزمونهای مورد استفاده در دانشگاه و روانشناسی دارای سه هدف عمده هستند که به

سه پرسش زیر پاسخ میدهند: ایا سئوالهای آزمون از محتوای درس یا موضوع مورد نظر یک نمونه خوب ارائ��ه-1

می دهند؟آیا نمرات آزمون، عملکرد فعلی یا آتی دانشجویان را پیش بینی می کنند؟-2 آیا نمرات آزمون، با مفاهیم نظری یا سازه هایی که ب��رای س��نجش آنه��ا درس��ت-3

شده است مربوطند؟

16

Page 17: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

سه مورد باال به ترتیب سه ن��وع روایی محت��وایی، مالکی، و س��ازه را نش��ان می دهن��د.حاال به معرفی این روایی ها می پردازیم.

روایی محتوایی

روایی محتوایی به این مطلب اشاره می کند که نمونه سئوالهای مورد استفاده در ی��ک آزمون تا چه حد معرف کل جامع��ه س��ئوالهای ممکن اس��ت ک��ه می ت��وان از محت��وا ی��ا موضوع مورد نظ��ر تهی��ه ک��رد .ه��ر چ��ه آزم��ون از این لح��اظ به��تر باش��د، دارای روایی بیشتری است. بنابراین اگر استاد درس آناتومي تنه بخواهد برای درس خود یک آزمون پیشرفت تحصیلی روا بسازد، آزمون او باید در برگیرن��ده نمون��ه ای درس��ت و دقی��ق از مطالب آناتومي تنه باشد که به دانشجویان آم��وزش داده اس��ت در ض��من، این آزم��ون

نباید چیزی خارج از محتوا و هدفهای درس آناتومي تنه را اندازه گیری بکند. با توجه به توضیحات باال، برای ساختن آزمونهای پیشرفت تحصیلی روا، باید بکوشیم تا سئوالهای آزمون نمونه کاملی از هدفها و محتوا درس باشند. جدول مشخصات آزمون

بهترین روش برای انجام چنین کاری است.روش تعیین روایی محتوایی

برای تعیین روایی محتوایی یک آزمون از قضاوت متخصصان و بررسي م��يزان پوش��ش و تناسب سواالت با اهداف آموزشي استفاده ميشود در این باره که س��ئوالهای آزم��ون تا چه میزانی معرف محتوا و هدفهای برنامه هستند. با این حال، قضاوتهای مرب��وط ب��ه روایی محتوایی نه قطعی هستند و نه نه��ایی، چ��را ک��ه متخصص��ان در قض��اوتهای خ��ود

همیشه با هم توافق نظر ندارند . :روشهاي پيشنهادي براي كمي سازي محاسبه روايي محتوايي

الف: بعد از ط��راحي و انتخ��اب نه��ايي س��واالت، م��يزگردي ب��ا حض��ور خبرگ��ان محت��وا )افراديكه هم واقف به محتوا و اهداف آموزشي گروه هدف ب��وده و هم ب��ه نقش ه��ا و

تش��كيل و ت��ك ت��ك س��واالت وظايف حرفه اي آنان پس از ف��راغت از تحص��يل اگاهن��د( بشرح زير مورد وارسي قرار داده ميگیرند:

سوال هم ضروري وهم مفيد ......) يك( امتياز(1 سوال غير ضرور ولي مفيد ........) نيم( امتياز(2سوال غير ضرور و غير مفيد......) صفر( امتياز(3

به هركدام از سواالت طراحي شده بر حسب سه شاخص فوق ميانگين امتياز نظ��رات خبرگان محاسبه شده و س��پس مي��انگين امتي��از ك��ل آزم��ون ن��يز ب��ا محاس��به مي��انگين

17

Page 18: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

((LAWSHEسواالت بدست مي آيد به ميانگين حاصله ضريب روايي محتوايي از ديدگاه اطالق ميشود

ب: در گام بعد با ترسيم جدول تناسب و پوش��ش، بش��رح زي��ر م��يزان ارتب��اط ت��ك ت��ك سواالت به سرفصل هاي آموزشي )اه��داف آموزش��ی عم��ومي( و ن��يز م��يزان پوش��ش

محتوا توسط سواالت محاسبه ميشود: به هر سوال كه حداقل به يكي از سر فصلها يا اهداف آموزشي عمومي مربوط(1

باشد يك امتياز تعلق مي گيرد ) نگاه سطر به ستون ( و سپس مي��انگين س��طحتناسب كل سواالت آزمون محاسبه ميشود.

در ف��از بع��دي ودر ارزي��ابي س��تون ب��ه س��طر مالحظ��ه ميش��ود ك��ه ه��ر ك��دام از(2 سرفصلهاي مورد نظر با حداقل يك سوال پوشش داده ش�ده ي�ا خ�ير، بطوريك�ه در موارد مثبت يك امتياز به آن منظ��ور نم��وده و نهایت��ا مي��انگين س��طح پوش��ش

محتوايي را محاسبه مي كنيم. در گام سوم ميانگين اع�داد حاص�له از دو مرحل�ه قبلي را بعن�وان ض�ريب روايي(3

(( محاس��به مي نم��اييم و ب��االخره ب��ا محاس��بهMESSICKمحت��وايي از دي��دگاه ميانگين ضريب روايي محتوايي ب�ا ه��ر دو ش��يوه ف��وق ال�ذكر مق�دار كمي روايي محتوايي آزمون بدست خواهد آمد كه در آن هم نظر خبرگان محتوا و هم م��يزان

( س��واالت و هم م��يزان پوش��ش محت��وا و اه��داف آموزش��يRelevancyتناس��ب ) ( استفاده شده است و ميتواند نماي��انگر مق��دار قاب��لCoverageتوسط سواالت )

اعتمادي ب�ر م�يزان روايي محت�وايي آزم�ون باش�د .ب�ه ه�ر ح�ال بايس�تي پس از طراحي سواالت و محاسبه ضريب نهايي روايي محتوايي آزمون اگر ع��دد نه��ايي

( باشد بايستي با اصالح س��واالت و ي�ا اض��افه ك�ردن ب�ه7/0كمتر از نصف دهم)تعداد آنها ضريب روايي محتوايي را ارتقا داد.

روایی صوری

روایی ص��وری یکی از مش��تقات روایی محت��وایی اس��ت . روایی ص��وری ب��ه این مطلب اشاره می کند که سئوالهای ازمون تا چه حد در ظاهر شبیه ب��ه موض��وعی هس��تند ک��ه برای اندازه گیری آن تهیه ش��ده ان��د. در واق��ع روایی ص��وری ه��ر چن��د ک��ه ی��ک وی��ژگی مطلوب آزمون است ولی در بعضی از آزمونها این ویژگی نشانگر تناسب بین ش��کل و س��اختار آزم��ون ب��ا اه��داف آموزش��ی اس��ت مثال آزم��ون چن��د گزین��ه ای ب��رای ارزی��ابی

مهارتهای ارتباطی دانشجویان روایی صوری ندارد.

18

Page 19: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

روش تعیین روایی صوری

از آنجا که روایی صوری نوع خاصی از روایی محتوایی اس��ت، هم��ان روش��ی ک��ه ب��رای تعیین روایی محتوایی به کار می رود یعنی اس��تفاده از نظ��ر متخصص��ان، در اینج��ا ن��یز

برای تعیین روایی صوری قابل استفاده است.روایی مالکی

منظور از روایی مالکی میزان ارتباط بین نمرات حاصل از یک آزمون یا وس��یله ان��دازه گیری دیگر است. بنابراین هر زمان که نمرات یک آزم��ون را ب��رای پیش بی��نی عملک��رد افراد در آزمونی دیگر استفاده می ک��نیم، ب��ا روایی مالکی س��روکار داریم. آزم��ون دوم

که عملکرد فرد در آن پیش بینی می شود مالک نام دارد. گاهی این پیش بینی برای آینده است، یعنی نمرات آزمونی که به صورت مالک ب��ه ک��ار خواهد رفت پس از گذشت یک فاصله زمانی از اجرای آزمون اول گردآوری خواهد شد که به آن روایی پیش بینی گفته می ش��ود، و زم��انی این پیش بی��نی ب��دون فاص��له و در

زمان حال صورت می پذیرد که به آن روایی همزمان می گویند. هر قدر رابطه بین نمرات ازمونی که می خواهیم روایی مالکی آن را بسنجیم با نمرات آزمون مالک بیشتر باشد ضریب روایی مالکی آن آزمون به همان نسبت بیش��تر خواه��د بود. زمانی که آزمون مورد نظر ما قرار است برای پیش بینی به کار برود ب��ا محاس��به رابطه بین نمرات حاصل از آن آزمون و نمرات آزمونی که با فاصله ای در آین��ده اج��را خواهد شد تعیین می گردد. اما زمانی که می خواهیم از نمرات یک آزم��ون ب��رای پیش بینی نمرات افراد در یک آزمون ی��ا مقی��اس ان��دازه گ��یری دیگ��ر اس��تفاده ک��نیم رابط��ه

همزمان بین دو دسته نمره را محاسبه می کنیم.روایی پیش بینی

چنانچه گفته شد، روایی پیش بینی ویژه آزمون هایی است که برای پیش بینی موفقیتافراد در امور تحصیلی یا شغلی به کار می روند.

روش تعیین روایی پیش بینی

برای تعیین روایی پیش بینی یک آزمون، دو آزمون ضروری هس��تند. ض��ریب همبس��تگی بین نمرات حاصل از این دو آزمون شاخص روایی پیش بینی آزمون مورد نظ��ر اس��ت. هر چه این ضریب بزرگتر باشد، آزمون دارای روایی بیشتری خواهد بود، و ه��ر چ��ه این

ضریب کوچکتر باشد آزمون مورد نظر روایی کمتری خواهد داشت.روایی همزمان

19

Page 20: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

روایی همزمان نوعی روایی پیش بینی اس��ت ک��ه در آن ب��ه ج��ای تع��یین رابط��ه بین دو آزمون پس از گذشت یک فاصله زمانی ، رابطه بین دو آزمون به طور همزم��ان تع��یین می شود . هدف از تعیین روایی همزمان بین دو آزمون این است که معلوم سازیم آی��ا

می توان یکی از دو آزمون را به جای آزمون دیگر مورد استفاده قرار داد یا نه . ، هنگ��ام ان��دازه گ��یری متغ��یر پیش بین، عالوه ب��ر اینروش تعیین روایی همزمان

متغیر، متغیر دیگری نیز موجود است، در حالی که در تع��یین روایی پیش بی��نی، چنانک��هدیدیم، متغیر مالک در آینده اندازه گیری می شود.

روایی سازه

روایی س��ازه بیش��تر از روایی محت��وایی و روایی پیش بی��نی جنب��ه نظ��ری دارد. بن��ا ب��ه تعریف، یک آزمون در صورتی دارای روایی سازه است که نمرات حاصل از اج��رای آن به مفاهیم یا سازه های نظریه مورد نظ��ر مرب��وط باش��ند. ب��رای مث��ال، ی��ک آزم��ون ی��ا پرسشنامه هوش در صورتی دارای روایی سازه است که نمرات حاصل از آن به سازه هایی که در نظریه های ضریب هوشی آمده اند ارتباط داشته باشند. ب��ه عن��وان مث��الی دیگر، یک آزمون خواندن و فهمیدن )درک مطلب( در صورتی دارای روایی سازه اس��ت که نمرات آن مستقیما به میزان درک و فهم دانش��جویان از مط��الب خوان��دنی مرب��وط

باشد. ( س��ازه را این گون��ه تعری��ف1965معنی سازه به معنی مفهوم نزدیک است کرلینجر )

کرده است: سازه یک مفهوم است اما یک معنی اضافی ب��ر مفه��وم ن��یز دارد و آن این است که سازه برای مقاصد ویژه علمی به طور عمد و از روی آگاهی ابداع می ش��ود.

انگیزش، اضطراب، پیشرفت تحصیلی، برون گرایی، و جز اینها را نام برد. روش تعیین روایی سازه

برای تعیین روایی سازه نخست بای�د س�ازه ی�ا متغ�یر م�ورد نظ�ر را تعری�ف ک�رد . این متغیر به صورت یک سازه در نظامی از مفاهیم قرار خواهد داشت که در ان نظام این سازه به طریقی منطقی، ب��ا س��ازه ه��ای دیگ��ر در رابط��ه خواه��د ب��ود . این رواب��ط در نظریه به خصوصی بیان شده ان��د پس از تعری��ف ک��ردن س��ازه ب��رای ان��دازه گ��یری آن آزمونی تهیه می شود، سپس با توجه به پیش بینی های نظری��ه، نم��رات حاص��ل از این آزمون باید با متغیرهای دیگر مورد بحث در نظریه روابط پیش بی��نی ش��ده نش��ان داده شود. اگر وجود این روابط محرز شد. آزمون مورد نظر دارای روایی سازه است ب�رای

تعیین روایی سازه می توان راههای مختلف زیر را مورد استفاده قرار داد: تعیین همبستگی آزم��ون ب��ا س��ایر آزم��ون ه��ای روا. یکی از راهه��ای تع��یین روایی-1

سازه این است ک��ه همبس��تگی بین نم��رات آزم��ون م��ورد نظ��ر را ب��ا ی��ک آزم��ون20

Page 21: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

موجود دارای روایی که ب��رای هم��ان س��ازه س��اخته ش��ده اس��ت تع��یین ک��نیم اگ��ر آزمون جدید با آزمون موجود همبستگی زیادی داشته باش��د، ف��رض می ش��ود ک��ه این دو آزمون سازه واحدی را اندازه می گیرند و در نتیجه آزمون جدید ن��یز ب��رای سازه مورد نظر یک آزمون رواست. به این ن��وع روایی، روایی همگ��را می گوین��د. از سوی دیگر، آزمون مورد نظر باید با آزمون های دیگری که سازه های متف��اوتی را اندازه گیری می کنند همبستگی نداشته باشد این گونه روایی را روایی واگرا یا

روایی تمیزی می نامند . تحلیل عامل. راه دیگر تعیین روایی سازه استفاده از تحلیل عاملی اس��ت. تحلی��ل-2

عامل یک روش پیشرفته آماری است که از طریق آن تعداد و م��اهیت متغیره��ایی را که یک آزمون اندازه می گیرد مشخص می کنند. این روش روابط درونی می��ان داده های مورد تحلیل را تعیین می کند و برای ایجاد سهولت متغیرها را به خوش��ه ها یا عوامل کاهش می دهد بعد این خوشه ها یا عوام��ل را ب��ا توج��ه ب��ه انچ��ه ب��ه وسیله سئوالهای آزمون اندازه گیری می شوند. نام گ��ذاری می کنن��د . بن��ابراین ، یک آزمون را می توان برحسب ع��واملی ک�ه آن را تش��کیل می دهن��د ن��ام گ��ذاری کرد. مثال اگر یک آزمون برای اندازه گیری سازه آفرینندگی درس��ت ش��ده اس��ت،ترکیب عاملی ان آزمون باید نشان دهنده عوامل آفرینندگی در آن آزمون باشد .

همسانی درونی. آخرین روش تعیین روایی س��ازه ک��ه در اینج��ا مع��رفی می ش��ود-3 همس��انی درونی اس��ت. در این روش، س��اخت درونی آزم��ون بررس��ی می ش��ود. مالک مورد استفاده برای بررسی همسانی درونی نمره ک��ل آزم��ون اس��ت. روش معمول برای این کار این است که همبستگی بین نمرات آزمونهای فرعی یا خرده آزمونها با نمره کل آزمون محاسبه می شود، خ��رده آزمونه��ایی ک��ه ب��ا نم��ره ک��ل آزمون همبستگی اندکی داشته باشند از آزمون حذف می شود. در ض��من، خ��رده آزمونها نباید با یکدیگر همبستگی زیادی داشته باشند، زیرا در چنین ح��التی ف��رض می شود که همه آنها یک چیز اندازه می گیرند و لذا تکراری هستند. به جای خرده آزمونها، از ماده ها یا سواالت آزمون نیز می توان استفاده ک��رد. در این ص��ورت،

همبستگی میان ماده های آزمون با کل آزمون و با یکدیگر محاسبه می شود.عوامل موثر بر روایی آزمون

عوامل مختلفی وجود دارند که بر روایی آزمون ها تاثیر می گذارند و بنابراین با کن��ترل آنها می توان سطح روایی یک آزمون را افزایش داد. این عوامل را میتوان به دو دسته

عوامل درونی و عوامل بیرونی معرفی کرد:عوامل درونی موثر بر روایی آزمون

21

Page 22: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

یکی از عواملی که بر روایی آزمون تاثیر بسزایی دارد کیفیت سئوالهای آزمون اس��ت . سئوالهایی که طبق قواعد درست سئوال نویسی تهیه شده باشند به روایی آزمون می افزایند و برعکس سئوالهایی که از هر لح��اظ مش��کل داش��ته باش��ند ب��ه روایی آزم��ون لطمه می زنند و عالوه بر این هر کدام از سئوالهای آزمون که از ه��دف اص��لی آزم��ون جدا می افتد و چیزی ج��دا از آن را ش��امل می ش��ود ن��یز ب��ه س��هم خ��ود از روایی ک��ل

آزمون را می کاهد. عامل درونی دیگ��ری ک��ه ب��ر روایی آزم��ون ت��اثیر دارد، ت��رتیب ق��رار گ��رفتن س��ئوالهای آزمون به دنبال یکدیگر است قرار دادن سئوالهای بسیار دشوار در آغ��از آزم��ون ممکن است باعث شود که پاسخ دهن��دگان ب��ه آزم��ون نتوانن��د وقت خ��ود را ب��رای بخش ه��ای مختلف آزمون به درستی تقسیم کنند همچنین اگر سئوالهای مختل��ف آزم��ون از لح��اظ درجه دشواری متنوع نباش��ند . روایی آزم��ون ص��دمه می بین��د آزم��ون ه��ایی ک��ه دارای مجموعه سئوالهای بسیار دشوار یا بسیار س��اده ان��د از س��طح روایی خ��وبی برخ��وردار نیستند باز هم از عوامل دیگر موثر بر روایی طول یک آزمون یا تع��داد س��ئوال ه��ای آن

است.عوامل بیرونی موثر بر روایی آزمون

عالوه بر عوامل درونی ، چندین عامل بیرونی نیز وجود دارند ک��ه ب��ر روایی آزم��ون ه��ا تاثیر می گذارند . و برای افزایش دادن سطح روایی یک آزمون می توان آنها را کن��ترل کرد. یکی از این عوامل بیرونی اجرای نامناسب آزمون است. راهنم�ایی ه�ا ی�ا دس��تور العمل گیج کننده،کمبود زمان، فضای نامناسب، مکان نامناسب، و ج��ز اینه��ا از عوام��ل اج��رایی هس��تند ک��ه ب��ر عملک��رد آزم��ون ش��وندگان و در نتیج��ه ب��ر روای آزم��ون ت��اثیر نامطلوبی به جای می گذارند . عالوه بر اجرای نامناسب آزم��ون، اش��کاالت موج��ود در تصحیح پاسخ های آزمون شوندگان و نمره گذاری آنها به ویژه در آزمون های تشریحی

می تواند نتایج حاصل را مخدوش ساخته و لذا از روایی آزمون بکاهد. عامل دیگر موثر بر روایی آزمون ترکیب آزمون شوندگان از لحاظ توانایی مورد اندازه گ��یری اس��ت. ه��ر چ��ه گ��روه آزم��ون ش��وندگان از لح��اظ توان��ایی م��ورد ان��دازه گ��یری نامتجانس تر باشند روایی آزمون بیشتر خواهد ب��ود . ب��ه همین دلی��ل آزم��ون ه��ایی ک��ه وقتی با گروههای نامتجانس به کار می روند دارای روایی قاب��ل مالحظ��ه ای هس��تند در حالیکه اگر با گروههای دارای تجانس بیشتر به کار گرفته شوند سطح روایی کمتری از

خود نشان خواهند داد . برای مثال، آزمونی که برای پیش بی��نی می��انگین دانش��جویان س��ال اول دانش��گاه تهی��ه شده است. اگ�ر در م�ورد دانش�جویان هم�ه س�الهای تحص��یلی دانش�گاهی ب�ه ک�ار رود روایی پیش بینی بیش��تری نش��ان خواه��د داد ت��ا وق��تی ک��ه ب��رای پیش بی��نی ی��ک گ��روه

22

Page 23: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

متجانس و همگون خاص از دانشجویان به کار بسته شود بنابراین باید توجه داش�ت ک��ه افزایش و کاهش ضریب روایی در پاره ای از مواقع ممکن اس��ت ب��ه س��بب ک��اهش ی��ا

افزایش تجانس آزمون شوندگان باشد . عالوه بر عوامل فوق ویژگیهای روایی آزمون شوندگان نیز می توانن��د ب��ر روی نم��رات حاصل از یک آزمون تاثیر داشته باشند. برای نمونه، باال و پ��ایین ب��ودن س��طح انگ��یزش آزم��ون ش��وندگان، ب��ا عالق��ه ب��ودن و بی عالق��ه ب��ودن آن��ان نس��بت ب��ه پاس��خ دادن ب��ه سئوالهای آزمون و نیز کمی یا زیادی سطح اضطراب آنان بر نم��رات حاص��ل و ل��ذا ب��ر میزان روایی نمرات حاصل تاثیر می گذارد. عالقمندی آزمون شوندگان ب��ه ش��رکت در آزمون و کم بودن اضطراب آنان بردقت آنان و روایی نتایج آزمون تاثیر مثبت ب��ه ج��ای می گذارد. اما بی عالقگی یا نفرت آزمون شوندگان یا اض��طراب زی��اد آن��ان در جلس��ه

آزمون هم بر دقت و هم بر روایی نتایج حاصل تاثیر منفی دارد.تعریف پایایی

پایایی یک وسیله اندازه گیری به دقت اندازه گیری و ثبات نتایج با تک��رار ان��دازه گ��یری اشاره می کند. یک آزمون در صورتی دارای پایایی است ک��ه اگ��ر آن را در ی��ک فاص��له زمانی کوتاه چندین بار به گروه واحدی از افراد بدهیم نتایج حاصل نزدیک به هم باشند. رابطه بین روایی و پایایی از این قرار است که یک آزمون باید پای��ا باش��د ت��ا بتوان��د روا باشد. اگر آزمونی در هر بار اجرا، بر روی تعدادی دانش اموز نت��ایج مختلفی ب��ه دس��ت بدهد آن آزمون یک آزمون پای��ا نخواه��د ب��ود و در واق��ع هیچ چ��یز را ب��ه درس��تی ان��دازه نخواهد گرفت و اگر یک آزمون چیزی را به درستی اندازه گیری نکند هیچ اطالع مفیدی به ما نخواهد داد. برای مثال، یک آزمون فیزیولوژی برای ان��دازه گ��یری محت��وا و ه��دف های درس پاتولوژی روا )مناسب( نیست، اما این آزمون می تواند مط��الب ف��یزیولوژی را که اندازه می گیرد با دقت )به ط��ور پای��ا( ان��دازه گ��یری کن��د پس، ب��رای اینک��ه ی��ک آزمون روا باشد باید نخست پایا باشد. یعنی پایایی شرط روایی است، اما روایی ب��رای

پایایی ضروری نیست.روش های تعیین پایایی

روش پای��ایی مص��ححان، روش ب��از آزم��ایی، روش ف��رم ه��ای م��وازی، و روش ه��ای ریچ��ارد س��ون، و روش–همس��انی درونی )روش دو نیم��ه ک��ردن آزم��ون، روش ک��ودر

ضریب آلفای کرانباخ (. در زیر این روش ها را به تفصیل توضیح می دهیم.

23

Page 24: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

روش پایایی مصححان

برای تعیین پایایی آزمونهای تش��ریحی ی��ا انش��ایی ک��ه نم��رات آنه��ا تحت ت��اثیر قض��اوت مصححان برگه های آزمون قرار می گیرد باید از دو ی��ا چن��د مص��حح ک��ه مس��تقال برگ��ه ه��ای امتح��انی را تص��حیح می کنن��د اس��تفاده ک��رد، ب��ا محاس��به همبس��تگی نم��رات این مصححان شاخص پایایی مصححان به دست می آید. البته این پایایی مربوط به تص��حیح کنندگان برگه های امتحانی است و نباید آن را با پایایی آزمون که مربوط به س��ئوالهای خ��ود آزم��ون اس��ت اش��تباه گ��رفت. در این روش، ض��ریب همبس��تگی ب��اال بین نم��رات مص��ححان مختل��ف م��یزان تواف�ق نظ��ر آن��ان را نش�ان می ده�د، در ح�الی ک�ه ض�ریب همبستگی باالی مربوط به پایایی آزم��ون ح��اکی از این اس��ت ک��ه بین عملک��رد آزم��ون ش�وندگان واح�د در پاس�خ دادن ب�ه س��ئوالهای ی�ک آزم�ون مع�ادل در چن�دین ب�ار اج�را

هماهنگی یا شباهت وجود دارد.روش باز آزمایی

ساده ترین روش تعیین پایایی یک آزمون بازآزمایی است . در این روش ، آزمون را در دو ن��وبت ب��ه گ��روه واح��دی از آزم��ون ش��وندگان می دهن��د و نم��رات حاص��ل را ب��ا هم مقایسه می کنند. ضریب همبستگی بین نمرات حاصل از دو بار اجرای آزم��ون ض��ریب

پایایی آزمون است. به این پایایی، پایایی باز آزمایی می گویند . روش باز آزمایی هر چند که یک روش ساده و قاب��ل اجراس��ت ولی متخصص��ان ان��دازه گیری و ارزشیابی به آن انتقاد وارد کرده اند. از جمله اینکه گفته اند تجری��ه ن��وبت اول آزمون سبب می شود که آزمون شوندگان با آزم��ون آش��نا ش��وند و این آش��نایی س��بب خواهد شد که آنان در پاسخ دادن به همان س��ئوالها در ن��وبت دوم اج��رای آزم��ون به��تر عمل کنند. همچنین گفته شده است که چون نمونه سئوالها ی ب��ه ک��ار رفت��ه در ه��ر دو آزمون یک نمونه واحد است، لذا نمرات حاصل از باز آزم��ایی هیچ گون��ه اطالعی مب��نی بر اینکه اگر نمونه دیگر از سئوالهای مربوط به همان مطلب ی��ا موض��وع م��ورد ان��دازه گیری به کار روند چه تغییراتی حاصل خواه��د ش��د ب��ه دس��ت نمی ده��د. همچ��نین گفت��ه شده است که اگر فاص��له زم��انی بین دو ب��ار اج��رای آزم��ون زی��اد باش��د، ممکن اس��ت خطای اندازه گیری با تغییرات واقعی ایجاد ش��ده در توان��ایی آزم��ون ش��وندگان ک��ه در نتیجه یادگیری حاصل می شود در هم آمیزد و انتقاد آخر اینکه اجرای مجدد یک آزم��ون برای تعیین پایایی آن مورد عالقه دانش��جویان و اس��تادان نیس��ت و آن را ک��اری بیه��وده می دانند که سبب اتالف وقت آموزشی می شود، در نتیجه فقدان عالقه دانشجویان به گرفتن آزمون مجدد ممکن است سبب شود که آنه��ا در آزم��ون دوم نم��رات کم��تری از

بار اول اجرای آزمون بیاورند.

24

Page 25: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

روش فرمهای هم ارز )موازی(

روش دیگری که برای رفع مشکالت روش باز آزمایی به کار می رود روش فرمهای هم ارز است در این روش دو ازمون معادل یا هم ارز برای یک مطلب یا موضوع تهی��ه می کنند و آنها را در فاصله زمانی کوتاهی به یک گروه واحد از آزمون شوندگان می دهن��د. دو فرم یک آزمون در صورتی هم ارز یا معادل هستند که میانگین و واریانس آنها براب��ر باشند. ضریب همبستگی بین نمرات حاصل از اجرای این دو فرم آزمون، ضریب پایایی

ان آزمون ها به حساب می آید. هر چند که در این روش تعیین پایایی ب��رخی از مش��کالت روش ب��از آزم��ایی رف��ع ش��ده است، اما این روش دارای مشکالت مخص��وص ب��ه خ��ود اس��ت و مش��کل عم��ده روش فرمهای هم ارز این است که آزمونهای پیشرفت تحص��یلی، ب��ه وی��ژه آزم��ون ه��ایی ک��ه استادان برای ارزشیابی از یادگیری دانشجویان خود می سازند، غالبا در یک فرم واح��د تهیه می شوند، و تهیه فرمهای هم ارز برای انها ب��ه س��ادگی میس��ر نیس��ت. ح��تی اگ��ر چنین فرمهایی نیز تهیه شوند، باز هم مشکل بی عالقگی دانش��جویان و ای��راد اس��تادان به اجرای دو فرم از یک آزمونی باقی است. ایراد دیگری که به این روش تعیین پای��ایی می گیرند این است که در بعضی موارد آزمون شوندگان در جواب دادن ب��ه س��ئوالهای فرم اول ازمون با اصولی آشنا می شوند که عملک��رد آن��ان را در ف��رم دوم تحت ت��اثیر قرار می دهد. برای رفع مشکالت روش دیگری برای تعیین پایایی پیشنهاد ش��ده اس��ت که روش دو نیمه کردن آزمون نام دارد. این روش در زی��ر ب��ه عن��وان یکی از روش��های

همسانی درونی توضیح داده خواهد شد.روشهای همسانی درونی

بر خالف روشهای قبلی که بر ثبات نتایج آزمون )روش باز آزم��ایی( ی��ا هم��ترازی نت��ایج آزمون )روش فرمهای هم ارز( تاکید دارن��د. در روش همس��انی درونی ب��ر همس��انی ی��ا یکنواختی ماده ها یا اجزای تشکیل دهنده یک آزمون تاکید می ش��ود ب��رای این منظ��ور، آزمونی را که می خواهند ضریب پایایی اش را تعیین نمایند یک بار ب��ا گ��روه واح��دی از آزمون شوندگان اجرا می کنند و بعد با یکی از روشهای زیر به تعیین ضریب پای��ایی آن

می پردازند.روش دو نیمه کردن آزمون

در روش دو نیمه کردن آزمون، چنانچه در باال گفته شد، آزمون مورد نظر را یک ب��ار ب��ا گروه واحدی از آزمون شوندگان اجرا می کنیم و پس از اجرا، آن را به دو نیمه تقسیم می نماییم. در این روش، بهترین راه دو نیمه کردن آزمون این است که همه سئوالهای فرد را یک آزمون به حساب آورده و همه سئوالهای زوج را نیز آزمون دیگری محسوب

25

Page 26: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

کنیم. ضریب همبستگی حاصل از نمرات دو نیمه آزم��ون ض��ریب پای��ایی ه��ر ی��ک از دونیمه خواهد بود .

برای محاسبه ضریب پایایی کل آزمون ، ضریب همبس��تگی بین نیم��ه ه��ا را در فرم��ول زیر که به فرمول اسپیرمن براون شهرت دارد ق��رار می دهیم . نتیج��ه حاص��ل ض��ریب

پایایی کل آزمون خواهد بود . در این فرمول :

rtt =ضریب پایایی کل آزمونR½½= ضریب همبستگی بین نیمه های آزمون

ب��راون ب��رای ب��رآورد ض��ریب–برای نشان دادن چگونگی استفاده از فرمول اسپیرمن سئوال در30پایایی آزمونی که تعدادی سئوال به ان افزوده ایم، فرض کنید آزمونی با

است. اگر تعداد سئوالهای این آزم��ون را ب��هr=�� 6/0دست داریم که ضریب پایایی آن سئوال افزایش دهیم، ضریب پایایی آزمون جدید چند خواهد شد؟40

ریچاردسون نیز آزمون تنها ی�ک ب�ار اج�را می ش�ود، ام�ا در این روش–در روش کودر همه ماده های آزمون تحلیل می ش��وند. ک��ودر و ریچاردس��ون ب��رای بررس��ی همس��انی

درونی آزمون و تعیین پایایی آن دو فرمول مورد استفاده قرار داده اند . n

rtt= 1 - n-1

rttضریب پایایی آزمون = n تعداد سئوالهای آزمون =

ð2 واریانس یا مربع انحراف معیار کل سئوالهای آزمون ==p نسبت دانشجویانی که به سئوال پاسخ درست داده اند = qنسبت دانشجویانی که به سئوال پاسخ غلط داده اند

∑ =pq مجموع pq ها برای تمام سئواالت

روش ضریب الفا

سومین روش تعیین پایایی آزمون با تاکی��د ب��ر همس��انی درونی روش ض��ریب آلف��ا ن��امدارد که به آن ضریب آلفای کرانباخ یا حتی آلفا نیز گفته می شود .

26

R½½ 2

∑pqð2

rtt=½ ½ r+1

Page 27: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

در این فرمول :r = ضریب پایایی کل آزمون

j = تعداد بخشهای آزمون

ð2 j = واریانس نمرات هر بخش آزمون

ð2 SUM= واریانس نمرات کل آزمون

عوامل موثر در پایایی آزمون

عوامل زیر بر پایایی آزمون اثر می گذارن��د و می ت��وان از آنه��ا ب��رای اف��زایش ض��ریبپایایی آزمون استفاده کرد:

با افزودن برتعداد سئواالت یک آزمون، پایایی آن نیز افزایش می یابد. .1 با متجانس تر و همگون ت��ر ک��ردن س��ئواالت ی��ک آزم��ون ، پای��ایی آن بیش��تر می.2

شود. با افزودن تعدادی سئوال با ضریب تمیز زیاد ب��ه ی��ک آزم��ون پای��ایی آن ب��اال می.3

رود. با افزودن تعدادی سئوال دارای ضریب دشواری متوسط ب��ه ی��ک آزم��ون، پای��ایی.4

آن افزایش می یابد. اگر یک آزمون را در مورد گ��روهی از اف��راد ک��ه از نظ��ر توان��ایی م��ورد س��نجش.5

تجانس کمتری با یکدیگر دارند اجرا کنیم، آزم��ون پای��ایی بیش��تری نش��ان خواه��دداد.

آزمون های سرعت عمل معم��وال از آزم��ون ه��ایی ک��ه س��رعت عملک��رد در آنه��ا.6 عامل مهمی به حساب نمی آید )آزمون های ق��درت( ض��ریب پای��ایی بیش��تری را

نشان می دهند.

27

j ∑ j ð2

1 - =rα

j-1 ð2 SUM

Page 28: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

ضریب دشواری سؤال:

درصد کل آزمون شوندگانی که به یک سوال جواب صحیح داده اند را ضریب دشواری)Difficulty Index گویند. که با حرف )P.نمایش داده می شود

اگر در تحلیل سوال کلیه افراد یا کلیه برگه های امتحانی دخالت داشته باش��ند )زم��انی عدد یا کمتر باشد( ب��رای محاس��به ض��ریب دش��واری20که تعداد کل برگه های امتحانی

سوال کافی است که تعداد کل افرادی که به سوال جواب صحیح داده اند بر تعداد ک��ل آزم��ون ش��وندگان تقس��یم ک��نیم. رقم حاص��ل، ض��ریب دش��واری س��وال اس��ت. ام��ا در مواردی ک��ه تع��داد آزم��ون ش��وندگان زی��اد اس��ت و اطالع��ات م��ا ب��ه نح��وه پاس��خ دهی

افرادگروه باال و پایین محدود می شود باید از فرمول زیر استفاده نمود.

= ض����ریب Pدشواری سوال=

هر اندازه ضریب دشواری یک سوال بزرگتر )به یک نزدیکتر( باشد آن س��وال آس��انتر و هر اندازه این ضریب کوچکتر )به صفر نزدیکتر( باشد سوال دشوارتر است. شاید بهتر

Facilityباشد به جای ضریب دشواری واژه ضریب س�هولت ی�ا آس��انی ) Indexرا بک�ار ) برد.

ح��داکثر اطالع را درب��اره تف��اوت بین75/0 ت��ا 25/0بط��ور کلی ض��ریب دش��واری بین آزمودنی ها بدست می دهند ولی در شرایط خاص ضریب دشواری ف��رق می کن��د. مثال آزمونی که برای انتخاب بهترین داوطلبان ب�رای تحص��یل در دوره کارشناس��ی ارش��د ی�ا

درص��د ب��االی داوطلب��ان را ب��رمی گزین��د بای��د ش��امل10دک��تری بک��ار می رود و ح��دود سوالهای بسیار دشوار باشد و برعکس آن آزمونی که برای انتخاب کودک��ان ب��رای ی��ک

دوره آموزش اصالحی بکار می رود باید شامل سوالهای خیلی آسان باشد. (Discriminative Indexضریب تمیزسؤال)

برخالف ضریب دشواری که میزان آسان ی��ا س��خت ب��ودن ی��ک س��ؤال را ب��رای آزم��ون شوندگان نشان میدهد، ضریب تم��یز، ق��درت س��ؤال را در تم��ایز و تش��خیص گروهه��ای

مش��خص می ش��ود.Dقوی و ض��عیف آزم��ون ش��وندگان نش�ان می ده�د ک�ه ب�ا ح��رف ضریب تمیز مشخص می کند که سؤال تاچه ان��دازه توانس��ته گ��روه ق��وی را از ض�عیف

جدا سازد و برای محاسبه آن از فرمول زیر استفاده می شود:

28

تعداد جوابهای صحیح گروه پایین + تعداد تعداد افراد گروه باال + تعداد افراد گروهجوابهای صحیح گروه باال

پایین

Page 29: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

تعداد جوابهای صحیح گروه پایین - تعداد جوابهای صحیح گروه باال DI(d) = ضریب تمیز سوال=

تعداد افراد گروه باال یا پایین

:مثال نفر شرکت کننده به قرار زیراس��ت60مشخصات پاسخ به یکی از سؤالهای آزمونی با

بوده است ض��ریب تش��خیص این س��ؤال راBبا توجه با اینکه گزینه صحیح سوال گزینه محاسبه نمایید.

0.5= = d =

ضریب

نشان دهنده آن است که این سؤال در حد مطلوبی توانسته است گ��روه ب��اال5/0رقم )دانشجویان با نمرات ب��االی آزم��ون( و گ��روه پ��ایین )دانش��جویان ب��ا نم��رات پ��ایین این

نف��ر ب��ه س��ؤال،13 نف��ر گ��روه ب��اال 20آزمون( را از یکدیگر متمایز نمای��د. یع��نی از نفر گروه پایین ب��ه این س��ؤال ج��واب20 نفر از 3جواب صحیح داده اند درحالیکه تنها

صحیح داده اند. هر قدر ضریب تمیز بزرگتر باشد، قدرت تمیز آن س��ؤال بیش��تر و ه��ر /90قدر این ضریب کوچکتر باشد قوة تمیز آن کمتر است. مثال اگر ضریب تمیز سؤال

باشد آن سوال آزمون شوندگان قوی و ضعیف را خیلی خوب از هم جدا خواه��د نم��ود. ضریب تمیز صفر حاکی از این است که سؤال به هیچ وجه نتوانسته بین گ��روه ق��وی و ضعیف تمایز قائل شود. اگر ضریب تمیز سؤالی منفی باشد. نشان دهنده آن است که در آن سؤال گروه قوی بدتر از گروه ضعیف عمل کرده است. این گونه س��ؤالها دارای معایب اساسی هستند که باید به کلی کنار گذاشته شوند یا در آنها تجدی��دنظر اساس��ی صورت پذیرد. اگرسؤال دارای اشکال ف��نی نباش��د، دلی��ل چ��نین ض��ریبی می توان��د این باشد که افراد گروه باال یا آن سؤال را به طور کامل یاد نگرفته ان��د ی��ا آن را ب��ه غل��ط

آموخته اند. بنابراین، تمامی ضرایب تمیز سؤالهای آزمون باید مثبت باشند.

29

3-13

20

گزینه ها A B C D E دانشجویان باالی

کالس1 13 3 3 0

دانشجویان پایینکالس

3 3 7 7 0

جمع 4 16 10 10 0

Page 30: amouzesh.tbzmed.ac.iramouzesh.tbzmed.ac.ir/uploads/User/4346/AnalysTest.docx · Web viewتجزیه و تحلیل سوالات به یکی از روشهای تجزیه و تحلیل

منابع :1. Constructing Written Test Questions for the Basic and Clinical Sciences. Susan M.

Case, David B. Swanson. National Board of Medical Examiners, 1998

. طراحی، تجزیه و تحلیل سواالت چندگزینه ای، گرد آوری: مرکز مطالعات و توسعه2 1382آموزش علوم پزشکی دانشگاه علوم پزشکی مشهد، سال

،١٣٩٢. اندازه گیری، سنجش و ارزشیابی آموزشی. تالیف: دکتر علی اکبر سیف. سال 3ويرايش ششم، چاپ سوم

. پدیدآورنده: حیدرعلیاندازه گیریهای روانی و تربیتی )فن تهیه تست و پرسشنامه(. 41386هومن. نشر پارسا - سال

30