instrument validity & reliabilty examples

27
םםםם םםםםם םםםםםם םםםםםם, םםםם םם ם" ם ם" ם םםםםםם םםםםם םםםםם םםםםםםם םםםםם םם םםם םםםםם םםםםםם םםםםם1 יי יייי יייי ייייי יייייי יי ייייי יי יייי ייייי יייי ייייי ייייייייי, ייי ייייי יייייייי יייייי יי ייייייי ייייי. ייי יי, יייי ייייי יייי ייי ייייי יייייי, ייייייי יי יייי יייי יי ייייי., יייי יייי)יייי ייייי יייי ייייי( יי ייייי יי יייייי ייייי ייי ייייי יייי:1 . ייייי ייי יי יייי ייייי יייייייי.2 . ייייייי: יייי יי יייייי יייייי ייייייי? יייי ייייי יייייי ייייייי יייייי? ייי ייי ייייייי?3 . יייי יי יייייי יייייי יייי? יייי ייייי יייי: יייייי יייי יייייי ? ייי ייי ייייייי? םםםם: םם םםםםם םםםם םםםםםם םםםם םם םםםםםםם םם םם םםםם, םםםם םםםם םםםםםם םם םםם םםם. םםםםם2 ייי6 יייייי יייייי ייייי ייייייי יי י י י יי יייי יייייי יייייי יי ייי יייי. םםםם םםםםםם םםםםםם םםםםם, םםםם םםםםם28 םםםםםם2010 . ייייי יייייי

Upload: daniel-mason

Post on 23-Nov-2014

108 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Instrument Validity & Reliabilty Examples

ר דורותי"דא "ע חורף תש,קורס מדידה והערכת הישגיםלנגלי

בדיקת מהימנות ותוקף של כלי מדידה והערכה

1משימה

כל צוות מקבל תדפיס בעברית של תקציר של מחקר בתחום מדעי החברה

וההתנהגות, שבו הייתה התייחסות למדדים של מהימנות ותוקף. כמו כן, מוצג

קישור לאתר שבו מופיע התקציר, ולעיתים גם הדוח המלא של המחקר.

יש לקרוא את התדפיס )ולפי הצורך לגשת למקור(, לנתח אותו באופן הבא

ולסכם בכתב:

תיאור קצר של נושא המחקר ומטרותיו..1

מהימנות: לגבי מה התבצעו בדיקות מהימנות? אילו שיטות לבדיקת.2

מהימנות הופעלו? ומה היו הממצאים?

תוקף: לגבי מה התבצעו בדיקות תוקף? אילו שיטות לבדיקת תוקף.3

הופעלו ? ומה היו הממצאים?

הערה: אם המחקר כולל בדיקות רבות של מהימנות או של תוקף, אפשר לתאר בסיכום

רק חלק מהן.

2משימה

של כלים להערכת הישגים או כליףקו פריטים סגורים בנושא מהימנות ות6חבר מחקר.

.2010 בדצמבר 28הגשה בזוגות בפורום מטלות, מועד אחרון

עבודה פורייה

Page 2: Instrument Validity & Reliabilty Examples

1מחקר מס.

הערכת הסיכון לשימוש בסמים אצל מתבגרים צעירים(. "2005, ) בראון עדנה

" עבודת דוקטורט באוניברסיטת בן גוריון.פיתוח ויישום כלי מדידה חדש

http://www.antidrugs.org.il/template/default.asp?maincat=12&catId=41&pageId=783

תקציר

פסיכואקטיביים אחת הבעיות החברתיות והבריאותיות בחברה המערבית היא השימוש לרעה בחומרים התמכרות מתחילה בהתנסות, המשנים את מצב התודעה וגורמים נזקים בריאותיים וחברתיים קשים. יותר והסיכוי להתמכרות גבוה וככל שגיל ההתנסות נמוך יותר ההסתברות לשימוש בסמים גבוהה

בסמים בקרב בני הנוער בישראל בשנים יותר. מאחר שהממצאים מעידים על עלייה בשיעור המתנסיםומשאבים כאן גם עלתה לבעיה המודעות שמומלץ האחרונות, מניעה, בתכניות מושקעים רבים

נוער להתחיל בהן בגיל צעיר. תכניות המניעה מיושמות באוכלוסיות רחבות, ללא הבחנה בין בני ולפיכך איתור בני נוער בגילים צעירים, הנמצאים בסיכון גבוה בסיכון גבוה ובני נוער בסיכון נמוך,

חשוב במיוחד. המחקר עוסק בפיתוח כלי שמטרתו לזהות באוכלוסיה לשימוש בחומרים ממכרים, בישראל קבוצות מתבגרים שנמצאים בסיכון גבוה לשימוש בסמים. בקבוצת גיל 12-13צעירה של בני

השימוש בסמים עדיין נמוכה ולכן הכלי מודד, למעשה, את הנטייה )הפוטנציאל( לשימוש זו שכיחות בסמים בעתיד.

ואיסוף נתונים רשמיים על פיתוח הכלי נעשה בגישה שונה מזו של הכלים המקובלים, שהם דיווח עצמי ואישיותי. הכלי שפותח הוא מתחום הפסיכולוגיה. גורמי סיכון ידועים כגון רקע סוציו-דמוגראפי, חברתי

ומנסה להתמודד עם שתי בעיות מתודולוגיות באיתור בני נוער הוא מבוסס על מבחן תמונות השלכתי האחת – מדידה הנעשית באמצעות דיווח עצמי וסובלת מהטיה של בסיכון גבוה לשימוש בסמים:

אופיינית במיוחד לגיל ההתבגרות ולהתנהגות שהיא עברה על החוק, והאחרת – רצייה חברתית, שהיא דפוסי התנהגות פוטנציאליים לשימוש בסמים כאשר שכיחות השימוש בסמים היא נמוכה. אומדן של

בשני מחקרים פיתוח מבחן התמונות )מב"ת( נעשה באמצעות קבוצות מיקוד של מתבגרים ונבדק ופיתוי להשתמש מקדימים. המבחן מבוסס על ההנחה שהתגובה לתמונות המתארות מצבי לחץ

וכוונותיו של הנבדק וכך יכולותיו, עמדותיו, רצונותיו אכן ינהג במצב האמיתי, בסמים משקפת את ולא את השימוש עצמו. כאשר ייקלע אליו. הכלי מודד אפוא את הפוטנציאל לשימוש בסמים

שלבי המחקר:

( בניית הכלי בקבוצות מיקוד של מתבגרים;1המחקר כלל מספר שלבים:

ידועים; ( 2 לי ( שכלול4( מחקר מקדים בקבוצת תלמידים; 3התאמת כלי תיקוף ְּכ. הכלי והתאמת ( יישום7מתבגרים נבחרות; ( תיקוף הכלי בקבוצות6( מחקר גישוש בקבוצות מתבגרים; 5התיקוף;

הכלי באוכלוסייה של תלמידי כיתות ז'.

מבחן התמונות )מב"ת( וכלי התיקוף

בסמים, לעשן סיגריות תמונות שמתוארים בהן מצבי פיתוי ולחץ להשתמש20מבחן התמונות בנוי מ- הנבדק על תשובותיו לתמונות הבנויות ולשתות אלכוהול. הציון הסופי נקבע לפי סיכום הניקוד שמקבל

, כך שהציון המסכם במבחן הוא בסולם מ-3עד 0בסולם סגור המדורג לפי ארבע קטגוריות סודרות מ- .60 עד 0

שהועברו לבני נוער ואשר לתיקוף המב"ת שימשו שאלונים קיימים ומתוקפים, שלהם סולמות רציפים את השימוש בפועל בסמים ואת נועדו להעריך את רמת הרצייה החברתית, ההרפתקנות והסקרנות,דמוגרפיים, מאפיינים על שאלון וכן הסמים, בנושא הידע הידועים רמת ובין-אישיים, אישיותיים

בספרות המחקרית כגורמי סיכון והגנה לשימוש בסמים.

Page 3: Instrument Validity & Reliabilty Examples

תיקוף הכלי

וכללה היעד, יותר מאוכלוסיית נעשה באוכלוסיית מתבגרים מבוגרת משתמשים בסמים. התיקוף 41סיכון שונות לשימוש בסמים: , בקבוצות מובחנות ברמות14-19 בני נוער בגילאי 261במדגם נכללו

נמוך, ו-189בקבוצת סיכון גבוה בקבוצת סיכון בני31 הידועים כמשתמשים או שהשתמשו נוער בסמים.

הממצאים של מחקר התיקוף

שלוש קבוצות המחקר, נמצא כי המב"ת הוא כלי רגיש לזיהוי של שימוש ואי-שימוש בסמים ומבחין בין בין המב"ת לדיווח עצמי על שלהן דפוסים שונים של התנסות ושימוש בסמים. נמצא מתאם מובהק,

ובכל אחת מקבוצות המחקר.N=236, r=0.62, p<0.001שימוש בסמים בכל אוכלוסיית המחקר ) ) את הטענה שהמב"ת הוא כלי מדידה רגיש התוצאות הן עדות לתוקף מתכנס של הכלי ומחזקות

למדידת שימוש בסמים כמו הדיווח העצמי.

לקשר מובהק בין ההשערה שהמב"ת אינו מושפע מרצייה חברתית אוששה רק בחלקה: נמצאה עדות ברמת הסיכון וברמת רצייה חברתית לציון במב"ת בכל אחת מקבוצות מחקר התיקוף, המובחנות

ובקבוצת הסיכון הנמוך ( p=0.1הרצייה החברתית, לא נמצא קשר מובהק בקבוצת משתמשי הסמים ) (p=0.05,נמצא, בכל אוכלוסיית המחקר, מתאם מובהק חלש .) בכיוון השלילי, בין הציון במב"ת לציון

יורד. בבדיקת ההשערה שיש ברצייה חברתית: ככל שהציון במב"ת עולה – הציון ברצייה חברתית בהרפתקנות נמצא שככל שעולה רמת ההרפתקנות כך עולה הציון מתאם בין הציון במב"ת לבין הציון

בין המב"ת לתכונת ההרפתקנות, הידועה בספרות המחקרית במב"ת. ההשערה שקיימת התאמה מובהק לנכונות להשתמש בסמים ולשימוש בפועל, אוששה, והתוצאות כתכונת אישיות הקשורה באופן

קודמים. המתאם שנמצא בין הציון במב"ת לציון בהרפתקנות הוא עדות נוספת עקיבות עם ממצאים של המב"ת. ההשערה שקיימת התאמה בין המב"ת לתכונת הסקרנות לא אוששה ) לתוקף מתכנס

p=0.1.)

נמצא מקדם פנימית( )האומדן למהימנות פריטי המב"ת בין העקיבות לכל0.89אלפא בבדיקת אותם נבדקים, בשני זמנים אוכלוסיית המחקר. בבדיקת מהימנות המב"ת ע"י השוואת הציונים שהשיגו

. 0.85 (, התקבל מתאם שלTest-Retestשונים ובתנאי בדיקה שונים )

יישום הכלי באוכלוסיית מתבגרים צעירים

על התבססה המחקר ב- 1,830אוכלוסיית ז', בכיתות תלמידים, ספר14 בתי המרכז. באזור ההרפתקנות, ידע על סמים, התלמידים השיבו על מבחן התמונות ועל שאלונים נלווים - על רמת

וחברתיים והערכה עצמית. התלמידים השיבו נתונים סוציו-דמוגרפיים, דפוסי בילוי, קשרים משפחתייםואיסוף הנתונים נעשה בידי החוקרת וצוות מראיינים. כ- על השאלונים בכיתותיהם, בשעות הלימודים,

– אלה שהוריהם לא15% מהתלמידים או ואלה שסירבו להשתתף במחקר נתנו את הסכמתם, הוצאו מעיבוד הנתונים לאחר שנמצא5%נכללו במחקר, ו- שהתקשו להבין את הכתוב בשאלונים – לא

תלמידים. בתי הספר שהשתתפו1,767שבמחקר היישום נכללו כי חסרים להם נתונים רבים כך והכיתות בבתי הספר וברמת ההשקעה בתכניות חינוך במחקר נבדלים ברמה החברתית-כלכלית

למניעת שימוש בסמים.

ממצאי מחקר היישום

עם סטיית תקן(, 0-59 )טווח11הציון הממוצע במב"ת, המעריך את הפוטנציאל לשימוש בסמים, הוא רגיל נמצא הבדל מובהק בין בתי הספר בציוןANOVA. במבחן 7.7 (. באיתורp=0.014במב"ת )

מהתלמידים בבתי הספר שנדגמו קיבלו 12.7%קבוצות בסיכון גבוה באוכלוסיית מתבגרים נמצא כי גבוה לשימוש>=18ציון יחסית במב"ת, המגדיר פוטנציאל גבוה ולכן הם נמצאים בסיכון בסמים,

לוגיסטית רגרסיה בניתוח לניבוי לעמיתיהם. הסיכון גורמי של התרומה לבדיקת רבת-משתנים נמצאו שבעה גורמי סיכון כגון דפוסי בילוי, היכרות עם משתמשי פוטנציאל גבוה לשימוש בסמים,

וידע על סמים בקשר גבוה לשימוש בסמים. נמצא קשר סמים מובהק משמעותית עם פוטנציאל (, עם סיכון יחסי גבוה יותר לבניםp,0.005פוטנציאל גבוה לשימוש בסמים ) מובהק בין מגדר ובין

Page 4: Instrument Validity & Reliabilty Examples

להתנסות בשימוש בסמים. נמצא קשר מובהק בין עיסוקים בבית ובקרב המשפחה, כמו לעומת בנות הפוטנציאל המשפחה ובילוי זמן רב בבית )צפייה בטלוויזיה או בווידאו(, שהם גורמי מגן, לבין בילוי עם

בכתות בבתי לשימוש בסמים. במודל לוגיסטי רב-משתני תוך התייחסות לכך שהתלמידים נמצאיםמתאם נמצא לא אקראי, כאפקט הספר בבית הכתה משתנה למודל והוכנס בין הספר מובהק

באוכלוסיית המחקר. התלמידים בתוך בית הספר. לפיכך, אפקט בית הספר אינו אפקט משמעותי השתתפות בתכנית מניעה מהתלמידים השיבו שהשתתפו בתכנית מניעה, אך לא נמצא קשר בין13%

חיובי בין רמת ההרפתקנות של לבין פוטנציאל גבוה לשימוש בסמים. כמצופה, נמצא קשר מובהק (. r=0.46, p=0.001התלמידים לבין הפוטנציאל לשימוש בסמים )

דיון ומסקנות

מתודולוגית להערכת פיתוח כלי מדידה של מבחן תמונות השלכתי נעשה במטרה לתרום תרומה אוכלוסייה פגיעה וקשה למדידה, פוטנציאל להתנהגות שיש בה סיכונים בריאותיים וחברתיים, בקבוצת

וכאוב של שימוש בסמים. המחקר נעשה הנמצאת תדיר על סדר יומה החברתי של ישראל בנושא רגישברמה לקובעי המדיניות של מלחמה בסמים לסייע ולמבצעיה ברמת הקהילה במטרה הלאומית

מניעה הולמות. באיתור הקבוצה הנמצאת בסיכון גבוה ובפיתוח תכניות

תיקוף תלוי מבנה, בהיעדר דרך אובייקטיבית אלטרנטיבית לאמוד "פוטנציאל" לשימוש בסמים, נעשה פוטנציאל" לשימוש בסמים, "המציין עד כמה אפשר לומר שהכלי מודד מבנה או תכונה תיאורטיים כמו

ועל זיהוי המשתמשים בסמים שהתבסס על הקשר של המב"ת לדיווח על שימוש בסמים בפועל בקבוצה הידועה בשימוש בסמים ובסיכון גבוה.

לשימוש בסמים )תוקף התיקוף נעשה בשיטת השוואה בין קבוצות מתבגרים המובחנות ברמות הסיכון שאינם משתמשים בסמים. אם קריטריון(, ונמצא שהכלי מבחין בין אלה המשתמשים בסמים ואלה

מבחין, נראה שיתרונו בצמצום הכלי רגיש להבחין במשתמשי סמים, כמו שמניחים שהדיווח העצמי נוער בסיכון גבוה לשימוש בסמים. ההטיה של רצייה חברתית הקיימת בדיווח העצמי באיתור בני

תוקף הכלי בהערכת הפוטנציאל לשימוש בסמים הקשר בין גורמי סיכון ידועים לציון במב"ת מחזק את לשימוש בסמים. ובאיתור קבוצות מתבגרים בסיכון גבוה

גבוה לשימוש בסמים אחוז מהתלמידים בבתי הספר שנדגמו ונמצאו עם פוטנציאל12.7האומדן של נמצאים בסיכון גבוה לשימוש יחסית לאחרים – תלמידים צעירים שלא התנסו או השתמשו בסמים אך

בגילים גבוהים יותר בבתי ספר תיכוניים בסמים בעתיד – קרוב לשיעור המדווחים על שימוש בסמים האחרון שבהם גם דווח על התחלת עישון סיגריות, בישראל, לפי סקרים אפידמיולוגיים שנעשו בעשור

.12.5סמים בגיל שתיית אלכוהול והתנסות ראשונית של

צעירים: קל לשימוש, הכלי הוא תרומה חדשנית של הערכת הסיכון לשימוש בסמים בקרב מתבגריםונוח לצעירים, מתקבל בחיוב אצל מתבגרים ומעודד לשיתוף פעולה, רגיש ואובייקטיבי, אטרקטיבי

החברתית שקיימת בדיווח עצמי על ממתן חששות מפני חשיפה וכך מצמצם את השפעת הרצייה באוכלוסיית מתבגרים צעירים את הנוטים והמתכוונים שימוש בסמים. נראה שהכלי שתוקף יכול לזהות

באיתור מוקדם של אותם בני נוער שהם בסיכון גבוה יחסית להשתמש בסמים. לפיכך, הכלי יסייעפוטנציאל גבוה לשימוש בסמים, כדי למקד בהם את המניעה. לעמיתיהם, כלומר שלהם

Page 5: Instrument Validity & Reliabilty Examples

2מחקר מס.

דמוי עצמי והתנהגות מסתגלת אצל אנשים מפגרים(. 2000)ורדה , ליכטבראון. עבודת מוסמך אוניברסיטת חיפה.המשתתפים בפעילות פנאי עם אנשים רגילים

http://www.pigur.co.il/links/maagar/varrda.htm 

תקציר

פנאי הינו אחד מתחומי החיים החשובים לרווחתו של כל אדם. עקרון הנורמליזציה, לפיו יש  לאפשר לכל אדם מפגר לחיות חיים דומים ככל הניתן לחיי הקהילה אליה הוא שייך, וגישת האי- מיסוד, הדוגלת בהשארות האדם המפגר בקהילתו הטבעית, העלו בין היתר גם את תחום הפנאי כמוקד לשלוב האדם המפגר בקהילה. כמו בתחומים אחרים, גם בתחום פעילות הפנאי נבנו בתחילה מסגרות מיוחדות לאנשים מפגרים בלבד. בעשור האחרון התחילו גםבתוך המפגר לאדם הניתנים השרותים מתוך כחלק הפנאי פעילות את לפתח בישראל מסגרות רגילות בקהילה. עם זאת, על-פי רוב, גם במסגרות אלו האנשים המפגרים פועלים באופן נפרד מכלל האוכלוסיה. גם אם נוצר מגע קרוב עם אנשים רגילים, זהו בדרך כלל מגע שבמהותו הוא יחס של עוזר- נעזר. אנשים רגילים באים להתנדב ולעזור לאנשים המפגרים בפעילותם. מחקר זה התמקד בפעילויות אחרות, פעילויות שבהן הקשר בין אנשים מפגרים המשתתפים בפעילויות פנאי יחד עם אנשים רגילים בני גילם הינו קשר של שוים. האנשים המפגרים והאנשים הרגילים עושים באותו זמן את אותה הפעילות, כל אחד על פי יכולתו, והיחסים ביניהם לא מתאפינים ביחסי עוזר- נעזר. מטרת המחקר היתה לבדוק האם אנשיםשלהם העצמי בדמוי שונים כשוים, רגילים אנשים עם פנאי בפעילות הפועלים מפגרים ובהתנהגותם המסתגלת מאנשים מפגרים המשתתפים בפעילות פנאי עם אנשים מפגרים

בלבד.המחקר בדק שלוש השערות:

אנשים מפגרים המשתתפים בפעילות פנאי עם אנשים רגילים יהיו בעלי דמוי עצמי גבוה      .1

יותר מאשר אנשים מפגרים המשתתפים בפעילות פנאי עם אנשים מפגרים בלבד.

התנהגות      .2 בעלי יהיו רגילים אנשים עם פנאי בפעילויות המשתתפים מפגרים אנשים

מסתגלת טובה יותר מאשר אנשים מפגרים המשתתפים בפעילות פנאי עם אנשים מפגרים

בלבד.

אנשים מפגרים בעלי התנהגות מסתגלת טובה יותר יהיו בעלי דמוי עצמי גבוה יותר מאשר      .3

אנשים מפגרים בעלי התנהגות מסתגלת נמוכה.

אנשים מפגרים בגילאים 64המדגם כלל , בעלי פגור ברמות קשה עד קל, המתגוררים13-69

בקהילה, בשני אזורים בארץ: באזור הצפון ובירושלים, ומשתתפים בפעילות פנאי פורמלית. מחציתם

משתתפים בפעילות פנאי עם אנשים רגילים ומחציתם משתתפים בפעילות פנאי עם אנשים מפגרים

בלבד.

ההשערות נבדקו בעזרת הכלים הבאים:

שאלון דמוגרפי, שכלל פרטים אודות הנחקר ומשפחתו, עליו ענה כל הורה/ אפוטרופוס      .1

שנתן את הסכמתו להשתתפות בנו/ בתו במחקר.

שאלון טנסי לדמוי עצמי       .2 (Tennessee Self Concept Scale- second edition, Fitts &

Warren, 1996 ) .השאלון הועבר לנחקרים באמצעות מראינת .

– ABS-RC:2) שאלון להערכת התנהגות מסתגלת של האגודה האמריקאית לפגור שכלי       .3

Adaptive Behavior Scale- Residential and Community, second edition – Nihira,

Leland & Lambert, 1993 ) .עליו ענה איש- מקצוע המכיר היטב את הנחקר ,

השערות המחקר אוששו חלקית. התוצאות לגבי ההשערה הראשונה לא הראו הבדלים בדמוי

העצמי הכללי בין נחקרי שתי הקבוצות, המשולבים והלא- משולבים. עם זאת נמצא ו הבדלים בשני

המשתתפים מפגרים אנשים של הפיזי העצמי הדמוי העצמי: הדמוי של סולמות( )תת- ממדים

Page 6: Instrument Validity & Reliabilty Examples

בפעילות פנאי עם אנשים מפגרים בלבד נמצא גבוה מן הדמוי העצמי הפיזי של אנשים מפגרים

המשתתפים בפעילות פנאי עם אנשים רגילים, ואילו שביעות- הרצון מן הדמוי העצמי בקרב אנשים

אנשים אצל יותר מאשר גבוהה נמצאה רגילים, אנשים עם פנאי בפעילות מפגרים המשתתפים

מפגרים המשתתפים בפעילות פנאי עם אנשים מפגרים בלבד.

ה לא הראו קשר בין שלוב לבין רמה גבוהה של התנהגות מסתגלת.יהתוצאות לגבי ההשערה השני

לא נמצאו הבדלים בהתנהגות המסתגלת בין נחקרי שתי הקבוצות, המשולבים והלא- משולבים.

התוצאות לגבי ההשערה השלישית הראו קשר רק בין ממד אחד של התנהגות מסתגלת- עצמאות

אישית- לבין דמוי עצמי, ורק בקרב אנשים מפגרים המשתתפים בפעילות פנאי עם אנשים מפגרים

בלבד. לא נמצא קשר בין עצמאות אישית ודמוי עצמי בקבוצת המשולבים, ובשתי הקבוצות לא נמצא

קשר בין הממד השני של התנהגות מסתגלת- התנהגות חברתית- לדמוי עצמי.

המשתנים הדמוגרפים של שתי הקבוצות נמצאו דומים, הן לגבי הנחקרים והן לגבי ההורים.

השלכות ממצאי המחקר על עבודת השדה מדגישות את הצורך בהתיחסות לתחום הפנאי כתחום

יחודי , על- מנת לאפשר שלוב אמיתי בין אנשים מפגרים ואנשים רגילים הפועלים יחד בפעילות פנאי :

* יש לתכנן את פעילות הפנאי כך, שתהיה אטרקטיבית ומותאמת הן לגבי האנשים המפגרים והן לגבי

האנשים הרגילים המשתתפים בה.

* יש להכשיר כח- אדם מקצועי ומתאים לעבודה בתחום הפנאי עם אנשים מפגרים.

* יש להכין תכניות מיוחדות לתחום הפנאי, שיכללו פיתוח יכולות טכניות בצד פיתוח יכולות חברתיות

והתנהגותיות שיחזקו את האנשים המפגרים לקראת פעילות פנאי משולבת עם אנשים רגילים.

ולמקד את ובצורה ברורה מהן התוצאות המצופות מהשלוב בפעילות הפנאי יש להגדיר מראש *

המאמצים ואת הדרכים למימושן.

Page 7: Instrument Validity & Reliabilty Examples

3מחקר מס.

קשתי יצחק, פרידמן אתל, בן יהודה טלי, אלרועי אירית, שקולניק איילה ומיכל (. הערכת תוכניות התערבות בחטיבת הביניים. מחקר שנערך בבית2001שמש )

הספר לחינוך באוניברסיטת תל אביב עבור משרד החינוך.http://cms.education.gov.il/NR/rdonlyres/14134502-F726-4962-804F-52F09DBE087A/17086/general.doc

השאלון לתלמיד תהליך הפיתוח של השאלון לתלמיד היה דומה לזה של השאלון למנהל. השאלון )ראו נספח

( כולל ארבעים היגדים סגורים ומתמקד בבדיקת הממדים הבאים: שביעות-רצונם מאופן13והתייחסות-הגומלין החברתית בכיתה. כל והלמידה, מעורבותם בתהליך הלמידה ההוראה

פירושו "אינו מאפיין1אחד מההיגדים הינו תת-משתנה הנמדד על-גבי סולם של חמש דרגות: - מציין "מאפיין מאוד את השיעורים".5כלל את השיעורים", ו

בשלב הפיתוח הועבר השאלון בקרב תלמידים אחדים מחטיבות-ביניים )מדגם של מתנדבים( וכן בשתי כיתות בבית-ספר שבו פעל אחד הגורמים המתערבים, על-מנת לבחון את בהירותו ותקפותו. הפנייה לבית-ספר אחד בלבד נבעה מרצון לא "לשרוף" את אוכלוסייתותוקן קוצר השאלון ההיגוי, ועדת ושל חברי בעקבות הערותיהם של התלמידים המחקר. הניסוח בכמה מהשאלות. לצורך בדיקת תוקף המבנה של השאלון נערך ניתוח גורמים ונבדקההוחלט בעייתיים, שנראו פריטים אחדים זוהו זה שבניתוח אף-על-פי הסולמות. מהימנות בשלב זה לא להוציא את הפריטים האלה מהשאלון בגלל השונּות בין התוכניות ומתוך הנחה כי ייתכן שפריטים אלה מתאימים יותר לבדיקת עמדותיהם של התלמידים בבתי-הספר שבהם

פועלות תוכניות ההתערבות האחרות. ( נמצא מבנה14 שנערך על כל מדגם התלמידים )ראו פירוט בנספח בניתוח גורמים

של עשרה גורמים המשקף ממדים שונים של תהליך ההוראה-הלמידה בכיתות שבהן פעלה)4ההתערבות ואת השפעותיה )על-פי דיווחם של התלמידים(: ( הרכב של קבוצות-למידה1

( קצב למידה אישי2)לדוגמה: אנו לומדים בקבוצות שהרכבן משתנה לפי הנושא הנלמד(; )הכיתה, לשאר לחכות מבלי הבא לנושא להתקדם יכול/ה תלמיד/ה כל אלה )בשיעורים

( וכולי(; שלהם האישי הקצב לפי עובדים אלה3התלמידים )בשיעורים עצמאית למידה ) ( שימוש4התלמידים יכולים לבחור מטלות או משימות שונות על-פי מידת העניין שלהם(; )

( לא-שגרתיות; הוראה )5בשיטות בשיעורים; פרונטלית הוראה קיום בקבוצות6( למידה ) ( השפעותיה של ההתערבות ומידת שביעות-הרצון ממנה )אני אוהב/ת את אופן7הטרוגניות; )

יותר בשיעורים אלה מעניין האופן שבו המורה מלמד/ת בשיעורים אלה, הלימוד/ההוראה מאשר אופן ההוראה בשיעורים אחרים, האופן שבו אנו לומדים בכיתה עוזר לי ללמוד ולהביןבחומר ולהתקדמות לביצוע המטלות אני מרגיש/ה אחראי/ת אלה בשיעורים החומר, את

( וכולי(; מאפשר8הלימודים אלה בשיעורים העבודה )אופן החברתיים היחסים שיפור ) בזה זה מתחרים התלמידים אלה בשיעורים זה, את זה היטב להכיר הכיתה לתלמידי

( אווירת לימודים )רוב התלמידים מעורבים בנעשה בשיעורים, בשיעורים9בלימודים וכולי(; ) ( יחס חיובי של המורה )אני מרגיש/ה נוח לשאול את10אלה יש אווירת לימודים טובה וכולי(; )

המורה כאשר אני מתקשה, המורה עובר/ת בין התלמידים ועוזר/ת לכל אחד על-פי הצורך(.

– במסגרת המחקר פותח דף תצפית )ראו נספח תצפיות וראיונות.7 ( המתמקד15 בבדיקת דרכי ההוראה-הלמידה בכיתה )שימוש בחומרי למידה, ארגון זמן הלמידה ומעורבותם

(pilot)של תלמידים בתהליך הלמידה(. בשלב הפיתוח של דף התצפית נערכו שתי תצפיות שתועדו באמצעות הטופס על-ידי שני עוזרי-מחקר. בעקבות התצפית הראשונה נערכו תיקונים

השנייה ובתצפית התצפית, הסכמבדף ונמצאה שופטים בין המהימנות שלנבדקה ה בחלק השני.73% בהשוואה בין דיווחי התצפיתנים בחלק הראשון של התצפית, ושל 100%

בעקבות תצפיות אלה הוכנסו תיקונים אחדים בדף התצפית, והיבטים שלגביהם לא הייתה הסכמה בין התצפיתנים נידונו בצוות המחקר והובהרו כדי להבטיח מידת הסכמה גבוהה יותר

בין התצפיתנים בשלב מאוחר יותר.

Page 8: Instrument Validity & Reliabilty Examples

4מחקר מס.

סיכום מחקר – מבחן בשלות יחידני לכיתה א' שפ"ח קרית-ביאליק–מחברות: רלי אביטל ושרון פילובסקי

http://cms.education.gov.il/EducationCMS/Units/Shefi/ShlaveiChaim/GilRach/gilrach/MivhatBshalut.htm

תקציר

, עוסק בפיתוח מבחן בשלות יחידני משלים2000-2003הפרוייקט הנדון, אשר נערך בין השנים

)להלן: מב"מ( למבחן הסקירה הקבוצתי לילדי גן )המסל"ג(, אשר מזה כעשרים שנה משמש כאמצעי

מרכזי להערכת בשלותם של ילדי גן לכיתה א' בשפ"ח קרית-ביאליק ובשפ"חים נוספים ברחבי הארץ.

אוכלוסיית היעד של המבחן היא ילדי גן-חובה המועמדים לעליה לכיתה א', והוא נועד להעריך את

בשלותם ללמידה בביה"ס )המבחן מעריך ישירות את בשלותם השכלית של הילדים, אולם העברתו

היחידנית מספקת בעקיפין מידע עשיר אף על תחום הבשלות הרגשית(. בנוסף, נועד המבחן לשמש

ככלי לאיתור מוקדם של ילדי גם הנמצאים בסיכון לפיתוח ליקויי למידה עתידיים.

- התמקד בפיתוח המבחן. בשנת2000-2001 אשר נערך בשנים –חלקו הראשון של הפרוייקט

נערכו שני מחקרי חלוץ, אשר במהלך כל2000-2001 פותח הנוסח הראשוני של המבחן, ובשנים 2000

ילדים מ- 40אחד מהם הועבר המב"מ לקבוצה של כ- גני חובה בקרית-ביאליק. במסגרת מחקרי7

יכולת ההבחנה של פריטי המבחן, פותחו קריטריונים ניתוחי פריטים להערכת החלוץ הללו בוצעו

אובייקטיבים לציינון המבחן, ובהתאם לממצאיהם הוכנסו התאמות שונות בתתי המבחנים, בפריטי

המבחן ובקריטריונים לציינון, עד לגיבוש הנוסח הסופי של המבחן.

הנוסח הסופי של מבחן הבשלות המשלים כולל עשרה תתי-מבחנים: ידיעות, אוצר מילים,

חשיבה מושגית, זכירת מילים, זכירת משפטים, הבנת הנשמע, עיבוד פונולוגי, הבנה חברתית, זכירה

דקות. המבחן מצויינן בהתאם25-30חזותית וחשבון. המבחן מועבר באופן יחידני, והעברתו אורכת כ-

לקריטריונים נתונים, וציוניו הגולמיים מומרים לציוני קריטריון ברי-השוואה.

אשר נערך בשנים –חלקו השני של הפרוייקט - התמקד בהערכת יעילותו של2002-2003

בשנת מדידה. ככלי והמב"מ2002המב"מ )הקבוצתי( המסל"ג - הבשלות מבחני שני הועברו

ילדי גן חובה בקרית-ביאליק ובבית שאן, ובשנת 102)היחידני( - לקבוצה של נאספו נתונים2003

ילדים מקבוצה זו אשר עלו לכיתה א'. על בסיס מאגר57אודות ההישגים הלימודיים בכיתה א' של

נתונים זה פותח סולם אחיד ובר-השוואה של ציוני קריטריון לציינון המב"מ, וחושבו נתוני המהימנות

והתוקף שלו. נבדקה המהימנות הבין-מעריכית )באמצעות ציינון המבמ"ים ע"י שתי מעריכות בלתי

תלויות(, ובנוסף נבדקו שני סוגי תוקף: א. תוקף מבנה )יוצג ע"י הקשר בין הציונים במבחן המשלים ובין

הציונים במסל"ג והערכות הגננת את בשלותם של ילדי הגן(; ב. תוקף ניבוי )יוצג ע"י הקשר בין הציונים

קריטריונים של התפקוד וההישגים בתחום הלימודי בכיתה א'(.6במבחן המשלים והציונים ב-

rהממצאים מצביעים על כך שלמבחן הבשלות המשלים מהימנות בין-מעריכית גבוהה ביותר )

= )מתאמים של 0.98 גבוהים נתוני תוקף מבנה והערכות הבשלות של0.61(, ציוני המסל"ג עם

הגננות(, ונתוני תוקף ניבוי משביעי רצון )המתאמים של הציונים במבחן המשלים עם ציוני הקריטריונים

, לאחר קיצוץ תחום(.0.36-0.52להישגים בכיתה א' נעים בין

Page 9: Instrument Validity & Reliabilty Examples

5מחקר מס.

רגשית אינטליגנציה מדדי

http://www.midgam.com/thesis/NoaShadmi/thesis4.asp

סוגי שני על בהתבסס מדידה, אסטרטגיות לשתי בהתאם פותחו א.ר, למדידת השונים הכלים & ,Mayer, Caruso המודלים התיאורטיים שמהם נגזרו. החוקרים המצדדים במודלים של יכולת )כמו

Salovey, 1999 ,),רגשות, שואפים להעריך א. המגדירים א.ר כמערכת תחומה היטב של יכולות עיבודיכולת ישירות את הנבדק על פי רמת ביצוע במטלה ר דרך מבחני ביצוע אובייקטיביים, הבודקים

קונבנציונליים כללית אינטליגנציה למבחני בדומה במודלים. כלשהי, המצדדים שהחוקרים בעוד -Bar היבטים רבים של התפקוד האישי )כמו מעורבים, התופסים את האינטליגנציה הרגשית כמקיפה

On, 1997; Boyatzis, Goleman & Rhee., שואפים למדוד א.ר דרך שאלוני דיווח עצמי,;(, 2000 . לגבי יכולתו בתחומי א.ר המתבססים על תפיסה עצמית של הנבדק

הערכת איכות פסיכומטרית של מדד אינטליגנציה רגשית

להיות מהימן, על מנת שמדד א.ר יחשב איכותי, הוא צריך לעמוד במספר תנאים: ראשית, המדד צריך התנהגות אובייקטיביים. זאת כמו מבחני אינטליגנציה כללית. שנית, חשוב שהמדד ינבא קריטריוני

מעבר למדדי אינטליגנציה( incremental validity )ועוד, למבחני א.ר צריך להיות גם תוקף ניבוי מוסף תוקף(. Matthews, Zeidner & Roberts., 2003a )הא.ר מיותר כללית ואישיות קיימים; אחרת, מושג

(Anastasi & Urbina, 1997 )אכן מודד את התבנית התיאורטית שנועד לבדוק מבנה בוחן האם מבחן גורם מרכזי בהערכת איכות פסיכומטרית של מדד. אחת הצורות החשובות ביותר של תיקוף ומהווה

(discriminant validity )והתוקף המבחין( convergent validity )מבנה היא בחינה של התוקף המתכנס)של המדד Campbell & Fiske, 1959 .)אך גם תייצג כישורים, על מנת שא.ר תיחשב אינטליגנציה

מדד א.ר עם אינטליגנציות אחרות ייחודיים, מעבר לאלה השייכים לאינטליגנציות אחרות, המתאם של)אמור להיות מתון, כלומר אמור להתקבל תוקף מתכנס Matthews et al., 2003a; Mayer et al.,

אינטליגנציות אחרות מעיד כי לא מדובר באינטליגנציה, מתאם נמוך של מדד א.ר עם מדדי(. 1999 א.ר עם אינטליגנציות אחרות מעיד שהמבחן כנראה מודד משהו בעוד שמתאם גבוה מאוד של מדד

ייחודית של תבנית האינטליגנציה הרגשית ולכן המבחן מיותר, בהתחשב שהוא לא א.ר ואין כאן תרומה בנוסף א.ר מערבת בחינה(. Mayer et al., 1999; Matthews et al., 2003a )אחרים במדדים קיימים

ודאגה לרגשות הזולת, כך שהיא צריכה להיות קשורה לגורמים אישיותיים יותר מאשר סוגים עצמית אך הקשר(, Janovics & Christiansen, 2001( )אחרים של אינטליגנציה )שאינם קשורים כלל לאישיות

בסוג של אינטליגנציה ולא אמור להיות חלש - כלומר אמור להתקבל תוקף מבחין - מכיוון שמדובר כאן. במודל אישיות

נחשבים נמוכים מאוד; .10( מתאמים הנמוכים מ - .2002לפי מתיו'ס ועמיתיו ) 10.-30 - מתאמים - מתאמים מתונים; .50-.30נמוכים; . - מתאמים גבוהים; מעל .70-.50 )מתאמים גבוהים מאוד 70

Matthews, 2002 .)

מדדי דיווח עצמי

יכולתם מדדי דיווח עצמי מבוססים על ההנחה שאנשים מסוגלים לדרג בעצמם, בצורה מדויקת, את תובנה טובה הרגשית וההתנהגויות שלהם הקשורות לא.ר. אסטרטגיה מדידה זו מניחה שלאנשים יש

)יותר לגבי תפקודם הרגשי, מאשר ליכולותיהם האינטלקטואליות Matthews, Zeidner & Roberts, 2003b . )לדוגמא )קיימים מספר שאלוני דיווח עצמי למדידת א.ר :TEIque; EIQ; EQ MAP; SSRI; TMMS )במודלים המעורבים לא.ר, שאלונים אלו שונים כאשר בהתאם לחוסר האחידות התיאורטית

Page 10: Instrument Validity & Reliabilty Examples

ודאות לגבי הגדרת א.ר. שני השאלונים הנפוצים ביותר בצורה משמעותית בתוכנם ומשקפים חוסר(. MacCan et al., in press )שיפורטו להלן ECI - וה EQ-i - למדידת א.ר הם ה

המודל התיאורטי של בראון נחשב כשאלון המוביל למדידת א.ר. שאלון זה מבוסס על EQ-i - שאלון ה בסולם התשובות חמש דרגות פריטים, כאשר133שצויין לעיל, הוא כולל (. Bar-On, 1997 )של בראון

את פוטנציאל הביצוע ולא את הביצוע )מ"מאד נכון עבורי" עד "מאד לא נכון עבורי"(. השאלון מודדמפיקים הפריטים תת-מבחני15עצמו. EQ ,חמשת מיומנויות לפי התיאורטי: במודל התחומים

ויחסים חברתית אחריות )אמפתיה, מודעות בין-אישיות )כגון: תוך-אישיות מיומנויות בין-אישיים(, הגשמה עצמית ועצמאות(, כושר הסתגלות )פתרון בעיות רגשיות,, רגשית, אסרטיביות, קבלה עצמית

התמודדות עם לחץ )סבילות ללחץ, שליטה בדחפים( ומצב רוח כללי )אושר(, בוחן מציאות וגמישות )כמו15 וסטיית תקן 100ציוני תת-המבחנים הגולמיים מומרים לציוני תקן, עם ממוצע (. ואופטימיות

וציון חוסר במבחני המשכל(. השאלון כולל גם בדיקות תוקף - מופקים ממנו ציוני רושם חיובי ושלילי. עקביות בתשובות

מהימנויות מבחן נתונים פסיכומטריים - נקודת חוזק מרכזית בשאלון היא המהימנות הטובה: לשאלון ועקיבות פנימית טובות )לדוגמא( Bar-On, 1997., 85. לאחר ארבע חודשים 75חוזר ) לאחר חודש ו -

ציון אלפא קרונבאך של תת-המבחנים השונים נע, Bar-On Brown, Kirkcaldy & Thome, 2000- לפי מקושרים ביניהם EQ-i - כמה מתת-המבחנים המרכזיים של ה: (. נקודות החולשה הן85 ל - .75בין .

המשמשים ביותר מתת-מבחן אחד; בעיה שעלולה להשפיע על תוקף בצורה חזקה, בגלל שיש פריטים זאת ועוד, יש בעיות באישוש המודל התיאורטי מהשאלון - ניתוח(. MacCan et al., in press )המבנה

העלה רק שלושה גורמים, שניתן( Matthews, Zeidner & Roberts, 2002 לשאלון )ראה גורמים שבוצעאינו הניבוי של השאלון כן תוקף כמו ושליטה בדחפים. גבוה לכנותם הערכה עצמית; אמפאתיה

מדגמים, 13 מצאו במטה אנליזה שביצעו על סמך )Viswesvaran )in press - ו Van Rooy - במיוחד תעסוקתיים, אקדמיים ועוד( של נבדקים, שתוקף הניבוי הכולל לביצוע )מול קריטריונים3046הכוללים בגובהו מבין חמשת כלי הא.ר שנבדקו )שתוקף . תוקף ניבוי זה הוא הרביעי20הוא . EQ-i - שאלון ה

. 23.-12הניבוי הכולל של חמשת גורמי השאלון נע בין .(. תוקף32.-19ניבוי הביצוע שלהם נע בין

נמוך וחוסר נקודות החולשה המרכזיות של השאלון הם קשר חזק מדי עם תכונות אישיות - תוקף מבחין- קשר עם אינטליגנציה כללית - תוקף מתכנס נמוך. מחקרים על ה EQ-i( ;Buford, 2002: לדוגמא

Dawda & Hart, 2000; Newsome, Day & Catano, 2000 )מצאו שרוב השונות בכלי יכולה להיות נראה שמדד זה משקף בעיקר נוירוטיות נמוכה. מיוחסת למודל הידוע, של חמשת גורמי האישיות

ו )Agreeableness )r=.43(, r=.56, .52 )מאקסרוורטיות עם תרומות קטנות יותר( r=-.72, -.62 )למשל -Conscientiousness )r=.51, .33(( המתאמים בסוגריים לקוחים מ - Dawda & Hart, 2000 ,כאשר

יותר הן של הנשים במחקר(. מכיוון שהמתאם בין נוירוטיות והשאלון גבוה בדרך המתאמים הגבוהים כמו מקדם המהימנות של השאלון, ניתן לטעון שמדד זה כולל בעיקר היבטים של יציבות כלל כמעט

)נפרד רגשית )נוירוטיות נמוכה( הקשורה להתנהגות אינטליגנטית רגשית, מאשר מצביע על מושג Matthews et al., )כמו כן, נמצא קשר חזק(. 2002 r=-.77- -.70 ,)תכונתית לציון הא.ר בין חרדה

)המופק משאלון זה Bar-On, 1997, 2000; Newsome et al., 2000; OConner & Little, 2003 )כך MacCan et al., in )חופש מחרדה תכונתית מודדים באופן משמעותי EQ-i - שנראה שתת-המבחנים ב

press .)עקביים ממצאים יש ועוד, )זאת Bar-0n, 2000; Derksen, Kramer & Katzo 2002; Newsome et al., 2000 )שלשאלון ה - EQ-i יש קשר חלש מאוד )המתאמים הגבוהים ביותר נעים

. )כמו ( להרבה מבחני10סביב כללית ,Raven מבחן המטריצות של, WAIS אינטליגנציה WPT) )של אינטליגנציה כללית המייצגים סוגים שונים g, Gc - - אינטליגנציה מגובשת ו Gf - אינטליגנציה

(. נזילה

,Boyatzis )שפותח על ידי בויאטסיס ועמיתים, Emotional Competence Inventory: ECI - שאלון הGoleman & Rhee, 2000 ,) פריטים ובעל סולם תשובות של 110כולל - "התנהגות 6 נקודות )מ

)התיאורטי של גולמן אופיינית מעט" ועד "התנהגות אופיינית מאוד"( מבוסס על המודל Goleman, כישורים: )20המכילים , לא.ר, המפורט לעיל, ובהתאם מחולק לארבעה גורמים( 2001 ( מודעות1

( מודעות חברתית: אמפאתיה2ובטחון עצמי; ) עצמית: מודעות עצמית רגשית, הערכה עצמית מדויקתעצמית, זכאות לאמון, אחריות, סתגלנות, מניע הישג ויוזמה ) ( ניהול עצמי: שליטה3ומודעות ארגונית )

יחסים4 ניהול מערכות קונפליקטים,: ( ניהול פיתוח אחרים, מוכוונות לשירות, השפעה, תקשורת, הוא שהוא ECI - שינוי, בניית קשרים ועבודת צוות ושתוף פעולה. מאפיין חשוב של ה מנהיגות, זירוז

)מנהלים אינו דו"חות של אחרים משמעותיים בארגון גם על דיווח עצמי, אלא נסמך כלי ,לגמרי אם הוא עמיתים וכפיפים(. בהתבסס על מאפיין זה, תומכי הכלי הציעו שסביר שהוא תקף יותר, מאשר

Page 11: Instrument Validity & Reliabilty Examples

זה לכשעצמו )מועטים היה מבוסס על הערכה עצמית טהורה, למרות שנתונים העוסקים בנושא MacCan et al., in press .)

- הנתונים הפסיכומטריים שפורסמו על שאלון ה ECI פורסמו מבוססים על דו"חות ארגונים שלא באופן עצמאי ולכן בספרות המחקרית, או שהם מבוססי אנקדוטות, כך שלא ניתן לבחון אותם בקפידה

(2000 )ועמיתיו Boyatzis, מקרה בכל(. Matthews et al., 2003b )לא ניתן להמליץ על שימוש בשאלון כאשר מודעות חברתית ומיומנויות חברתיות, מציינים שיש קשיים באישוש המודל התיאורטי מהשאלון

. -76השאלון נמוכות: כך למשל נמצאו מהימנויות של נוטים להגדיר גורם משותף. חלק ממהימנויות)של הנבדק . לארבעת הגורמים בדיווח עצמי96 Sala, 2002 ,)אך בהערכה של אחרים את הנבדק

- בלבד; בעוד ש. 92. - 61המהימנויות נעות בין Boyatzis ( מדווחים על מהימנויות2000ועמיתיו ) הכישורים בדיווח העצמי ובין 20. ל - 87. - 62בין אלפא קרונבאך הנעות . בהערכה של95. - 80

מצאו במטה )Viswesvaran )in press - ו Van Rooy - שתוקף הניבוי של השאלון סביר אחרים. נראה שאלון ה נבדקים, שתוקף הניבוי הכולל לביצוע של1292 מדגמים, הכוללים 6אנליזה שביצעו על סמך

-ECI התוקף המבחין של. . תוקף ניבוי זה הוא השלישי בגובהו מבין חמשת כלי הא.ר שנבדקו23הוא קשור במידה נמוכה ECI - למדי. ה אך עדיין נמוך, EQ-i - מתכונות אישיות טוב יותר משל ה ECI - ה

.( ועם49. - 24נמוך - מתון עם אקסטרוורטיות ) אך מראה מתאם(, r= -.20 - -.07 )בלבד לנוירוטיות . -02.( ומתאם אפסי עם נועם הליכות )28. - 20עם פתיחות ) .(, מתאם נמוך39. - 21צורך בשליטה )

08( ).Sala, 2002 .)

מועט בקרב נראה שיש מספר בעיות כלליות בשאלוני דיווח עצמי למדידת א.ר. ראשית, יש קונצנזוס מודדים גם מאפיינים ושאלוני א.ר( Matthews et al., 2003b )החוקרים השונים בקשר להגדרת המושג

אסרטיביות, אופטימיות ושליטה בדחפים(,: לא קוגניטיביים, הקשורים למושגי אישיות מבוססים )כגון שנית, שאלוני דיווח עצמי מתבססים על תפיסה עצמית(. Matthews et al., 2002 )יותר מאשר לא.ר

ולכן התשובות עלולות להיות לא מדויקות במיוחד )למעשה, לפי של האדם לגבי יכולתו בתחומי א.רMatthews etאנשים בעלי א.ר נמוכה לגבי רגשותיהם, לוקה בחסר הגדרת א.ר, התובנה של al.,

2003b ) רצייה חברתית, והפריטים לגורמי מכיוון שהם חשופים מכוונת אישית זמינים לפרשנות )רושם הטעייה וניהול Roberts, Zeidner & Matthews, 2001 .)נמצא ששאלוני אמפתיה - שלעיתים

)דירוג "דיוק אמפתי" של אובייקטיביים למדדים קשורים לא - א.ר כמרכיב של הרגשות נתפסת אלו מקושרים במידה זאת ועוד, שאלונים(. Davis & Kraus, 1997(, )ומאפייני האישיות של אחרים

(,Matthewes et al., 2003b )ניכרת למדדי אישיות, המבוססים טוב יותר, כמו חמשת גורמי האישיותחופש כללי באופן הם א.ר, לשאלוני המשותפים שהמרכיבים של כך היבטים בצירוף מחרדה,

משמעותית להערכה מסורתית של אישיות אקסטרוורטיות ולמעשה טרם הוכח ששאלוני א.ר מוסיפים(MacCan et al., in press )תעסוקתי גם לגבי ניבוי ביצוע( Zeidner et al., in press .)כמו כן, קיימים

g - ו Gf, Gc - קשורים למבחני אינטליגנציה כללית, על כל סוגיה ממצאים עקביים ששאלוני א.ר לא)MacCan et al., in press( - Van Rooy ו - Viswesvaran )in press( מצאו במטה אנליזה שביצעו

נבדקים(, שהמתאם בין שאלוני דיווח עצמי למבחני אינטלגנציה1962מחקרים ו - 10 )בהתבסס על טוב , כך שאמנם קיימים מספר שאלוני דיווח עצמי לא.ר מהימנים ובעלי תוקף ניבוי09היה רק . כללית

המתכנס )בעיקר מול קריטריונים של מתח והסתגלות(, אך מכיוון שגם התוקף המבחין וגם התוקף ,Barrett, Miguel )לקוי תוקף המבנה של שאלונים אלו(, Davies, Stankov & Roberts, 1998 )נמוכים

Tan & Hurd, 2001 ,)מדווחת כיכולת לגיטימית עובדה שקוראת תיגר על הגדרת א.ר .

מדדי ביצוע

בפיתוח Mayer, Salovey, & Caruso לאור הבעיות המצוינות לעיל בנוגע לשאלוני דיווח עצמי, דוגלים & Mayer, Caruso & Salovey, 1999, 2000; Mayer )מבחני יכולת מבוססי ביצוע ואוביקטיביים לא.ר

Salovey, 1997; Mayer et al., 2000 .)הביצוע בודקים ישירות את יכולת האדם בתחומי א.ר על מבחני רגש בפני אדם או ניתוח רגשות העולים במצב מסוים. כך שהמשתנה פי ביצוע משימות, לדוגמא: זיהוי

. האדם לגבי יכולתו, אלא יכולתו בפועל הנמדד הוא לא תפיסתו של

לא.ר שפותח על הוא מבחן הביצוע הראשון - Multifactor Emotional Intelligence Scale - MEIS - ה) Mayer ידי יותר שמדדו מושגים קשורים1999ועמיתיו יצירתיות רגשית, ( ממדדים מוקדמים כמו

הוא מבחן(. Mayer, Salovey, Caruso & Sitarenios 2003 )אינטליגנציה חברתית ותפיסה לא-ורבלית המודדים את ארבעת הגורמים במודל התיאורטי של, תת-מבחנים12נייר ועיפרון, רב ברירתי, הכולל

תפיסת רגש, נמדד באמצעות ארבעה תת-מבחנים, שבכל, החוקרים, שתואר לעיל. הגורם הראשון בפנים אנושיות, עיצובים, מוזיקה או סיפורים קצרים. הגורם אחד מהם מתבקש הנבחן לזהות רגש

Page 12: Instrument Validity & Reliabilty Examples

ידי שני תת-מבחנים: "סינתיזה", בו מתבקש הנבחן לדמיין סיטואציה השני, שימוש ברגש, נמדד על מסוים ולתאר אותה בשפה לא רגשית וב"הטיות בתחושה", מתבקש הנבחן להעריך שבה הוא חש רגש

ידי מידע רגשי ולא רלוונטי ביחס למידע קוגניטיבי. הגורם השלישי, הבנת רגש, נמדד על רלוונטי משתנים ארבעה תת-מבחנים, הבודקים ידע לגבי רגשות מורכבים )"תערובת מורכבת"(, איך רגשות

והשכיחות של תגובות"( במשך הזמן )"המשכיות"(, שינויים צפויים ממצב רגשי התחלתי )"מעברים ניהול רגש, נמדד על ידי שני, רגשיות של שני אנשים במצבים דומים )"פרספקטיבה"(. הגורם הרביעי

שונות בפתרון בעיה רגשית, המערבת תת-מבחנים: "ניהול הזולת", מעריך את היעילות של תגובות. המערבים את הנבחן עצמו אנשים אחרים ו"ניהול עצמי" מעריך תגובות במצבים

לפריטים הבעיה המרכזית בשימוש במבחני ביצוע לא.ר היא ציינון הפריטים )ההחלטה איזה תשובות התשובות הנכונות יחשבו כנכונות או שגויות(, מאחר שקשה מאוד להחליט באופן אובייקטיבי מהם

א.ר ביצוע של ציינון למבחני יש שתי שיטות רגשי. תוכן כאשר השיטה המועדפת, לפריט הכולל קונצנזוס. בשיטה זו הציון שמקבל נבדק היא ציינון על ידי( Matthews et al., 2003b )והמקובלת יותר

שבחרו בתשובה שאותה בחר הנבדק )לדוגמא, אם עבור תשובתו לפריט מסוים, זהה לאחוז הנבדקיםהופיעה מסוימת פנים שבהבעת מחליט "נבדק ידי על נבחרה זו ואפשרות רבה" 45%הפתעה

עבור פריט0.45מהמדגם, הנבחן יקבל ציון (.1זה. הסבר מפורט על שיטת ציינון זו מופיע בנספח ממדגם גדול ומייצג של אנשים וצורפו יחד יכולים לשמש אינדיקטור גישה זו מניחה שנתונים שנאספו

שהמודל הארבע גורמי לא.ר משער שידע רגשי טבוע בתוך הקשר חברתי כללי מהימן לא.ר, מכיוון זו שיטת ציינון(. Mayer, Salovey, Caruso & Sitarenios, 2001 )תקשורת ואינטראקציה ומתפתח של

ולכן בשלב(, Mayer at al, 1999 )גם בדרך כלל מהימנה יותר ומפיקה מבנה גורמי טוב יותר למבחןזו )כשהמדגם מורכב מאנשים מאותה חברה כמו הנבחן( נחשבת כאומדן הקרוב ביותר זה, שיטה

)לתשובות "נכונות" במבחני ביצוע לא.ר Matthews et al., שקיימת ביקורת גם על למרות(. 2002 (. Roberts et al., 2001 )שיטה זו

כגון: פסיכולוגים, )שיטת הציינון השנייה היא ציינון על ידי מומחים. בשיטה זו מומחים בתחום הרגשותשלהם ביותר הטובה בהערכה משתמשים וכו'( פילוסופים מהי פסיכיאטרים, להחליט מנת על תשובות התואמות לאלו התשובה הנכונה לכל פריט במבחן, כאשר הנבחן מקבל נקודות זכות על

הנראה, מומחים בתחום הרגש מביאים שנתנו על ידי המומחים. הרציונל לשימוש בשיטה זו הוא, שכל המסייע בזיהוי תשובות נכונות במהימנות גבוהה(, ידע מקצועי )בנוסף להיסטוריה של ידע התנהגותי

המחקר מספק שיטות טובות יחסית לזיהוי תשובה נכונה, יותר מאשר האדם הממוצע, בעיקר כאשר )נטען(. Mayer et al., 2001 )והמשמעות של מונחים רגשיים כמו במקרה של הבעות רגש בפני אדם

Legree, 1995 )מומחים היא לא יותר מאשר אינדיקטור מהימן לקונצנזוס הקבוצה, אף על כי הערכת . באינדיקטור רגיש במיוחד, הואיל ומדובר על מומחים בתחום הרגש פי שמדובר

- נקודות החוזק הפסיכומטריות של ה MEIS וארבעת הן מהימנות עקיבות פנימית )של כלל המבחן ,.Caruso et al., 2002a; Ciarrochi, Chan & Caputi, 2000; Matthews et al )הגורמים( ותוקף מבנה

2002; Matthews et al., 2003a; Mayer, Salovey et al., 2000 . )

של כלל מהימנות - מהימנות העקיבות הפנימית של כלל המבחן וארבעת הגורמים טובה. המהימנות ;Caruso et al., 2002a; Ciarrochi et al., 2000; Mayer et al., 1999. )96. - 90המבחן נעה בין

Roberts et al., 2001 ) כשלגורם תפיסת רגש יש את., 94. - 70ומהימנויות ארבעת הגורמים נעות בין זה הכי הרבה פריטים( והמהימנויות הנמוכות המהימנות הגבוהה ביותר )זה נוצר גם מכיוון שבגורם

וניהול רגש יותר התקבלו עבור שני הגורמים הגבוהים - הבנה )בהיררכית המודל Caruso et al., 2002a; Ciarrochi et al., 2000 .)מהימנות מבחן חוזר לכלל המבחן - r= .75 )Caruso et al., 2002a( .

- תוקף מבנה - נראה שאחת מנקודות החוזק הבולטות ביותר של ה MEIS שלו, היא תוקף המבנה (. Matthews et al., 2002 )המורכב מתוקף מתכנס ותוקף מבחין טובים

- תוקף מתכנס - קשרים חיוביים מתונים ועקביים דווחו בין ה MEIS אינטליגנציה כללית, ומבחני ועמיתיו ) Roberts, מילולי(. לדוגמא המודדים בעיקר אינטליגנציה מגובשת )כמו מבחנים מבוססי ידע

- ( ו2001 Mayer ( מצאו מתאמים של1999ועמיתיו ) בהתאמה. בדומה מצאו, ואן רוי36ו - . 32 . נבדקים(, שהמתאם בין ציון ה1368מחקרים ו - 8וויסוורן במטה אנליזה שביצעו )בהתבסס על -

MEIS כך שיש למבחן זה תוקף מתכנס טוב33היה הכללי למבחני אינטליגנציה כללית ,.( Van Rooy & Viswesvaran, in press .)

Page 13: Instrument Validity & Reliabilty Examples

לשאלוני דיווח עצמי. קשרים נמוכים עם משתני אישיות שונים, בניגוד MEIS - תוקף מבחין - נמצא של נוירוטיות הם אלו המדווחים ביותר מתאמים חיוביים עם נועם הליכות וצורך בשליטה ושליליים עם

ועמיתיו ) Mayer, . כמו כן30כלל נמוכים מ - אך המתאמים בדרך(, Roberts, et al., 2001: )לדוגמא לבין תכונות האישיות שנמדדו על ידי שאלון הדיווח העצמי MEIS - ( מצאו קשרים חלשים בין ה1999

Mayer )ותכונות אחרות כגון: אמפאתיה והערכה עצמית( r=.22 היה המתאם הגבוה ביותר )16PFה - et al., 2000 .)

תת-מבחנים הם: הוא אורך זמן רב; תוקף הניבוי שלו לא גבוה; למספר MEIS - נקודות החולשה של היכולת; רוב המידע האמפירי אינו תומך במודל יש מהימנות נמוכה, ללא ספק, מהמצופה ממבחן

,Matthews et al )הארבע גורמי שלפיו פותח המבחן ויש בעיה חמורה של התאמה בין שיטות ציינון2002 .)

,.Matthews et al )נמוך למדי ביחס למדדי א.ר אחרים MEIS - תוקף ניבוי - נראה שתוקף הניבוי של ה2003a .) וויסוורן מצאו במטה אנליזה שביצעו על סמך נבדקים,1368מדגמים, הכוללים 8ואן רוי

. תוקף19הוא MEIS - אקדמיים ועוד( של מבחן ה, שתוקף הניבוי הכולל )מול קריטריונים תעסוקתיים)חמשת כלי הא.ר שנבדקו ניבוי של כלי זה הוא הנמוך ביותר מבין Van Rooy & Viswesvaran, in

press .)

- 0.31 תת-המבחנים נעה בין 12מהימנות של תת-המבחנים מהימנות אלפא קרונבאך של 0.94( ,Caruso et al., 2002a; Ciarrochi et al., 2000; Mayer et al., 1999; Roberts et al., 2001 .)נראה

המהימנויות הגבוהות ביותר(, הם שמספר תת-מבחנים, בעיקר אלו המודדים תפיסת רגש )שלהם)כמו תת-המבחנים מהימנים בזכות עצמם, אך תת-מבחנים אחרים, בעיקר אלה המודדים הבנה

( וניהול8מספר הפריטים הנמוך ביותר - המשכיות ותערובת, שלהם המהימנויות הנמוכות ביותר וגם בעייתיים ביותר מכיוון ששני גורמים אלו )המרכיבים, רגש, אינם מהימנים דיים. ממצאים עקביים אלה

קשורים לניבוי התנהגות חברתית בעולם האמיתי ולכן נחשבים את התחום האסטרטגי במודל( הכי Matthews et al., 2002; Roberts )ובמודל הארבע גורמי לא.ר MEIS - כמרכיבים החשובים ביותר ב

et al., 2001 .)

שעליו מבוסס מבנה גורמי - ניתוחי גורמים שונים אינם מאוששים את המבנה התיאורטי הארבע גורמי- המבחן, כאשר שום ניתוח גורמים שבוצע ל MEIS ,גורמי בצורה ברורה לא העלה פתרון ארבעה

(Matthews et al., 2002 )בקושי מדווחים די( Mayer et al., 1999 )ועקבית. נראה שרק מחברי המבחן מדווחים( Roberts et al., 2001 )אחרים על מבנה גורמי של ארבעה גורמים במבחן, בעוד שחוקרים

וניהול רגש( או שני גורמים בלבד )תפיסת רגש והבנה רק על שלושה גורמים )תפיסת רגש, הבנת רגש חוסר התאמה בין שיטות ציינון נראה שהבעיה הפסיכומטרית החמורה( Ciarrochi et al., 2000( )וניהול שהתקבלו MEIS - היא חוסר ההתאמה בין ציוני ה( Mayer et al., 1999; Roberts et al., 2001 )ביותר

בלבד משיטות מומחים שני על )שהתבססה המומחים ושיטת הקונצנזוס שיטת - שונות (.ציינון הכוללים, MEIS - מצאו שהמתאם בין שני ציוני ה( Roberts et al., 2001 )לדוגמא, רוברטס ועמיתיו

משמעותי בכל ., כאשר גודל המתאם משתנה באופן48שחושבו לפי כל אחת משיטות הציינון הוא )ביותר בהבנת רגש התקבל בתפיסת רגש והגבוה( r= -.02 )אחד מהגורמים - המתאם הנמוך ביותר

r= .78 . )

( ועמיתיו לא.ר2003מאייר חדש ביצוע מבחן פיתחו )- Mayer-Salovey-Caruso Emotional Intelligence Test )MSCEIT( ,המהווה שכלול של ה - MEIS ,יותר, קל במטרה ליצור מבחן קצר

- להעברה, שמתגבר על הבעיות הפסיכומטריות של ה MEIS ,בנקודות החוזק שלו ללא פגיעה( Matthews et al., 2002 .)זה. ה תשומת הלב המחקרית מופנית כעת למבחן - MSCEIT מבוסס גם כן

)על המודל הארבע-גורמי של מאייר וסלווי Mayer & Salovey, 1997 )ושתי שיטות הציינון הנהוגות כאשר מספר המומחים )MSCEIT - ומומחים נהוגות גם ב הערכה על ידי קונצנזוס - MEIS - במבחן ה יש שתי גרסאות ל( . MSCEIT - חוקרים בתחום הרגש ב21ל - MEIS - ממחברי המבחן ב2עלה מ -

-MSCEIT : 2.0 וגרסה1.1גרסה( Mayer et al., 2003 .) של ה1.1גרסה - MSCEIT ,לא תתואר כאן - . מבחן ה2.0ניסיונית שהוחלפה מהר מאוד על ידי גרסה מכיון שהיא גרסה MSCEIT , 2.0גרסה

.MEIS- ב12 מבחני יכולת של אינטיליגנציה רגשית )במקום 8בלבד( מכיל MSCEIT יכונה )שמעתה את כאשר כל שני מבחנים בודקים(, MEIS - כמו כן בתתי-המבחנים יש גם פחות פריטים לעומת ה

תיאור מפורט )אחד הגורמים במודל הארבע גורמי: תפיסת רגש, שימוש ברגש, הבנת רגש וניהול רגש MSCEIT - והמהימנות של ה של הכלי מובא בפרק השיטה(. עד היום מעט מחקרים בחנו את התוקף

. הפסיכומטריים של המבחן יפורטו להלן , מכיוון שזהו כלי חדש ביותר. עיקר הנתונים2.0ג-

Page 14: Instrument Validity & Reliabilty Examples

- נראה שרוב נקודות החוזק של ה MEIS :ותוקף מהימנות טובה של כלל המבחן וארבעת הגורמים - מבנה טוב נשמרו ב MSCEIT .מהימנות - ה - MSCEIT כללית מספק הערכה מהימנה של א.ר

)וארבעת הגורמים בשתי שיטות הציינון Mayer et al., 2003; Matthews et al., 2003b .)מהימנויות ה split-half העקיבות הפנימית מסוג - של מבחן MSCEIT ,לפי Mayer ( ( בשיטת2003ועמיתיו

.; שימוש91., 90תפיסת רגש - .; 93., 91הקונצנזוס ובשיטת המומחים הם, בהתאמה: כלל המבחן - ברקט ומאייר מדווחים על מהימנות מבחן. . 83., 81.; ניהול רגש 80., 77.; הבנת רגש 79., 76ברגש -

,Brackett & Mayer )בהפרש של מעל שלושה שבועות MSCEIT - r=.86 - חוזר סבירה, לכלל מבחן ה2003 .)

תוקף המבנה

- תוקף מתכנס - כמעט ואין מחקרים העוסקים בקשר שבין ה MSCEIT כללית. ומדדי אינטליגנציה - יאנוביץ' וקריסטיאנסן מצאו מתאם מתון ומובהק r=.32( מהימנות( - בין ציון עם תיקון בגלל חוסר

- כללי ב MSCEIT זה -התוקף המתכנס של ה לבין מדד אינטליגנציה כללית, כך שלפי מחקר MSCEIT טוב( Janovics & Christiansen, 2001 .)ל - תוקף מבחין - MSCEIT יש תוקף מבחין טוב

וגורמיו יש מתאמים MSCEIT - מחקרים של נמצא במספר(. Matthews et al., 2003b )ממדדי אישיות לדוגמא: מתאמים חיוביים נמוכים עם צורך בשליטה, Big Five - נמוכים עם גורמי האישיות מסוג ה

שלושת הגורמים האחרים )נוירוטיות, אקסרווטיות ופתיחות(, נמצאו עם(. r=0.02-0.33 )ונועם הליכות אך בדפוס לא עקבי )מתאמים שליליים(, r= .28 המתאם הגבוה ביותר הוא )גם כן מתאמים נמוכים

& Brackett & Mayer, 2003; Brackett, Warner & Mayer, in press; Janovics(. )יחד וחיוביים גםChristiansen, 2001; Lopes, Salovey & Strauss, in press .)נקודה שהייתה בעייתית ביותר ב-

MEIS ושופרה מאוד ב - MSCEIT שיטות הציינון במבחן היא ההתאמה בין שתי .

התאמה בין שיטות ציינון

)ההתאמה הטובה Mayer et al., 2002b, 2003 )וקונצנזוס בין שתי שיטות הציינון - מומחים( r=.98 - לציון הכללי במבחן, ו r=.94-.99 התקדמות חשובה ב לציוני ארבעת הגורמים( מהווה - MSCEIT.

-והמבנה הגורמי נשארו בעייתיות גם ב מהימנות תת המבחנים - MEIS - שתי נקודות חולשה של הMSCEIT .תת המבחנים ב מהימנויות תת המבחנים המהימנויות של - MSCEIT ,שופרה לעין ערוך - לעומת ה MEIS( - תת-המבחנים ב כאשר המהימנויות של כל MSCEIT גבוהות יותר מאשר ב-

MEIS - ) 88.-55תת-המבחנים, בשתי שיטות הציינון, נעה בין 8מהימנות אלפא קרונבאך של( .Mayer et al., 2003 ,)יש כמה מהימנויות נמוכות יותר מהרצוי )בסדר עולה: תחושות, סיוע - שניהם אך עדיין

,.Matthews et al( )4, ניהול מערכות יחסים וניהול רגש - שניהם מגורם 3תערובות - גורם , 2מגורם 2003b; Mayer et al., 2003 .)מבנה גורמי גם המבנה הגורמי של ה - MSCEIT תומך בצורה אינו

Mayer et )מחברי המבחן שוב טוענים(. Mayer & Salovey, 1997 )טובה במודל הארבע גורמי לא.רal., 2003 )במידה ניכרת לעומת מודלים אחרים, אך שהמודל הארבע גורמי, מתאים לנתונים טוב יותר

,ועמיתיו Mayer שניתוח גורמים דומה )שבוצע על ידי סבורים( Matthews et al., 2002 )חוקרים אחריםb2002 )סטטיסטית. חשוב לציין שפתרונות של ניתוח גורמים הם בעצם לא בעייתי מאוד מבחינה

רק שני תתי מבחן, המגדירים משתנה אחד. ניתוח גורמים במקרה כזה, מוחלטים במקרים בהם יש)יותר מאשר המושג שמייחסים למבחן מחברי המבחן יצביע על מושג צר Matthews et al, 2003b.)

- שנקודות החוזק הפסיכומטריות של ה לסיכום, נראה MEIS נשתמרו ב - MSCEIT ומספר בעיות הוא אכן הגירסה MSCEIT - כך שניתן לומר שה, MSCEIT - אכן נפתרו ב MEIS - של ה פסיכומטריות

חולשה ועמיתיו. כמו כן, למרות שיש לו גם מספר נקודות Mayer המשופרת של מבחני הביצוע שלוהמקיף ביותר למדידת א.ר )פסיכומטריות, הוא נחשב מבחן הביצוע העדכני MacCan et al., in

press .)נחשבים כמובילים כיום, מבחני היכולת שפותחו לפי האסכולה של המודל הארבע גורמי לא.ר )ישירה לעומת שאלוני דיווח עצמי בתחום בגלל שהם מוכווני ביצוע, אובייקטיביים, ומאפשרים מדידה

Roberts et al., 2001 .)מחקר זה ימדוד א.ר באמצעות מבחן היכולת בהמשך לנטייה זו בתחום, גם - מבוסס הביצוע המוביל לא.ר - ה MSCEIT תוך בחינה של נתוני תוקף המבנה ותוקף, 2.0 גרסה

. לפי שיטת הקונצנזוס, המומלצת כיום הניבוי שלו, כאשר ציינון הפריטים יתבצע

Page 15: Instrument Validity & Reliabilty Examples

6מחקר מס.

סביבה מתוקשבת להערכה מעצבת של הישגים

, ד"ר טלי פרוינד, חני שלטוןהלנה קימרון

מטח )המרכז לטכנולוגיה חינוכית(

http://portal.macam.ac.il/DbImage.aspx?image=file&id=1431

אופק-הערכה

מתוך רצון להיענות לצורך בשיפור תהליכי הערכה בבית הספר ומתוך אמונה בפוטנציאל של

(http://ofek.cet.ac.il )אופק-הערכהטכנולוגיית האינטרנט להשגת מטרה זו, פיתח מטח את

– סביבה מתוקשבת לניהול תהליכי הערכה פנים בית ספריים. הטמעתה של המערכת מלווה

על-ידי מחקר המתמקד באופן השימוש בה ובאפקטיביות שלה.

כולל אופק-הערכה בחינוך לשוני, במתמטיקה ובמדע מאגר עשיר של פריטי הערכה

נוספים( וטכנולוגיה דעת לתחומי יורחב הוא )בעתיד ה'-ו' יורחבלכיתות הוא )בעתיד

לשכבות גיל נוספות(. במאגר פריטים, המייצגים את תכניות הלימודים ו/או הסטנדרטים בכל

אחד מתחומי הדעת.

ו/או הסטנדרטים גםייצוג תכנית הלימודים פריטים המכוונים ביטוי בהכללת לידי בא

לכישורים ולנושאים ה"מוזנחים" בדרך כלל בהערכה, כמו, מיומנויות הבנת הנשמע, הבעה

וכישורים וארגונם שונים ממקורות מידע ומיזוג איסוף מורכבות, בעיות פתרון בעל-פה,

עשוי לסייע גם בהטמעת תכניות לימודים חדשותאופק-הערכהמידעיים בכלל. באופן זה

בשדה.

המושגת באמצעות תהליך פיתוח מוקפד, למאגר מוכנסים פריטים מגוונים בעלי איכות גבוהה

יועצים אקדמיים על-ידי ובהערכה, המלווים שבו שותפים מומחים בשלושת תחומי הדעת

לצורך בכיתותיהן. המאגר בהפעלת מורים המתנסות קהילות ועל-ידי הראשונה מהשורה

, כל אחד מהפריטים שבמאגר משויך לקטגוריות הנגזרות ממיפויתקפות של התוכןהשגת

, הפריטים עובריםתקפות של תהליכי הביצועתכנית הלימודים והסטנדרטים. לצורך השגת

התנסות מוקדמת בקרב קבוצות של תלמידים על-מנת לבחון האם הפריטים מובנים להם

content aspect))תוקף התוכן והאם הם מפעילים את התהליכים הקוגניטיביים המצופים.

מושג באמצעות ייצוג של שלושת תחומי הדעת בהתאם לתכנית הלימודיםהמאגר כולו של

המיועדת לשכבות הגיל הנבחרות. הייצוג בא לידי ביטוי בתכנים, במיומנויות וברמות החשיבה

הבדיקה ובדרכי ההעברה בתהליכי הפריטים, של בפורמטים הפריטים, בודקים שאותם

כפי שיתוארו בהרצאה. והציינון

הפורמטים של הפריטים מתבטא, בין היתר, בהכללת פריטים פתוחים לצד סגורים,מגוון

קצרי טווח לצד ארוכי טווח, מבחנים לצד משימות ביצוע, משימות המובילות חדשנות פדגוגית

לצד כאלה שמסייעות לתהליכי הוראה השכיחים בבתי הספר ועוד.

של המתוקשבת תהליךאופק-הערכההסביבה לנהל למורים מאפשרת הערכה בשלמותו:

Page 16: Instrument Validity & Reliabilty Examples

הערכה.1 פריטי נוספיםבחירת ומאפיינים מיומנויות נושאים, גיל, לשכבות בהתאם

בהתאם לצורכיהם.

כמבחן, עבודה בכיתה או שיעורי-בית.העברת כלי ההערכה לתלמידים.2

אחר התקדמותם של התלמידים בביצוע המשימה.מעקב.3

ביצועי.4 משוב התלמידים בדיקת באמצעותומתן או אוטומטית בדיקה בעזרת

תשובונים ומחוונים מפורטים המלווים בדוגמאות מעבודות התלמידים הממחישות את

רמות הביצוע.

על בסיס ביצועיו.קיום דיאלוג מורה-תלמיד .5

לצורך הצגת ציונים ברמת תלמיד בודד, כיתה או שכבה לאורך זמן. ניתוחאחזור נתונים .6

הנתונים על פי תלמידים, על פי נושאים ומיומנויות מתכנית הלימודים ו/או על פי שאלות

יכול לשמש את המורה בתכנון המשך ההוראה שלו.

לנמענים מגוונים על פי החלטת בית הספר.הפקת דוחות .7

.פיתוח מקצועי של מורים בתחום ההערכה יכולה לשמש גם לצורכי אופק-הערכהמערכת

בספרות המחקרית קיימת הסכמה רחבה ששיטות מסורתיות לפיתוח מקצועי של מורים אינן

( ;Lieberman, 1995מספקות תמיכה בשיפור פראקטיקת ההוראה בכיתה Matsumura &

Pascal, 2003 .)בפיתוח המתמשך דוגלות לפיתוח מקצועי של מורים עדכניות גישות

לאורך זמן, המהווה חלק בלתי נפרד מעבודתו השוטפת של המורה, המתרחש בהקשר

( ספרי בית וקשורsite-baseאמיתי החינוכי הצוות של שיתופית למידה ובמסגרת )

(. Darling-Hammond, 1995; DuFour, 2004 )באופן הדוק לתכנון הלימודים הבית ספרי

יכול להוות תשתית לאופק-הערכה . המוריםמקצועי של מורים בתחום ההערכה פיתוח

יכולים לנהל תהליך הערכה בסביבה זו כחלק מהתהליך השוטף של הוראה-למידה-הערכה

אצלם בכיתה. הם יכולים לבחור את הכלים המתאימים )על פי תכנית הלימודים(, להתאימם

לצורכיהם או להשתמש בהם כדגם לפיתוח כלים דומים בעצמם. הם יכולים לשתף בהבנות

הפורומים שלהם. ספרי הבית המאגר את ולהעשיר לבנות ובכך עמיתיהם את שלהם

בין המשימות דיונים רפלקטיביים אודות ההלימה לניהול להוות מסגרת יכולים שבסביבה

לסטנדרטים, איכות המשימות והמחוונים ואופני השימוש בהם. מאגר בית ספרי, שניתן לבנותו

יכול להוות תשתית לשיתוף המורים בפראקטיקת ההערכה בהקשר הבית בתוך הסביבה,

ספרי.

של בפתחו כעת נמצאים הערכה אנו מחקר של ההיבט את לבחון העיקרית שמטרתו

היבט זה מתייחס. אופק-הערכה( של consequential aspect )ההשתמעויותאו שימושיות

להשלכות המכוונות )חיוביות( ולהשלכות הלא מכוונות )שליליות( הנובעות מהשימוש במאגר.

( של ההערכה על ההוראה והלמידה,washback effect)הכוונה לערך השימושי ולהשפעות

ל"מידה שבה השימוש בכלי ההערכה משפיע על המורים והתלמידים לבצע דברים המקדמים

.(Messick, 1996או המעכבים את הלמידה, שבמצב אחר הם לא מבצעים אותם" )

Page 17: Instrument Validity & Reliabilty Examples

תהליך התיקוף בהיבט זה הוא תהליך ארוך טווח ונבנה תוך כדי ההתנסות בשדה. במהלך

ייאספו ראיות על אופן השימוש בו ועל ההשלכות של השימוש בובאופק-הערכהההתנסות

על תהליכי ההוראה-למידה-הערכה בכיתה. בהרצאה יפורט מערך המחקר ויוצגו כלי המחקר.

Page 18: Instrument Validity & Reliabilty Examples

7מחקר מס.

האינטליגנציה רמת פי על עובדים למיון ככלי הגרפולוגיה של הניבוי תוקףישראלי-קורן חוה

http://www.annakoren.co.il/graphology.pdfhttp://www.annakoren.co.il/research.asp

תקציר בזמן חסכוני הינו, לעבודה מועמדים ולמיון לאבחון אחרות לשיטות יחסית, הגרפולוגי האבחון

מיעוט שרק למרות זאת, בשימוש למדי נפוץ זה כלי אלו מסיבות. להעברה ופשוט ובאמצעים הגרפולוגיה תוקף את ובודק שב זה מחקר. תקפה מיון כשיטת הגרפולוגיה על מצביע מחקרים

תכונה, גרפולוגית ידי על לתפקיד רלוונטית תכונה זיהוי בדיקת באמצעות עובדים למיון ככלי הערכות נבחרו הגרפולוגיה לתיקוף כקריטריונים. אינטליגנציה התכונה – כה עד נבדקה שלא

ההצלחה רמת את הממונים והערכות להם הכפופים של האינטליגנציה רמת את הממונים בתפקידי עובדים 35 של היד כתבי של הגרפולוגיים חות"הדו. להם הכפופים של בתפקיד

ששימשו, הארץ בצפון וותיק גדול מזון במפעל חשיבות בעלי מקצועיים ובתפקידים ניהול ציון בין וחזק חיובי מתאם נמצא. הממונים הערכות עם והושוו נדגמו, לעבודה מיונם בתהליך

ידי -על שניתן הקוגניטיבית האינטליגנציה ציון לבין הגרפולוגית ידי-על שניתן האינטליגנציה ציון לבין הגרפולוגית ידי-על שניתן האינטליגנציה ציון בין חיובי מתאם נמצא וכן הממונים

האינטליגנציה ציון בין מתאם נמצא לא אך, הממונים ידי-על שניתן הרגשית האינטליגנציה בנוסף. מהממונים העובדים שקיבלו בתפקיד ההצלחה ציון לבין הגרפולוגית ידי-על שניתן

ציון לבין הממונים ידי-על שניתן הקוגניטיבית האינטליגנציה ציון בין מתאם נמצא לא, לכך ציון בין וחזק חיובי מתאם נמצא אך, מהממונים העובדים שקיבלו בתפקיד ההצלחה

בבדיקת. בתפקיד ההצלחה ציון לבין הממונים ידי-על שניתן הרגשית האינטליגנציה באמצעות הביצוע הערכת עם השונות האינטליגנציה הערכות של החלקיים המתאמים

האינטליגנציה הערכת והן הגרפולוגיה פי-על האינטליגנציה ציון הן כי נמצא, רגרסיה משוואת .הממונה ידי-על בתפקיד ההצלחה הערכת את מנבאים אינם הממונה ידי-על הקוגניטיבית

ההצלחה הערכת את מנבאת הממונה ידי-על הרגשית האינטליגנציה הערכת זאת לעומת האינטליגנציה רמת את המעריך מיון ככלי שהגרפולוגיה להסיק ניתן אלו מתוצאות. בתפקיד

מומחה שאינו מי ידי על הנתפסת האינטליגנציה רמת בהערכת ניבוי תוקף בעלת הינה הינו לתיקוף כשהקריטריון ניבוי תוקף בעלת אינה אך(, פסיכולוג ולא ממונה כלומר )בתחום

.בתפקיד ההצלחה מידת קריטריון מול אל ניבוי תוקף כבעלת נמצאה שהגרפולוגיה לכך העיקריים ההסברים אחד

הערכת קריטריון u1511 מול אל ניבוי תוקף כבעלת נמצאה לא אך, הממונה ידי-על האינטליגנציה

הצלחה שלצורך תפקידים בעלי הינם במדגם מהעובדים שכשליש הוא בתפקיד ההצלחה זו רמה כי הכרח אין אך, אינטליגנציה של מסוימת מינימלית לרמה נדרשים עבודתם בביצוע

רמת בין קשר היה בהכרח לא הספציפית המחקר באוכלוסיית, כלומר. במיוחד גבוהה תהיה השערות מועלות זו בעבודה. המטלה את היטב לבצע היכולת לבין העובד של האינטליגנציה

כלי הינה שהגרפולוגיה להראות הצליחו לא בתחום שעסקו המחקרים מרבית כה עד מדוע מיון ככלי גרפולוגי באבחון להשתמש שההצדקה כך על מצביעות זה מחקר תוצאות. תקף ידי על טוב לאבחון ניתנות ספציפיות תכונות אילו שיאבחן נוסף מחקר דרוש. מוגבלת הינה

.שונים תפקידים של וכמותי איכותי ביצוע לגבי אלו תכונות משמעות ומה הגרפולוגיה