רקע, מטרות ודרכי פעולה פרופ' מיכל בלר מנכ"לית...

© 2012 # 1

רשות ארציתלמדידהוהערכהבחינוך

ראמ"ה

טיוטארקע

הערכת תוכניות

מתודה ושאלת מחקר

מערכת החינוך

מדדי תשומות ותוצאות

תיאור מחקרים נבחרים

דוגמאות למחקרים

במערך מבוקר

דילמות וכיווני המשך

רקע, מטרות ודרכי פעולה

פרופ' מיכל בלרמנכ"לית ראמ"ה

יום עיון – לקט ממצאים ממחקרי ראמ"ה

2012פברואר

© 2012# 2


ראמ"ה

טיוטא

© 2012# 3


ראמ"ה

טיוטא

ניטור אלימות -- השוואה בין תשס"ט ותשע"אד' – ו' ז' – ט' י' – י"א

אלימות קשה אלימות מתונה

אלימות חברתית אלימות - תקשורת דיגיטלית

אלימות מילולית חבורות אלימות

מעשי בריונות אלימות מינית

שימוש באלכוהול * שימוש בסמים **

אלימות מצד הצוות אלימות כלפי הצוות

הבאת נשק קר לביה"ס אלימות מילולית בהסעות

אלימות פיזית בהסעות הימנעות מהגעה לביה"ס

תחושת מוגנות מאמצי בית הספר במניעת אלימות

( 2%- עד 2%)שינוי של יציבות+ ומעלה, בכיוון החיובי( 3%) שיפור ומעלה, בכיוון 3%)הרעה השלילי( נושאים אלו לא נכללו בשאלוני כיתות ד'-ו'** כיתות ו' בלבד*

מגמות שיפור במרבית המדדים. לא נרשמה הרעה של ממש באף מדדמגמות השיפור פחות ניכרות בשכבות י'-י"א

© 2012 # 4


ראמ"ה

טיוטא

רקע

שיטה

אלימות מתונה

אלימות קשה

אלימות חברתית

אלימות דיגיטלית

אלימות מינית

תחושת מוגנות

אלכוהול

אלימות מצד הצוות

הסעות

מאמצי ביה"ס

סמים

הימנעות מהגעה לביה"ס

אלימות מילולית חבורותאלימות

אלימות כלפי הצוות

עיקריהממצאים

נשק קר

בין תשס"ט במרבית מדדי האלימות ניכרת מגמת שיפור, בשלבי הגיל השונים ובשני מגזרי השפה. בשאר המדדים לתשע"א

נרשמה יציבות בין השנים ,ירידה בשיעורי התלמידים המדווחים על ניכר השיפור בפרט(

:במדדים הבאיםאלימות( אלימות קשה אלימות חברתית אלימות מצד הצוות וכלפי הצוות אלימות מינית אלימות בהסעותשתיית אלכוהול

כשהיא בולטת מגמת השיפור מאפיינת את שני מגזרי השפה ,במיוחד בדיווחי תלמידים מבתי"ס דוברי ערבית

ד'-ו' ו-ז'-בין השנים מאפיינת בעיקר את כיתות מגמת השיפור, י'-י"א בכיתות עבריתבדיווחי תלמידים מבתי ספר דוברי ט'.

בין השנים. בדיווחי תלמידים ציבותנרשמה במרבית המקרים י בכיתות י'-י"א נרשם במרבית המדדים ערביתמבתי ספר דוברי

שיפור

ניטור אלימות - עיקר הממצאים

© 2012 # 5


ראמ"ה

טיוטא

רקע

שיטה

אלימות מתונה

אלימות קשה

אלימות חברתית

אלימות דיגיטלית

אלימות מינית

תחושת מוגנות

אלכוהול

אלימות מצד הצוות

הסעות

מאמצי ביה"ס

סמים

הימנעות מהגעה לביה"ס

אלימות מילולית חבורותאלימות

אלימות כלפי הצוות

עיקריהממצאים

נשק קר

בכל אחת מהשנים תשס"ט ותשע"א נמצא כי: ככל ששלב הגיל גבוה יותר, כך דווח על התרחשות

פחותה של מרבית סוגי האלימות

אלימות כלפי הצוות, הבאת נשק קר זאת, פרט לביצוע -- תופעות בהן לביה"ס, שתיית אלכוהול ושימוש בסמים

הפער שנרשם הוא בכיוון ההפוך

תלמידים בבתי ספר דוברי ערבית מדווחים על יותרתופעות שליליות במרבית המדדים שנבדקו בשאלונים,

בהשוואה לתלמידים בבתי ספר דוברי עברית

-- תופעות לאלימות מילולית ולשימוש באלכוהול פרט , זאתבהן הפער שנרשם הוא בכיוון ההפוך

ניטור אלימות )המשך( - עיקר הממצאים

© 2012 # 6


ראמ"ה

טיוטארקע









הערכת תכניות

© 2012 # 7


ראמ"ה

טיוטארקע









הערכה: הגדרה

של שיטתיתהערכה היא בחינה ההפעלה )דרך הביצוע( ו/או של

התוצאות של תכנית או מדיניות, גלויים או סטנדרטיםוהשוואתה ל

התכנית או אמצעי לשיפורסמויים, כ קבלת החלטותהמדיניות או לצורך

בנוגע אליהם.Weiss )1998(

© 2012 # 8


ראמ"ה

טיוטארקע









מתודה ושאלות מחקר

© 2012 # 9


ראמ"ה

טיוטארקע









Taylor-Powell, Steele, and Douglah )1996( wrote:

“There is no blueprint or recipe for conducting a good

evaluation”

© 2012 # 10


ראמ"ה

טיוטארקע









Quality: Levels of evidence

Randomized trials )true experiment(

Comparison groups )quasi-experiment(

Pre-Post comparison

Correlational studies

Case studies

Anecdotes

10

All evidence is NOT created equal

© 2012 # 11


ראמ"ה

טיוטארקע









אתיקה מקצועית -פרסמה "הוועדה המשותפת לסטנדרטים 1984ב

להערכה חינוכית" סטנדרטים להערכה של תכניות אשר ANSIאומצו ע"י המכון האמריקאי לסטנדרטים לאומיים

:חמשת העקרונות למעריכי תכניותoחקירה מדויקת, אמינה, ברורה, שקופה חקירה שיטתית -

ומבוססת נתוניםoמעריכים מקצועיים ובעלי הכשרה מתאימה מיומנות- oיושר והגינות של תהליך ההערכהיושרה -

oהבטחת היושר וההגינות של תהליך ההערכה: מגבלותיו והשלכותיוoחשיפת אינטרסים של המעריך או ניגוד אינטרסים

oכיבוד הביטחון והערך העצמי של הנבדקים, כבוד לבני אדם - משתתפי התכנית, הלקוחות ובעלי עניין אחרים

oחיסיון הנתונים ואנונימיותoהסכמה מדעתoדיווח אודות ממצאים שליליים

oמגוון האינטרסים והערכים אחריות כלפי רווחתו של הציבור - העשויים להיות קשורים ברווחת הציבור

o לקיחה בחשבון כלל האינטרסים של כל הנוגעים בדבר )ולא רקה"לקוח"(

oחופש המידע

© 2012 # 12


ראמ"ה

טיוטארקע









הערכת תוכניות ופרויקטים

במערכת החינוך

© 2012 # 13


ראמ"ה

טיוטארקע









מאפייני הערכת תכניות במערכת החינוך פניות רבות והולכות לראמ"ה להערכת תכניות

ופרויקטים:סוגי הבקשות

)בדיקת אפקטיביות )הערכה מסכמת)בקשות לקבל מידע מהשטח בזמן אמת )הערכה מעצבתבקשות לבקרה במסווה של הערכה

במקרים רבים פונים בבקשה להערכה מבלי להגדירמהן מטרות הפרויקט(בבירור מהן מטרות ההערכה )או

במרבית התכניות - אין מסד נתונים מסודר שונות וגיוון רב בתכניות המוערכות, הנבדלות זו מזו

על-פי: )תכני התוכנית )חינוכי, חברתי, ערכי, מוסדי היקף התוכנית אורך התוכנית מורכבות התוכנית )'אוכלוסיית היעד )שלב גיל, מגזר וכומזמיני מחקר הערכה ובעלי העניין השלב בו משתלבת הערכת התכנית

© 2012 # 14


ראמ"ה

טיוטארקע









צרכני המחקר העיקרייםהנהלת המשרד: שר, מנכ"ל:המינהל הפדגוגי

האגף לחינוך על-יסודי האגף לחינוך יסודי האגף לחינוך קדם-יסודיאגף לתלמידים מחוננים ומצטיינים אגף לקליטת עליהאגף שירות פסיכולוגי ייעוציאגף חינוך מיוחד

מינהל חברה ונוערהמינהל להכשרה והתפתחות מקצועית של עובדי הוראהמינהל החינוך הדתיהמינהל לחינוך התיישבותי ועליית הנוערהמזכירות הפדגוגיתמחוזות המשרדהכנסת והציבור בכללותו

© 2012 # 15


ראמ"ה

טיוטארקע









עקרונות הפעולה של ראמ"ההערכת תכניות רחבות היקף שיש בהן יש השקעה גדולה כניסה לתהליך ההערכה בשלבים מוקדמים של חשיבה

ותכנון)"מתן מענה למגוון בעלי העניין )אין "לקוח קביעתתפירת "חליפה" ייחודית ומושכלת לכל פרוייקט(

מערך המחקר ובניית הכלים(( שילוב נכון בין מחקר כמותי לאיכותניMixed Models:)

מודלים סימולטנים)מודלים דו-שלביים )חוקרני או הסברתי

איסוף מידע ממגוון אינפורמנטים לקבלת תמונה מקיפההמשקפת את מגוון נקודות המבט של המעורבים

בתכנית מעקב לאורך זמןמתן דגש על אתיקה מקצועית

© 2012 # 16


ראמ"ה

טיוטארקע









אבני דרך טיפוסיות

תהליך ראשוני של תיאום ציפיות והתכווננות בין מזמיני ההערכה למבצעיה. דרישות בסיס:

,ניסוח ברור ואופרטיבי של מטרות, הבהרת הקשר בין מטרותדרכי פעולה ותוצאות

קיומו של בסיס נתונים מסודר או איסוף נתוני בקרה ע"י המזמין

גיבוש צוות מחקר: באופן טיפוסי צוות מורכב ממרכז הפרויקט ומחוקר מוביל נוסף בדיסיפלינה

המשלימה )כמותית/ איכותנית(

)בהערכות רחבות היקף ומרכזיות(: הקמת ועדת היגוי

פורום הכולל אנשי ראמ"ה ומומחים מבחוץ. ועדת ההיגוי מלווה את תכנית המחקר ומתכנסת בזמנים קבועים על מנת לקבל דיווחי ביניים ולסייע תוך כדי

תנועה.

© 2012 # 17


ראמ"ה

טיוטארקע









)המשך(אבני דרך טיפוסיות

: גיבוש של הצעת הערכה הכוללת תכנית, לו"ז ותקציב .מסמך ההצעה כולל את עיקרי המחקר/ההערכה כפי שיבוצעו בהמשך מסמך מחייב הן מבחינת המתודולוגיה המחקרית, הן מבחינת לוחות

הזמנים והן מבחינת המסגרת התקציבית. כאשר מזמין הערכה הוא גורם מחוץ לראמ"ה, מזמין הערכה יבצע העברה

תקציבית בכפוף לתכנית המחקר.

סקירת ספרות מתאימה: באופן טיפוסי, סקירת ספרות תכלול תיאור של הספרות הרלוונטית

והעדכנית באשר לסוגיות הנבחנות במחקר ובאשר למתודולוגיה שיעשה בה שימוש, ותיבנה בצורת משפך לקראת שאלות המחקר והשערות

המחקר )אם ישנן(

© 2012 # 18


ראמ"ה

טיוטארקע










אישור ההצעה ע"י הבאים: מובילי ההערכה מתחום מתודולוגיה וסטטיסטיקהמזמיני ההערכהמנהלת אגף מו"פהגורמים האמונים על הצד התקציבי בראמ"המנכ"לית ראמ"ה)בנוסף, ההצעה תובא בפני ועדת ההיגוי )במידה וקיימת

ביצוע הליך מחקר מקצועי ולבסוף - כתיבת דוח המחקר: תכנון מפורט של מערך המחקר/הערכה, בניית כלי ההערכה, בניית

המדגם, איסוף נתונים, טיפול בנתונים, בדיקת נתונים, עיבוד נתונים, כתיבת הדוח

© 2012 # 19


ראמ"ה

טיוטארקע










רוויו מקצועי:

קריאה של הדוח ע"י גורמים מקצועיים הן מראמ"ה והן מחוץ לראמ"ה. כל תוצר )דוח הערכה, מאמר, דוח מחקר וכיו"ב( עובר רוויו ע"י קוראים שונים:

מומחי תוכן ומומחי הערכה

פרסום והפצה:

דוחות שונים עוברים שלבים שונים של חשיפה, הצגה והפצה. באופן טיפוסי, דוח יוצג תחילה בפני הגורמים המזמינים ובהמשך במעגלים רחבים יותר של

מטה המשרד, עד לפרסומו הסופי באתר ראמ"ה.

הפקת תועלת והמשך הפצת הידע:

שימוש בממצאי ההערכה. שיפור ועדכון התוכניות בעקבות הצגת הממצאים בקרב קהלי יעד ובעלי עניין שונים.

ה

© 2012 # 20


ראמ"ה

טיוטארקע










© 2012 # 21


ראמ"ה

טיוטארקע









מדדי תשומות נתונים מנהליים – מאגר נתוני משרד

החינוך

שאלונים וסקרים ייעודיים

)ניטור ובקרה )חסר במרבית המקרים

© 2012 # 22


ראמ"ה

טיוטארקע









כלים ומדדי תוצאהראיונות מובנים

תצפיות מובנות

קבוצות מיקוד

שאלונים ייעודיים

נתוני הישגים: מיצ"ב, בגרות, מבחנים ייעודיים

,נתוני אקלים וסביבה פדגוגית: סקרי מיצ"בסקרים ייעודיים

נתונים ממערכת הערכת סגלי הוראה

נתוני מחקרים ומבחנים בינלאומיים

© 2012 # 23


ראמ"ה

טיוטארקע










© 2012 # 24


ראמ"ה

טיוטארקע









התוכניות הנמצאות עתה בשלבי עבודה שונים

אופק חדש ביסודי ובחט"ב תכנית נחשון

אופק חדש בגנים תכנית מיכאל

חינוך אישי בחט"ב במסגרת אופק חדש תכנית מסע – עמיתי הוראה באנגלית

רפורמת עוז לתמורה תכנית פויירשטיין

21תכנית להתאמת מערכת החינוך למאה ה- תכניות לקידום הישגים בקרב יוצאי אתיופיה

התכנית לקידום ההישגים תכנית המגשרים

הערכת מורים, מנהלים ובעלי תפקידים נוספים תכנית מסע – עמיתי הוראה באנגלית

הערכת מכון אבני ראש"ה תכניות לעידוד קריאה בגני ילדים

תכנית עד הלו"ם – השכלת מבוגרים תכנית אמירים

הקשר בין תשומות לתפוקות- פרויקט השקיפות בגרות חברתית

בתי ספר בניהול עצמי ליבת טיולים

מנהיגות מנהלים תכנית אורח חיים בריא

תכניות ברוח החינוך האישי בחט"ע תכנית החוסן

הוראת המתמטיקה בחט"ב תכנית אח"מ

הוראת הגיאוגרפיה בחט"ב )משוב ארצי( בחינת הקשר שבין אקלים בית ספרי והישגים

תכניות להעלאת זכאות לבגרות תנועות נוער

© 2012 # 25


ראמ"ה

טיוטארקע









סוגים של הערכת תכניות ופרויקטיםרפורמות מערכתיות ו/או פרויקטים : תכניות רחבות היקף

רחבי היקף ומרובי משתתפים. בד"כ במוקד של התעניינות ציבורית

תכניות מקומיות, בדרך : תכניות בעלות פוטנציאל להרחבהכלל מוגבלות בהיקף שלהן, אך כאלו המעוררות עניין ונתפסות

כבעלות פוטנציאל להרחבה כלל ארצית

תכניות מקומיות, בהיקף מוגבל, כאלה : פרויקטים חינוכייםשנמצאות במוקד ההתעניינות של המזמין, אך לא בהכרח

במוקד של התעניינות ציבורית

בחינה במקובץ של : איגום תוכניות שונות בראיה מערכתיתמספר תכניות, בעלות מטרות משותפות ומאפיינים דומים. במקום לבדוק כל תכנית בנפרד, מיפוי של מכלול התכניות

ובהמשך בדיקה שלהן

© 2012 # 26


ראמ"ה

טיוטארקע









מחקרי הערכה רחבי היקףיישום, הטמעה ומידת התרומה הערכת רפורמת "אופק חדש":

לאקלים ולהישגים הלימודיים בבתי הספר היסודיים ובחט"ב. מחקר ההערכה כלל איסוף מידע באמצעות מבחנים, שאלונים

שהועברו למורים ותלמידים, למנהלים ולהורי התלמידים וכן איסוףמידע איכותני. מערך הערכה )מעצב ומסכם( רב-שנתי.

ליווי הרפורמה מראשיתה. הערכת רפורמת "עוז לתמורה": בשלב הראשון ניתן דגש להערכה מעצבת: יישום והטמעה של

הרפורמה בחט"ע. בהמשך תיבחן התרומה של הרפורמה לאקלים ולהישגים הלימודיים. מחקר ההערכה כולל איסוף מידע

ממנהלים וממורים בקבוצות מיקוד, ראיונות אישיים ושאלונים.

: 21הערכת התכנית הלאומית להתאמת מערכת החינוך למאה ה-הערכה זו משלבת הערכה מעצבת ומסכמת : א מעקב אחרי תהליכי

ההטמעה, היישום והעמדות כלפי התכנית לאורך זמן, לצורך סיועלמובילי התכנית בקבלת החלטות לשיפור אופן יישום התכנית.

ב. מחקר מבוקר לבחינת אפקטיביות שילוב של תקשוב משמעותי בכיתות.

© 2012 # 27


ראמ"ה

טיוטארקע









פוטנציאל להרחבהמחקרי הערכה -

מטרת הערכת פתיחת מרכזים להשלמת השכלה למבוגרים:ההערכה היא לבחון באופן השוואתי את מידת התרומה של פתיחת המרכזים על ההישגים הלימודיים ועל פרמטרים של

אקלים בית ספרי בבתי ספר שהורי תלמידים בהם משתתפים בקורסים להשלמת השכלה. מערך מחקר ניסויי מבוקר.

בחינת העמדות הערכת התכניות להסבת אקדמאיים להוראה:כלפי התכניות בקרב המצטרפים, שיעורי הנשירה וההתמדה

והסיבות להן, וכן בחינת התפיסות של צוותי בתי הספר באשר למורים המשתלבים מתוך תכניות אלו. הערכה מעצבת.

בחינת תהליכי יישום התכנית, הערכת מודל בת-ים לחינוך אישי: העמדות כלפי התכנית, בדיקה השוואתית של האקלים הפדגוגי והחברתי בבתי הספר, וכן בחינת ההישגים הלימודיים במסגרת

המיצ"ב.

© 2012 # 28


ראמ"ה

טיוטארקע









בקשות מאגפים מחקרי הערכה - פרויקטים חינוכייםמחקרי הערכה - במשרד

בחינת הערכת היישום וההטמעה של תכנית 'אמירים' למצוינות: אופן יישום התכנית בבתי הספר, תפיסת התכנית על ידי צוותי בתי הספר וצוותי התכנית במחוזות ותפיסת תרומת התכנית

לתלמידים, למורים ולאווירת המצוינות הבית ספרית.

בחינת העמדות כלפי התכנית הערכת התכנית לאורח חיים בריא:של מורים, מנהלים והורים., ובחינת אופן יישומה. הערכה תתמקד

גם בבחינת השינוי באורח חיי התלמידים לפני ואחרי התכנית למול קבוצת השוואה.

הערכת תכנית עוגן למניעת נשירה בקרב תלמידים עולים: תכנית של חונכות אישית לתלמידים עולים הנמצאים בסכנת

נשירה, ע"י מורים מצוות ביה"ס. במסגרת הערכה נבקש לבחוןאת העמדות כלפי החונכות בקרב תלמידים ומחנכים.

© 2012 # 29


ראמ"ה

טיוטארקע









איגום תכניותמחקרי הערכה -

מיפוי התכניות המרכזיותתכניות להעלאת זכאות לבגרות: הפועלות במשרד ואשר מטרתן לקדם את אחוזי הזכאות

לבגרות. זיהוי עקרונות הפעולה. בהמשך: תבחן האפשרות לבצע מחקרי הערכה על התכניות המרכזיות.

בדיקת עמדות ותפיסות תכניות לעידוד קריאה בגני ילדים: הגננות וההורים כלפי תכניות שונות בגני הילדים המבקשות לעודד קריאה בגיל הרך )"מדף הספרים שלי", "מצעד הספרים" ו"ספריית

פיז'מה"( מבחינת יישום התכניות והשפעות נתפסות שלהן.

יוצאי אתיופיה מחקרים וניתוחים בנושא תלמידים יוצאי אתיופיה: בראי המיצ"ב והמבחנים הבינלאומים; הערכת תכנית ההעשרה

של מכון פויירשטיין; הערכת תכנית המגשרים; מעקב אחר הישגי בתי ספר המקבלים תשומות ייחודיות עבור יוצאי אתיופיה; ועוד.

© 2012 # 31


ראמ"ה

טיוטארקע









בחינת ההשפעות

של שילוב טכנולוגיות תקשוב

בבתי ספר יסודיים

מחקר במערך ניסויי מבוקר

© 2012 # 34


ראמ"ה

טיוטארקע









קשיים ביישום מערך מחקרי מבוקר - כללי

לא ניתן לשמור באורח חשאי מי שויך לקבוצת •ניסוי ומי לקבוצת ביקורת )בשונה ממחקרים

קליניים(

לא ניתן לשלוט באורח מלא בהתנהלות קבוצת •הניסוי ובעקר לא בהתנהלות קבוצת הביקורת

במהלך שנות המחקר

יש לחצים להרחבת קבוצת הניסוי באופן שפוגע •בייצוגיות שלה

סוגיות אתיות – הרצון להקצות המשאב למי •שהכי זקוק לו, מבלי לעכב זאת עד תום המחקר

הפיקוח על המשתנים עלול לפגוע ביכולת •ההכללה של הממצאים

© 2012 # 35


ראמ"ה

טיוטארקע









דילמות ולבטיםהתנהלות בתוך שדה ללא נתוני בקרה מסודרים התנהלות במצבים בהם לא תמיד ברורה למזמינים

הסיבה להערכה המקום של הידע התיאורטי )ושל סקירת הספרות( בתוך

תהליך ההערכה מדינה קטנה מו)ת(קפת שאלוניםמתח בין עיבודים מורכבים לבין רלוונטיות שילוב נכון בין מחקר איכותני וכמותי )לוגיקה, סגנון

כתיבה...(?מהערכת פרויקטים להערכת נושאים ?סקר או מסר )"הקלות שבאיסוף מידע פחות משמעותי )"שביעות רצון

לעומת הקושי באיסוף מידע יותר משמעותי )"דרכי הוראה", מבחנים(

רמת העניין בנושא לאורך זמן והתחלפות ההנהלההבכירה

© 2012 # 36


ראמ"ה

טיוטארקע









ההשפעה של מחקרי הערכה על קבלת החלטות ומדיניות חינוכית

“A big issue is improving the influence of evaluation on policy.

To have a sustained influence, evaluations have to be well-designed and conducted. And there has to be an accumulation of evidence. We shouldn’t think of evaluation as a set of one-shot studies. We should think of it as a continuing effort.

In some areas, such as job training, there has been a conscientious accumulation of evidence since the 1960s. Authors have collected and summarized results critically, and they have drawn conclusions about the kinds of programming that work well. In some areas we have not done these kinds of critical reviews to help inform practice and policy.

Evaluators should view themselves as part of an ongoing enterprise to develop knowledge for action.”

Interview With Carol H. Weiss )1998(

http://www.hfrp.org/evaluation/the-evaluation-exchange/issue-archive/evaluation-in-the-21st-century/interview-with-carol-h.-weiss

© 2012 # 41


ראמ"ה

טיוטארקע









תודות לחוקרים, למרצים ולשאר אנשי ראמ"ה

השותפים לעשייה

לצוות המומחים והיועצים המלווה אותנוכל השנה

למתדיינים ביום העיון

למארגני יום העיון

לאנשי החינוך העוסקים יום יום בעשייהוהטמעת התוכניות

לקהל המשתתף כאן היום

רקע, מטרות ודרכי פעולה פרופ' מיכל בלר מנכ"לית...

Documents