פרק ב' - מהי הערכה ומה מעריכים באמצעותה / י' פרידמן

"מדידה והערכה של תוכניות חברתיות לחינוכיות" מתוך הספר:

פעולה בה נותנים חוות דעת סובייקטיבית או אובייקטיבית. אנו כל הזמןהגדרה של הערכה:זוהי הערכה סובייקטיבית, בחינת אנו מביעים דעה על לבוש של משהו מעריכים: כאשר תופעה )רעיון, חפץ, אדם( כנגד אמת מידה גלויה או סמויה זוהי הערכה אובייקטיבית. אמותיעילות )האם תוכנית מצדיקה השקעה/עלות(, אסתטיות )האם חפץ יכולות להיות: המידה עומד בסטנדרטים,נורמות(. כלומר, אמות המידה יכולות להיות מסוגים שונים בהתאם למושא

.שיפוטההערכה. זוהי חוות דעת ממגוון של סוגים שבכולם למעשה אנו מפעילים –

הגדרתו של וייס: הערכה היא בחינה שיטתית של ההפעלה )דרך הביצוע( או של התוצאות שלגלויים או סמויים, כאמצעי לשיפור התכנית או והשוואתה לסטנדרטים תכנית או פרויקט,

רכיבים: 5הפרויקט או לצורך קבלת החלטות בנוגע אליהם. בהגדרה זו

– המחקר )כמותי או איכותני( מנוהל באופן פורמאלי, מסודר ונוקשה. בחינה שיטתית.1– מוקד החקירה בתהליכי הביצוע או בתוצאות של התכנית.מחקריהפעלה )ביצוע(.2

ביצוע במהלך שהתרחש במה המיקוד – הביצוע בתהליכי המתמקדים הערכה הרעיונות לכוונות, נאמן התוכנית ביצוע האם לדעת כלומר:מבקשים התוכנית

והמטרות המקוריות שלה? והוא בבחינתתוצאות.3 – מחקרים המתמקדים בתוצאות מניחים את התהליך בצד

שהתוכנית המטרה הושגה האם בשאלה: רק מתעניינים והם שחורה", "קופסה הציבה?.

– גלויים או סמויים. הסטנדרטים חשובים ביותר לצורך השוואתהשוואה לסטנדרטים.4יהיה קשה להסיק מסקנות מבוססות על ובלעדיהם הממצאים של מחקר הערכה

התוכנית. פה גם נכנס גורם השיפוט. הסטנדרטים יכולים להיות: הכוונה המקורית המוצהרת של יוזמי התוכנית.-מעשה- ואנשי התוכנית,מנהליה )מממני בתוכנית המעורבים של הציפיות

ומשתתפיה(סטנדרטים חיצוניים כמו אחוזי נשירה או אחוזי הצלחה.-

. ההערכה נעשית לצורך שיפור התוכנית או החלטה עלשיפור או קבלת החלטות.5 המשכה או הפסקתה. מבצעי התוכנית אמורים לקבל את ההערכה כאל אמצעי שיפור

ולא כאל "בקורת".

סוגי הערכה:מעצבת ומסכמת שמטרת ההבחנה בין שתיהן היא2מבחין בין '67סקריבן יהיה הערכה מוקד כלומר: ההערכה? בממצאי להשתמש יש כיצד השאלה: על להשיב

בתוצאות או ההערכהבתהליך ביצוע בזמן גם יהיה ביניהם שההבדל ומכאן התוכנית, )בתחילת התוכנית או בסופה( ובמטרות של הערכה )לצורך שיפור או החלטה(.

הציע שהערכה מעצבת מטרתה לסייע לאלה המפתחים את (: Formative הערכה מעצבת ) התוכנית והיא נעשית בשלבים הראשונים של התוכנית. דגש על המשוב למפתחים על מנת

.משרתת את מפתחי התוכנית והמבצעים אותהלשפר את התוצאה.

זוהי ההערכה העוזרת לנו להחליט האם להמשיך בתוכנית או (: Summatinve הערכה מסכמת ) .מספקת למקבלי ההחלטות מידע על האפקטיביות שלהלסיימה והיא נעשית בתום התוכנית.

חשוב לציין כי רבות מהתוכניות אינן מסתיימות למעשה אלא עוברות שלב ניסוי שלאחריו הן עוברות תיקון או שינוי ולאר נמסרות כמוצר מוגמר למוסדות החינוך. אך במשך הזמן עולה

צורך לחדש, לשנות או לתקן וזה מביא את התוכנית חזרה לשולחן המתכננים שוב לעדכוניםושנויים.

נעשה בשלבים:תהליך ההערכה

החוקר לומד היטב את התחום שתוכנית עוסקת בו. למשל:נשירה מבית הספר,שלב ראשון:הוא מגבש קריטריונים להערכה הנושא. במקביל היטב את וכד'. על מנת שיכיר אלימות

)סטנדרטים( יתכן גם שיחלצם מתוך התוכנית עצמה.

שני הפעולותשלב שבה, התהליכים המוערכת:מטרותיה, התוכנית את ביסודיות חוקר : הנעשות וכד'.

.נעשית ההערכה עצמהשלב שלישי:

לשיפור המכוונות מסקנות ההערכה ומזמיני החוקרים מסיקים שעלו לממצאים בהתאם התוכנית או קבלת החלטות בקשר לעתיד התוכנית.

סוגי הערכה בתהליך אינטגרטיבי:4

הצרכים שהתוכנית מנסה לענותלמאפייני התוכנית: סיווג אחר של תהליך הערכה מתייחס ייחוד של ויעילותה. עליהם, התהליך שבו התוכנית מתבצעת, סוגי התוצאות של התוכנית תהליך זה בהיותו אינטגרטיבי ומבטא סדר:הערכה בשלבי התכנון, המשכו במהלך התוכנית

שלבים:4ולבסוף – בתום התוכנית. לפי סיווג זה פעולות ההערכות הינן עוקבות וכוללת

הערכת צרכים – יש לזהות ולתאר את הצרכים של הארגון. השאלה שנשאלת כאן:.1 היא מה צריך הארגון כדי שניתן יהיה להכין תוכנית העונה על הצרכים הללו. זהו שלבאת ולקבוע והשליליים, החיוביים היבטיו על הקיים, המצב את להעריך צריך בו

הדרכים הרצויות ביותר למלא צרכים אלו. הערכת תהליך – בדיקה האם אכן התוכנית תואמת את הנחות היסוד שלה, ולצרכים.2

שנקבעו בשלב הקודם. הערכת תוצאות – לאחר שנראה כי התוכנית פועלת ומיושמת כהלכה ניתן להעריך.3

תוצאותיה:הושגו כלומר:האם אותו. קבלו אכן השירות מקבלי האם ראשונה:נבדק ברמה

המטרות והאם ישנה שביעות רצון מהתוצאות.והתוצאות. האם באמת התוכנית הביאה בין התוכנית ברמה השנייה:נבדק הקשר

לשיפור. הערכת יעילות – עוסקת בעלויותיה של התוכנית והשוואתה לתוכניות אחרות. עלות.4

אל מול תועלת. עד כמה יעילה התוכנית לעומת התוצאות שהיא מניבה. האם היאכדאית.

הערכות אלו נצבות על רצף של זמן ביצוע התוכנית. אם אין אנו יודעים מה הצרכים לא נוכלביצועיה המשתלבים ביחד עם ניתן להעריך את דרכי לבנות תוכנית. לאחר שיש תוכנית

הערכת תוצאותיה. לאחר שיש תוצאות אפשר להעריך יעילות התוכנית.

הערכה בתהליך ותוצאות תהליך הערכת לבין ומסכמת מעצבת הערכה בין קשר קיים אינטגרטיבי:

ולשימוש לכוונות המעריך בהערכה לסייע מיועדת או מסכמת כי הערכה מעצבת אמרנו המתוכנן בממצאי ההערכה. לכן: כאשר הערכה מתמקדת בתהליך הביצוע ומיועדת להיות מעצבת היא יכולה להביא לשיפור בתהליכי הביצוע של התוכנית. אך כאשר הערכה מתמקדת בתהליך הביצוע ומיועדת להיות מסכמת היא נועדה לחרוץ את גורלה של התוכנית. לעומתנועדה לתת תשובה לשאלה: האם התוכנית השיגה את המטרות? תוצאות זאת, הערכת לעיתים יתכן מצב בו סיום תוכנית אחת יהיה בסיס לתוכנית הבאה אחריה והיא תהווה הערכה

מעצבת לתוכנית החדשה.

המטרות העיקריות של ההערכה:

המטרות הבולטות של הערכה הינן שיפור תוכניות וקבלת החלטות אך שתי מטרות נוספות, ( ולמידה ארגונית. accountability אחריותיות )גלויות פחות הינן:

נרצה לחשוף את ההשפעות או התוצאות של התוכנית. ישנןמעריכים לצורך שיפורכאשר אנו תוצאות רצויות והן הרצויות ביותר אך יתכנו גם תוצאות נלוות, בלתי צפויות ומקצתן - לאתוצאותיה הלא-מתוכננות של גם את נוכל לאתר אידיאלית תהיה כאשר רצויות. הערכה התוכנית. ישנם מקרים בהם תוך כדי תהליך הערכה נחשפים תהליכים או פעולות שברור כיכדי להוביל ימליצו על שינוי כמה מהמרכיבים ולכן, יובילו להשגת התוצאות הרצויות לא

לתוצאות המיוחלות על פי הצרכים הדרושים.

סוגים:3: ניתן לחלקה ל-מעריכים לצורך קבלת החלטותכאשר אנו

החלטות בדבר תיקונים באמצע הדרך – משתמשים בה בעיקר כאשר נדלקות נורות.1 אזהרה המצביעות על כך שהתוכנית אינה מתנהלת כראוי. מטרתה לאתר נקודותהערכה זוהי ויוזמיה. התוכנית למפעילי זה מידע ולהעביר בתוכנית וחוזק חולשה

המתבססת על תהליכים והיא לרוב מעצבת."גורלה" של.2 החלטות בדבר המשך התוכנית או הפסקתה – אלה החלטות בדבר

תוכנית. הערכה זו מספקת מידע על מה שהתוכנית משיגה או אינה משיגה ולמי כך שיתרונותיה וחסרונותיה – ברורים מאוד. זוהי לרוב הערכה מסכמת. )אך ברור כי גורלאו סמליים משקולים:פוליטיים, גם אלא תוצאותיה עפ"י רק נקבע אינה תוכנית

פונקציונליים(. מבצעי התוכנית רואים בהערכה מסוג זה "מסוכנת" עבורם. החלטה בדבר בחירת חלופות מועדפות – בניסיון לפתרון בעיה ניתן להעלות מספר.3

איפוא, תהיה ההערכה מטרת לפעולה. תוכניות מספר יהיו ולכן לפתרון רעיונות למצוא את התוכנית עם התוצאות הטובות ביותר. זוהי בד"כ הערכה מסכמת הנשענת

על הערכת תוצאות ולעיתים גם על הערכת תהליכים.

זהו מצב בו מפעילי התוכנית – המקבלים משאבים וכלים לביצוע –הערכה כביטוי לאחריויות: נדרשים לתת דיווח באופן שיטתי ומסודר על המתרחש בתוכנית וברור להם כי הם אחראים לתוצאות שיושגו בתוכנית. זהו מושג הלקוח דווקא מתחום הניהול ותיאוריות כלכליות. עיקרו,

הסבר רציונלי ככל שניתן לתוצאות התוכנית.

זה הושאל ופירוט ביצועיו האפשריים. מושג משמעות המושג הוא כתב אחריות על מוצר לתחום החינוך בטענה כי בתי הספר צריכים לא רק לדווח על מספר ה שעות בהם שהה התלמיד בבית הספר ולמד מספר קורסים אלא גם מסוגל לבצע משימות מיוחדות. אחריויות מבוססת על מצב בו קיימת הסכמה לגבי מטרות התוכנית או לפחות בדבר המטרות שעליהן

תחול האחריות.

צורות:6 הציע קשר בין הערכת תוכניות ובין האחריותיות הנדרשת בחינוך ב-2000קירסט

ומשקף מידע על.1 ביצוע:דיווח הנשען על מבחנים, תעודות כדיווח על אחריותיות ביצועי התלמיד. במידה והמידע לא ישביע רצון הורי התלמידים יפעלו לתיקון המצב.

אחריותיות בעזרת פיקוח והיענות לסטנדרטים ותקנות:מתבטא בעיקר בפיקוח על בתי.2 ספר ואופן שמירתם על חוקים ועמידתם בתקנות. קשור בעיקר לאופן ביצוע הפעולות

)הערכת התהליך(.תוצאות.3 על תמריץ הינו פה המפתח תמריצים: מערכות באמצעות אחריותיות

ייחודיות ביצועים לבין התוצאות. השגת תוצאות בין מידע על ישנו קשר ייחודיות. מתגמלת במשאבים נוספים.

אחריותיות בעזרת הישענות על השוק:מתאפשרת רק בתנאים של שוק חופשי. צורה זו.4מתבססת על בחירת הצרכנים, כך שבתי ספר טובים ישגשגו והלא טובים ינטשו.

אחריותיות בעזרת שינוי של מוקד הסמכות או הבקרה על בתי ספר:צורה זו מניחה כי.5 שינוי מוקד הסמכות הוא המפתח להפיכת בית הספר לאחריויות הוא בידי השולטיםהרשות של ושליטה הורים של מייעצות מועצות ליצור יש לכן החינוך. במדיניות

המרכזית – כדי לפקח על בתי ספר שאינם משביעי רצון. יעילות אל מול תועלת? אחריותיות בעזרת שינוי תפקידים:הסמכת מורים להערכת עמיתים או למתן תעודות.6

תפקידים לשינוי הגורמת הערכה למורים. בדרגה העלאה או לתלמידים גמר הורדה/הקידום.

הערכה המאפשרת לנו ללמוד רבות על תרומתן של זוהיהערכה לשם למידה ארגונית: ובסיס טוב לבניית תיאוריה העונה על השאלה:"מה עשוי תוכניות התערבות חברתיות לשנות התנהגות חברתית אנושית או להשפיע עליה?". זוהי הערכה הדומה למחקר בסיסי

הנותן תשובות עקרוניות לנושאים כלליים. ישנה תרומה רבה של הערכות אלו לארגון:

התוכנית: מטרות להבהרת התורמת ללאהערכה מופעלות חברתיות תוכניות לעיתים גיבוש מטרות והבהרתן. הערכה במצב זה היא מעין מנגנון תיאום, תיאום מחודש בין

מטרות התוכנית והפעולות הנעשות לצורך ביצוע התוכנית.

יש כאן בעייתיות. אנשי הערכה לרוב מתפרשיםהערכה מספקת משוב לאנשי הביצוע: כאנשי ביקורת ומתפרשים לא נכון - כעוינים. אנשי הביצוע נמצאים בעמדה מנוגדת – בה הם רוצים לקבל מידע ועצות להכוונה.מכיוון שהמעריך אינו מומחה לתחום הוא אינו יכול

לתת עצות למבצעי התוכנית. הערכה שמטרתה שיפור וייעול תהליכים.

הערכה כמסמך היסטורי בו מפורט כלהערכה משמשת תיעוד ההיסטוריה של תכנית: תהליך התוכנית. מהיתהוות התוכנית, דרך התפתחותה וההתרחשויות במהלך הפעלתה.

הערכה כמחקר:

מחקרי הערכה ומחקר בסיסי:

ואין הכוונה להישענות על שיפוט של מומחים מחקר הערכה מבוסס על הערכה שיטתית שמתבוננים בתוכנית או לקבלת דיווחים תקופתיים של המבצעים אותה. במחקר הערכה יש לגבש שאלות ברורות לחקירה, לאסוף עדויות שיטתיות ממגוון אנשים המעורבים בתוכנית. בסוף התהליך החוקר מסיק מסקנות על דרכי הפעולה של התוכנית, תוצאותיה, יעילותה

ומענה על הציפיות שהיו ליוזמיה, מממניה והמשתתפים בה.

יכולות לסייע לנו הערכה משתמשת בשיטות מחקר כמותיות או איכותיות כששיטות אלה מבקשת שהתוכנית שאלות הבנת – מבחינת ביותר הטוב באופן התוכניות את להעריך ולאסוף עליה מידע, איך לקבל נתונים אמינים, איך להתמודד אתן, איך להתבונן בתכנית נוכל ולהסיק מסקנות. בשיטות המחקר אנו מקבלים מסגרת סטנדרטים בעזרתה לנתחם

להעריך את התכנית.

מחקר הערכה נבדל ממחקרים אחרים, בכוונה:

. זה הרעיון של המחקר. מטרתו יישום הממצאים

אותה הוא מבקש להעריך. שאילת שאלות שעניינןמקורן בתוכנית שנשאלות במחקר השאלותמנהל וארגון ועוזרות לטובת התוכנית.

במחקרי הערכה מנסים להשוות בין מה שהושג לבין מה שהיה צריך להיות מושג )הפער בין שצריך לשמור בו על אובייקטיביות רבה. אך מחקרשיפוטיותהתכנון לביצוע(. זהו תהליך של

יכול להיות אובייקטיבי לחלוטין מכיוון שההשוואה בין המערכות – עובדות2הערכה אינו ונתונים – מתבצעת בידי אדם והוא אינו יכול להיות משוחררת מעמדתו, מרצונו להתחשב בקשיים ו/או מגבלות מאמפטיה)או לא( כלפי מבצעי התוכנית. מחקר הערכה מתעניין בעדויות

מטרותיה. והמידה שהושגו תכנית יעילותה של מידת התוצאותבדבר בין השיפוט, רכיב למחקרים הערכה מחקרי בין שמבחין והוא בסיסי הינו התוכנית, מטרות לבין שהושגו

.בסיסיים

שמתרחש בזירת הפעולה. כך שההערכה אינה יכולה להתערב אועליונות הפעולה על המחקרלהפריע למהלך התוכנית.

מתפרסמים אינם לעיתים הערכה מכיווןמחקרי וזאת חסויים בדוחות שמתפרסמים או שהאחראים על התוכנית סבורים כי מחקר ההערכה נועד לענות על שאלותיהם והתשובות

צריכות להינתן להם בלבד.

מכיון שהוא כחוקר מחוייב לעקרונות המדעבניגוד אינטרסיםיתכנו מצבים בהם החוקר ימצא האובייקטיבי, אך מעוניין לבצע מחקר שיביא תועלת וישפר את התועלת מהתוכנית ובנוסף,

הוא גם נאמן למוסד/ארגון שמימן את התוכנית.

אנשי השדה, עלולים לחוש מאוימים ממצאי המחקר מכיוון שהם מרגישים כאילו הם עומדים בינם לבין אנשי ההערכה.לחיכוכים בין אישייםלמשפט. מצב זה, מביא לעיתים

משתנים, בין היחס את להבין לתאר, מנסים – אחרים במחקרים כמו הערכה למחקרי להתחקות אחר הקשר הסיבתי בין משתנה אחד למשנהו.

המשלבות כאלה גבוהות, במיומנויות לעיתים נדרשים הערכה מחקרי המבצעים אלה מיומנויות מחקריות עם מיומנויות של טיפול באנשים.

ייחודו של מחקר הערכה:

.הערכה – היא מחקר. הערכה של תוכניות חברתיות היא מחקר חברתיהערכה מתבססת על אמות מידה הנקראות קריטריון. תפקיד החוקר להבהיר את

הקריטריון, לנסחו באופן ברור, לוודא שמוסכם על מתכנני התוכנית ולהציבו בתהליךהערכה של התוכנית.

.חשוב לפני הערכה להבין מה מעריכים ואת כל הקשור במושא הערכה

תהליכי הערכה חשובים ביותר הם:

גיבוש שאלות ברורות: הבהרת הקריטריון, המטרות והיכרות עם התוכנית והחומריםא.המוערכים.

איסוף מידע ממגוון אנשים המעורבים בתוכנית.ב. הסקת מסקנות על דרכי הפעולה של התוכנית ויעילות שלה במילוי ציפיות הגורמיםג.

השונים )מממנים,יוזמים, ממבצעים(.

שאלות ששואלים מזמיני מחקר הערכה:

איך התוכנית מתבצעת )תהליכים ומעשים(?.1מה קורה בתוכנית לאמיתו של דבר )תכנים(?.2מה התפוקות של התוכנית?.3האם התוכנית תורמת ומתאימה לכולם או רק לסוג מסויים?.4עד כמה התפוקות תואמות המטרה שהוגדרה?.5האם התפוקות "שוות" את ההשקעה )ובכסף וכ"א(?.6האם ראוי להמשיך בתוכנית, להרחיבה, לשנות להפסיקה?.7

השאלות ששואלים מעריכים )מבצעי מחקר ההערכה(:

מה מטרת התוכנית?.1איך התוכנית אמורה לפעול?.2מה הרעיון העומד מאחורי התוכנית?.3מה הקשר בין הרעיון לדרכי יישומה?.4מי נהנה מהתוכנית? מי מושפע ממנה? מי ירוויח ומי יפסיד מהצלחתה או כישלונה?.5

לסיכום,

יש להכיר תוכנית היטב על מנת להעריכה באופן שיטתי ואמין..1ההיכרות חייבת לכלול את הרציונל שלה.2יכולים להיות סטנדרטים סמויים להערכת תוכנית – במודע או שלא במודע..3הערכת תוכנית תעשה ע"י חילוץ קריטריונים שישמשו כ"אבן בוחן" למושא המוערך..4