מדריך זה מבוסס על הרצאתה של ד”ר ליאורה פסקל. ליאורה עוסקת מזה כעשרים וחמש שנים במחקרי הערכה (במשרד החינוך, קרן אבי חי ישראל ועוד) ומתמחה בתכנון אסטרטגי ופיתוח מודלים להערכה ומדידה, תוך הובלת צוותי חשיבה רב-תחומיים. ליאורה בעלת תואר שלישי בחינוך יהודי מהאוניברסיטה העברית ותואר שני בהצטיינות בשיטות מחקר, מדידה והערכה מאוניברסיטת תל אביב. בוגרת בית הספר למנהיגות חינוכית, קרן מנדל. כיום ליאורה מנהלת בוטיק להערכה – Pascal Strategy & Evaluation המספק שירותי הערכה מגוונים לקרנות, עמותות וארגונים עסקיים. לצד עשייה זו, משמשת ליאורה כמרצה בקריה האקדמית אונו לתואר ראשון ושני בתחומים של שיטות הערכה ומדידה חברתית ויהדות ישראלית. ליצירת קשר עם ליאורה ניתן לפנות במייל: [email protected].
ערך: נדב בן-דהן
המדריך שלפניכם מחולק לשלושה חלקים: החלק הראשון מציג את מושגי היסוד הבסיסיים וסוגי ההערכה השונים, על מנת לאפשר לכם לצלול בנוחות אל תחום ההערכה. החלק השני מנגיש את הכלי המכונה “המודל הלוגי” – אשר הוא למעשה שולחן השרטוטים להגדרת תיאוריית השינוי של תכנית או פרויקט ומסייע לתכנון פעילות הערכה של פרויקט או ארגון. החלק השלישי מתאר את מקורות המידע האפשריים, הכלים השונים לאיסוף נתונים והדרכים השונות למדידה. קריאה מהנה!
המטרה בביצוע הערכה בארגון הינה שיפור הפעילות ומיצוי ההישגים. הערכה היא למעשה תהליך שיטתי אשר במהלכו יבחנו דרכי הביצוע והשגת התוצאות. במילים אחרות, הערכה תסייע לכם לבדוק מה עובד ומה לא עובד בארגון או במיזם שלכם. קיום תהליכי הערכה בארגון תורם לשיפור התקשורת בתוך הארגון, לפיתוח חשיבה תוצאתית ולטיפוח תרבות של קבלת החלטות על בסיס נתונים. לפני כל ביצוע הערכה אתם נדרשים להבהיר לעצמכם מהי מטרת ביצוע ההערכה בארגונכם, מה אתם עתידים לעשות עם הממצאים, וכיצד אתם מתכננים להשתמש בנתונים. מדריך זה עוסק במחקר הערכה ולא מחקר אקדמי קלאסי, היות ומטרת המדריך היא להעניק לכם כלים לייעול ולשיפור הארגון. ההבדל בין המחקרים קריטי, שכן מחקר הערכה נוטה לסובייקטיביות ושואף לסייע בשיפור הארגון ואילו מחקר אקדמי קלאסי שואף לאובייקטיביות טהורה.
כיום, ארגונים ומוסדות רבים נוטים לחשוש ולהימנע מביצוע הערכה. ישנן סיבות רבות לכך, ביניהן: חשש מכישלון או מפרסום תוצאות לא רצויות ופגיעה במוניטין; מחשבה כי תהליך ההערכה יגזול זמן ומשאבים חשובים מהארגון; תפיסה הגורסת כי תחומים חברתיים וחינוכיים מורכבים יותר למדידה; או אמונה כי רק מומחים לנושא מסוגלים לבצע הערכה מקצועית.
עם זאת, ישנם נימוקים רבים אף יותר לכך שביצוע הערכה הוא כדאי וחשוב:
קיימות מגוון מטרות פוטנציאליות לביצוע הערכה. לפני היציאה לדרך, חשוב להגדיר במדויק את מטרת התהליך: שיפור מיזם; יצירת ידע; שיפוט הפעילות; למידה ארגונית; תיעוד היסטורי; החלטה על המשך או הפסקת מיזם; בחירת חלופות; דיווח לגורמים שונים או אחריות קולקטיבית על הנעשה.
לכל שלב בו המיזם נמצא (לפני, במהלכו או בסופו) קיים סוג הערכה אשר מדגיש את ההיבטים הרלוונטיים לו:
אם אתם רכזי הערכה בארגון או פשוט מעוניינים לבצע הערכה בארגונכם מומלץ לבדוק לפני תחילת התהליך מהי דרך העבודה העדיפה לכם – הערכה חיצונית (שתתבצע בעזרת איש מקצוע חיצוני) או פנים ארגונית (שתתבצע על ידי אדם מתוך הארגון או המיזם). כדי להגיע להחלטה יש להבין קודם כל שבסוגיה זו אין נכון ולא נכון. עליכם לשקלל את הקריטריונים השונים (בסעיף הבא) ולהכריע באפשרות העדיפה לכם. בכל מקרה, מומלץ לחשוב על אפשרות של שילוב בין הערכה פנימית לחיצונית – כך חלק מהשלבים יבוצעו ע”י מעריך חיצוני ושלבים אחרים יבוצעו באמצעות תהליך פנים ארגוני. בעזרת שילוב של הערכות שונות, ניתן ליהנות מהיתרונות ולהתגבר על החסרונות של כל שיטה. במקרה כזה חשוב לייצר דיאלוג פתוח בין המעריך הפנימי לבין המעריך החיצוני.
בכל מקרה, לפני ביצוע הערכה רצוי לבחון את המטרות שלכם אל מול הקריטריונים הבאים (בטבלה), על מנת לקבוע מהי ההערכה המתאימה לכם ביותר:
מהות הקשר בין הערכה ללמידה ארגונית בארגון ספציפי נקבעת על ידי בחינת ההיררכיה בין ביצוע ההערכה ללמידה ארגונית באותו ארגון. הסתכלו בארבעת הריבועים בתמונה (למטה) ושאלו את עצמכם: איפה תחום ההערכה עומד ביחס לתחום הלמידה הארגונית בארגון שלכם – האם ההערכה היא מרכיב בתוך תהליך הלמידה הארגונית? או שהדבר הפוך, והלמידה הארגונית דווקא מכילה את מרכיב ההערכה? או שמא ההערכה והלמידה הארגונית פועלות בנפרד בתוך הארגון? במידה וישנה הפרדה, האם ישנה נקודת השקה ביניהם? הבנת טיב הקשר בין הערכה ללמידה ארגונית יסייע לכם להגדיר את מקומכם כמבצעי ההערכה ביחס לארגון או לעמותה שלכם. לאחר הבנת מיקומו של תחום ההערכה בתוך הארגון, ניתן יהיה להגדיר ולכוון את פעילות ההערכה בתוך התהליך הארגוני שלכם.
לסיכום החלק הראשון: הערכה צריכה להיות מתוכננת, שיטתית ומכוונת מטרה. כלומר, תהליך ההערכה אינו ספונטני וחייב לכלול תהליך מובנה ומוכוון יעדים. אין לבצע הערכה בארגון אם אתם לא יודעים להגדיר לשם מה אתם מבצעים אותה!
תחום ההערכה מכיל סוגים שונים של הערכות: הערכת מיזמים, הערכת הישגים, הערכת עובדים, הערכת מבנים ארגוניים וכדומה. בחלק זה נעסוק בהערכת מיזמים בלבד (פרויקטים). מטרות ביצוע הערכה למיזם הן שיפור הביצועים, דיוק קבלת החלטות ויצירת ידע מקצועי. פעילות הערכת מיזמים כוללת איסוף המידע אודות הכוונות, הביצועים וההשפעות של המיזם. כאן נכנס תפקידו של הכלי המכונה – המודל הלוגי, תפקידו לספר את “סיפור המיזם”. המודל הלוגי הינו למעשה מסמך “חי” (בר שינוי) המסייע בחשיבה הערכתית ותוצאתית בארגון ובאפשרותו לתרום לסוגים שונים של תהליכי הערכה. את המודל הלוגי יש לבחון מחדש אחת לכמה זמן ו/או ב”צמתים חשובים” במיזם, ובהתאם לבחינה המחודשת לבצע בו שינויים. השינויים יכולים להיות קטנים (לדוגמה, חידוד הניסוח של התוצאות) או גדולים (הוספת מרכיב חדש למודל או הורדת רכיב מסוים שאינו יעיל), הכל בהתאם לבחינה המחודשת שתעשו. בנוסף, חשוב לדעת שלעיתים עצם התהליך של פיתוח המודל עשוי לתרום לפעילות אף יותר מהמודל עצמו. את המודל הלוגי לא ניתן לבנות על ידי אדם יחיד, אלא הוא דורש השתתפות קבוצתית וארגונית. לכן, יש לערב את הצוות/הקבוצה/ בעלי עניין בפיתוחו ובכתיבתו.
הגדרת המצב כוללת שני מרכיבים: 1) הגדרת אוכלוסיית היעד של המיזם 2) הגדרת צרכיה של אוכלוסיית היעד במיזם. הפירוט להלן:
אוכלוסיית היעד – הכוונה לאוכלוסיית היעד המוגדרת אשר אליה מיועד השינוי. חיוני להגדיר את גבולותיה ומאפייניה הייחודיים של האוכלוסייה מראש, כלומר להגדיר על מי בדיוק תתבצע המדידה של מידת ההשפעה בסיום המיזם. דוגמה: מיזם בטיפות חלב בו האימהות מקבלות הדרכה לטיפול בילדים בגיל הרך. במקרה זה, האימהות הן אמנם המשתתפות הפעילות במיזם, אך אוכלוסיית היעד אליה מכוון השינוי היא דווקא קבוצת הילדים.
הצרכים של אוכלוסיית היעד – אבחון מוקדם של צרכי האוכלוסייה והשינוי המתבקש. כלומר, זיהוי הבעיות אשר המיזם מיועד לפתור. חשבו מהי הגדרת הבעיה שיש לפתור או למנוע, מהם החסרים שיש למלא ומהן היכולות אשר המיזם שואף לפתח. אי הגדרתם של צרכי האוכלוסייה אשר נמצאים במוקד המיזם יביא לחוסר ביכולת להערכת המיזם. לדוגמה: המיזם קשור בקושי של אימהות לטפל בילדיהם וכחלק מכך הקושי של טיפת חלב ללוות את האימהות. הצורך שהמיזם מבקש למלא הוא פיתוח יכולות טיפול האימהות בילדים (ולא הקושי של טיפת חלב).
התוצאות הן למעשה הרווחים והתועלת שאוכלוסיית היעד מיועדת להפיק מהמיזם. כאמור, מיזמים שונים עשויים להיות מכוונים להשגת תוצאות בתחומים מגוונים: ידע, עמדות, זהות, מיומנויות, הרגלים, התנהגות – בחירת התחום קשורה באופי הארגון או המיזם ומטרותיו. לדוגמה: המיזם בטיפת חלב בו אימהות עוברות הדרכה לגידול ילדים בגיל הרך, התוצאות והרווחים ייבחנו ביחס לאוכלוסיית היעד – הילדים (ביטחון עצמי, יכולת השתלבות וכד’).
הרחבה: במודל הלוגי יש לקחת בחשבון את מגוון התוצאות האפשריות. כלומר: תוצאות מתוכננות מול תוצאות לא מתוכננות, תוצאות חיוביות מול תוצאות שליליות. בנוסף, המודל הלוגי מכיל את רצף התוצאות של המיזם (רצף לוגי או כרונולוגי) הרצף מייצר את המדרג וההיררכיה של תוצאות המיזם. לדוגמה: במיזם של טיפת חלב, תוצאת הקניית הידע הינה התוצאה המיידית. התוצאה המיידית מובילה לשינוי בעמדות וזוהי כבר תוצאת הביניים, ותוצאת הביניים מובילה לשינוי בהתנהגות וזו התוצאה ארוכת הטווח, אשר מביאה לשיפור ניכר במצב המהווה את התוצאה הסופית. למעשה, לא ניתן למדוד או להעריך מבלי להגדיר את היררכיית התוצאות. במקרים רבים ארגונים ממהרים “לדלג” ישר לתוצאה ארוכת הטווח לפני שבודקים אם היה שינוי בתוצאת הביניים, וזו טעות. הגדרת ההיררכיה של התוצאות במיזם היא למעשה תיאוריית השינוי שלכם – הלוגיקה של המודל. מומלץ לחדד מה הן הציפיות לתוצאות מהמיזם בחודש הראשון, בשנה הראשונה, בשנה השנייה וכדומה.
אלו הפעילויות שיתבצעו לטובת יצירת השינוי שהמיזם מבקש לחולל. למעשה, אלו המנגנונים שאמורים לייצר את השינוי הרצוי: השתלמויות, סמינרים, סיורים, חלוקת עלונים, הדרכה, פרסום ברשתות חברתיות וכדומה. לדוגמה: במקרה של המיזם בטיפת חלב, פעילויות יכולות להיות: סדנאות לאימהות, משחקים לילדים, מפגשי הורים ותלמידים וכדומה. אלו המרכיבים הפעילים בתוך המיזם.
התפוקות הן התוצרים הישירים של הפעילויות במיזם (תפוקות נבדלות מתוצאות, ראו פירוט בהמשך). התפוקות משקפות את הנפח וההיקף של פעילות המיזם. התפוקות חייבות להיות מיוצגות במספרים וניתנות לכימות. דוגמה: במיזם של טיפת חלב לחשב את מספר העלונים שחולקו, מספר אוטובוסים שהושכרו, מספר שעות הוראה שנתנו, מספר מלווים שהשתתפו וכדומה.
התשומות הן המשאבים האנושיים (צוות בשכר, מתנדבים), הכספיים והארגוניים (ציוד, מבנה) שאנחנו משקיעים על מנת להפעיל את המיזם. לרוב מתקיים קשר בין התשומות לתפוקות. התפוקות (התוצרים הישירים) צריכות הרבה פעמים להוות “תמונת מראה” של התשומות (המשאבים). תמונת המראה תשקף ותכלול לדוגמה את סך הפעילות הבא: התשומות יתמקדו במשאבים שנדרשים לצוות המוביל את המיזם, התפוקות יתמקדו בכמות הישיבות של הצוות המוביל והתוצאות יתמקדו במה שקרה בעקבות העבודה של הצוות. דוגמה: במיזם של טיפת חלב הוחלט על השקעת 1000 ₪ בדפי הדרכה – ההשקעה הכספית תהווה את התשומות עצמן. מדידת הכמות של דפי הדרכה שחולקו יהוו את התפוקות במיזם.
למודל הלוגי קיימות כמה צורות מבניות וגרפיות אפשריות (ניתן לכתוב ב-Google “מודל לוגי” ולהיחשף לשלל האפשרויות), כאן נציג שלוש עיקריות מהן:
המודל הפשוט מורכב משלושה שלבים: הגדרת הפעילויות הנעשות במיזם, פירוט התוצאות המיידיות והתוצאות הסופיות.
המודל המפורט מורכב משבעה שלבים: הגדרת המצב הקיים (אוכלוסיית היעד וצרכיה), קביעת התשומות למיזם (כסף, כ”א, ציוד, מבנים), הגדרת אסטרטגית הפעולה (מה יתבצע בפועל לטובת יצירת השינוי), קביעת התפוקות (התוצרים הכמותיים שנגזרים מהפעילויות – חומרי הדרכה, אוטובוסים וכדומה), וקביעת היררכית התוצאות: תוצאות מיידיות – (בדרך כלל עד חצי שנה מסיום המיזם) – תוצאות ביניים (בדרך כלל בין שנה לשנתיים מסיום המיזם) – תוצאות סופיות (יכולות להימדד גם כשלוש שנים עד חמש שנים לאחר מועד תחילת המיזם). יש להדגיש כי התוצאות הסופיות צריכות להוות מענה לצרכים שהוגדרו בקרב אוכלוסיית היעד בעת תיאור המצב הקיים.
המודל המורכב מתחיל מתיאור המצב הקיים, ומאפשר לשקף בתוכו שלושה או ארבעה מודלים להשגת תאוריית השינוי. לכל מודל יכולות להיות הפעילויות שלו, התפוקות הייחודיות לו והתוצאות המיידיות שינבעו מהן, אולם כל אלה גם יחד צריכים להביא לתוצאה סופית אחת שתהווה מענה לצרכים שהוגדרו בשלב בחינת המצב הקיים.
אם אתם עונים בחיוב לאחת מהשאלות הבאות, סימן שהמודל הלוגי רלוונטי לכם:
היתרון במודל הלוגי הוא היכולת להשתמש בו בשלבים שונים של המיזם.
שאלה שכיחה בקרב ארגונים היא באיזה שלב מתחילים לכתוב את המודל. התשובה היא שלמעשה כל ארגון יכול לקבוע מהי נקודת המוצא שלו (השלב) לכתיבת המודל. ארגון יכול לבחור להתחיל בהגדרת התוצאות הרצויות (בסגנון “Wishful thinking”), או להפך – בהגדרת המצב הקיים, או בכלל מניתוח התשומות הנתונות והפעילויות האפשריות מתוכן. בכל מקרה, בכל שלב בו תבחרו להתחיל, חשוב שטרם כתיבת המודל תעמוד מולכם ‘תמונת המצב’ המלאה. התמונה צריכה לכלול למעשה את כלל המידע האפשרי לצורך קבלת החלטות מושכלת. חשוב גם לקבל סיוע ומשוב כבר בעת פיתוח המודל מצוות המיזם, מחברי הוועד המנהל, מנציגים של גופים מממנים וכד’. יש להשקיע כבר בתחילת התהליך בכתיבת מספר טיוטות עד להגעה להסכמה רחבה על צורת המודל. לעיתים צריך להשקיע ולהתאמץ עד שמגיעים למודל שברור שהוא משקף את העבודה. זכרו: מודל לוגי הוא מסמך “חי” – כל עוד המיזם מתקיים ומתפתח דרושה נכונות שלכם לחזור לשולחן השרטוטים, לתקן, לשנות, לחדד, להוסיף, למחוק וכדומה.
כעת לאחר שהמודל הלוגי מוכן והוא משמש אתכם ככלי לתכנון, להמשגה, ליצירת שפה וחשיבה ארגונית, ניתן לצאת לדרך ולבצע מדידה והערכה. ראשית נגדיר ונבדיל ביניהם.
מדידה: ייחוס ערך כמותי לתופעות במציאות, באמצעות איסוף שיטתי של מידע בכלים המתאימים. המדידה היא נטולת שיפוט של טוב או רע ואיננה חוות דעת (חוות הדעת כלולה בתחום ההערכה). המדידה היא קריטריון אובייקטיבי ללא מתן ערך לתופעה. דוגמאות למדידה – מדד המחירים לצרכן המודד את השתנות המחירים במשק, או סטודנט המודד את שעות המלגה שהוא מבצע.
הערכה: שיפוט ומתן ערך לתופעות. בהערכה, השיפוט שלנו מתבצע אל מול נורמות וסטנדרטים בארגון, דעה של בעל סמכות, סקירת ספרות, יעדים שהוגדרו מראש, מיזם מתחרה או ציפיות מוקדמות. לעיתים, קיים ידע מקדים אשר עליו ניתן לבסס השערות או ציפיות, או שקיימות נורמות ארגוניות מובנות. עם זאת, לפעמים ישנו חוסר בידע ובנורמות. כל ארגון צריך תחילה להגדיר אילו נורמות וידע קיימים אצלו ובהתאם לכך לבנות את שיטת ההערכה שלו. לדוגמה – במיצ”ב שמתפרסם מדי שנה, כל בית ספר מקבל את גרף ההישגים שלו בהתאם לנורמה הארצית – זו הערכה. כך בתי הספר יכולים להעריך עצמם ביחס לנורמה.
דוגמה נוספת: להגיד שהטמפרטורה היא 35 מעלות – זו מדידה. אך השוואה לטמפרטורה שהייתה בשבוע שעבר וקביעה כי כעת חם יותר – זו הערכה.
כאשר מתחילים להעריך יש לשאול קודם כל מה חשוב לארגון? מה חשוב לבעלי העניין השונים בארגון? מהם צרכי המידע שלכם? למה אתם רוצה לעשות הערכה? שאלה חיונית נוספת הינה מהו העיתוי המתאים להערכה? ובכן, כאשר מתחלף מנהל/יו”ר/ועד מנהל זה לא הזמן להתחיל בביצוע הערכה בארגון. יש להמתין עד אשר בעלי התפקיד החדשים “יכנסו לעניינים” וירגישו בטוחים במקומם.
אז מתי כן כדאי להתחיל את תהליך ההערכה? כאשר רוצים לצאת עם פיילוט חדש, או כשחושבים שהתוכנית רצה כבר כמה שנים ויש לה הישגים יפים – אז נתחיל את תהליך ההערכה.
לצורך החלטה על התפוקות או התוצאות אותן נמדוד, כדאי לחזור למודל הלוגי – אשר מכיל סעיפי תפוקות ותוצאות, ולהפיק ממנו רשימות נפרדות של תפוקות ותוצאות אותן נרצה למדוד. מטרת הרשימות היא להציג את התפוקות והתוצאות אותן אנו רוצים ויכולים למדוד. עם זאת, לא כל תוצאה ותפוקה ניתן או צריך למדוד ולהעריך.
מומלץ שתשאלו את עצמכם:
שימו לב שרשימת המדדים שאתם כותבים אינה ארוכה יתר על המידה, היות ורשימה ארוכה מדי תקשה על יכולת הבנת הממצאים.
ניתן לאסוף נתונים על משתתפים, על פעילויות ועל תוצאות ולבצע הערכה אודותיהם, זאת ע”י שאלת השאלות הנכונות. ניתן לעשות זאת על פי החלוקה הבאה:
כלים לאיסוף של מידע כמותי:
כלים לאיסוף של מידע איכותני:
*הבחירה בין ראיונות לקבוצת מיקוד, תלוי בגודל התוכנית, המשאבים שיש לכם וכדומה.
מומלץ לשלב בין אסטרטגיות לאיסוף נתונים ולא להשתמש רק באסטרטגיה אחת. שימו לב: לפני שאתם בוחרים את הכלים הנכונים לכם, יש לבצע את השלבים הבאים: לתכנן את התהליך, להשתמש במודל הלוגי, לבחור את נשוא המדידה והערכה, להסתכל על השאלות המנחות לגבי נתוני פעילות, משתתפים ותוצאות – ורק אז לבחור באיזה כלי נכון להשתמש ומתי.
בהצלחה!
