על סקרים, טריקים של סוקרים, וטעויות אפשריות

אסף אורון

מנקודת התצפית הווירטואלית לגמרי שלי על הבחירות הקרבות אני מבחין בלא מעט בלבול באשר לסקרי דעת הקהל. אפילו אנשים משכילים ואינטליגנטיים כותבים שסקרים הם "סוג של שטיפת מוח", או לועגים לרעיון שמדגם של 500 איש יכול לחזות מה יעשו 4 מיליון.

העובדה היא, שחוץ מכמה יוצאים מן הכלל תעשיית הסקרים האמריקנית – שצריכה לחזות אוכלוסייה גדולה בהרבה – עבדה יפה מאוד בחיזוי בחירות 2012. וגם מי שפישל, די ברור איך ולמה. אז זו הזדמנות להבין איך עובדים סקרי דעת קהל, ומה באמת המגרעות העיקריות של הסקרים הישראלים.

מודל הקובייה

נניח שיש לכם קוביית משחק, ומאוד חשוב לכם לדעת אם היא סימטרית ונוחתת על כל 6 צדדיה באותה תדירות. איך תבדקו? פשוט מאוד, תטילו אותה הרבה פעמים ותרשמו את התוצאות בטבלה. אם מספר הפעמים שכל צד יצא הוא דומה למדי, כנראה שהקובייה סימטרית. אם לא, אז לא.

טוב, אבל כמה פעמים צריך להטיל את הקובייה? ברור ש-5-6 פעמים זה לא מספיק. גם לא 10-20. אבל האם 100 זה מספיק? האם 1000? או מיליון?

תורת ההסתברות יכולה לענות על השאלה בקלות, בהנחה שהטלות הקובייה הן באמת אקראיות לגמרי, זהות אחת לשנייה מבחינת התהליך האקראי, ושהתוצאות לא משפיעות זו על זו. ברור, אלה הנחות דמיוניות ואופטימיות – אבל אם הן נכונות אפילו בערך, התשובה היא קירוב טוב מאוד למציאות. אפשר להיות די בטוח שאחוזי ההופעה של צדדי הקובייה השונים מתוך סך כל ההטלות, מייצגים את התמונה האמיתית לגבי תכונות הסימטריה שלה, פלוס-מינוס טעות אקראית. הגודל היחסי של הטעות האקראית הזו הוא הופכי לשורש מספר ההטלות. אחרי 100 הטלות, הטעות היא בסדר גודל של 10%. אחרי 1000 הטלות, 3% – ואחרי מיליון הטלות, 0.1%.

ועכשיו לנמשל. הטעות האקראית של הקובייה בדוגמה שלנו, היא בדיוק אותה "טעות דגימה" שמדווחים בסקרים. רגע, מה קורה פה? אנשים לא מצביעים בהטלת קובייה. טוב, חלק אולי כן. אבל הרוב לא. אז מה הקשר?

נכון, ההצבעה לא אקראית. מה שאקראי הוא אל מי יתקשרו הסוקרים. עם כמה הנחות די פשוטות (שנדבר על חלקן אח"כ), לא צריך יותר מכמה מאות משיבים כדי לקבל תמונה כללית על התפלגות כוונות ההצבעה באוכלוסייה כולה, בקירוב של אחוזים בודדים.

ובכל זאת, יש שתי בעיות מבניות בסקרים הישראלים ובצורת הדיווח שלהם.

צריך לדווח דיווח מלא, כולל מתלבטים – ולא מנדטים תוך מחיקת המתלבטים

לקח מעניין שנלמד מהבחירות האמריקניות האחרונות, הוא שכמות המתלבטים גדולה בהרבה ממה שמדווחים לסוקרים. לכאורה על-פי רוב הסקרים היו פחות מ-5% מתלבטים. אבל סקר מיוחד של חברת ראנד (אין קשר לע' ראנד המטורללת), שחזר וסקר באופן יומיומי את אותו מדגם בן כ-3000 אזרחים, הראה תמונה אחרת. כשמסע הבחירות התחמם, הגרף של ראנד התחיל להשתולל. הוא הגיע לתיקו בין המועמדים, ואז במהלך ספטמבר טיפס ל-8% לאובמה – רק כדי לצנוח לפחות מ-2% תוך שבועיים אחרי העימות הראשון האומלל. אחר-כך אובמה התאושש, והסקר הזה (שרבים פקפקו בשיטה החדשנית שלו) גמר את מסע הבחירות עם חיזוי מדויק ביותר: ניצחון של 3.3% לאובמה (ההפרש הסופי: 3.8%).

תנודות כאלה בתוך אותה קבוצה של נסקרים, לא נוצרות מאחוזים בודדים של מתלבטים. אז אחוז המתלבטים האמיתי בארה"ב היה גדול לפחות פי שניים ממה שחשבו כולם. ועכשיו לארץ: ממה שקראתי (ולא ראיתי יותר מדי מידע, רוב הסקרים בארץ לא משתפים) שבועיים לפני הבחירות היו בסקרים עדיין 20-30% מתלבטים. זה המון. ובהתחשב בלקח של ארה"ב, יכול להיות שהאחוז אפילו גדול יותר.

במצב כזה, לקחת רק את הלא-מתלבטים ולהתחיל לחלק "מנדטים" בשביל לצייר גרפים יפים באינטרנט, זו בדיחה. מאחר ומה שקובע באמת את יחסי הכוחות הוא גודל הגושים, הסוקרים צריכים להתאמץ קצת יותר – ולברר עם כל מתלבטת ומתלבט, אם הם מתלבטים בין מפלגות מאותו הגוש, מגושים שונים, או מתלבטים אם להצביע בכלל.

נכון להיום, תמונת המצב של הסקרים מסמנת כ-65-70 “מנדטים" לגוש הימין. אבל אם רוב המתלבטים בעצם מתלבטים בין מפלגות שמאל-מרכז, ואם הם בכל זאת יצביעו בסוף, יכול להיות שהימין בכלל ייפול מתחת ל-60. ואם ההיפך נכון, אולי הימין עובר את ה-75. המידע הזה נמצא בקצות האצבעות של חברות הסקרים – ואולי הן כן מספקות אותו למפלגות – אבל הציבור נשאר רק עם גרפי המנדטים הצבעוניים והמטופשים.

הנחות וגורמי תיקון: מה עובד ומה לא

כדי שסקרי בחירות באמת יעבדו כמו הטלת קובייה, צריך ש"הנחת ספר הטלפונים” תעבוד, כלומר שהאוכלוסייה הכללית אליה הסוקרים יכולים להתקשר פיזית, היא מייצגת מספיק. הרקורד של ארה"ב 2012 מוכיח שלסוקרים שדילגו על טלפונים ניידים היתה טעות גדולה יותר לטובת רומני .

עוד בעיה היא שבימינו רוב רובם של האנשים אליהם מתקשרים, מסרבים לענות או פשוט לא נמצאים בבית. האם אלה שכן ענו הם מדגם מייצג של כולם? לא. השאלה המעניינת, היא האם אלה שלא עונים שונים מהותית בדפוסי ההצבעה שלהם מאלה שכן. בישראל באופן די מסורתי הסקרים נוטים להמעיט בביצועים של ש"ס והמפלגות הערביות, ולהגזים בביצועים של מפלגות הימין הקיצוני (שתומכיהן כנראה ששים לענות לסקרים יותר מרוב האחרים).

בכל מקרה, אחרי שגמרו לדבר עם מי שכן טרח להשיב, הסוקרים יכולים למצוא את עצמם עם מדגם שיש בו רק נניח 10% מהפריפריה, כשהם יודעים שבעצם גרים שם 20% מהאוכלוסייה (אני סתם זורק מספרים). מה עושים? מכניסים גורם תיקון: מכפילים את כל המספרים בטבלה מן המגזר הזה פי 2, כדי שיתאימו לשיעורם באוכלוסייה. גורמי תיקון כאלה – לפי נתונים דמוגרפיים ידועים ממפקד האוכלוסין – הם מקובלים ומקצועיים. הסקר של ראנד השתמש בהם לכל אורך הדרך, והוא לא היחיד.

מתי מתחילים להסתבך? כשמכניסים גורמי תיקון לפי ניחושים על התנהגות פוליטית. בארה"ב זה קרה בשתי דרכים. חברת ראסמוסן, חביבת הימין, תיקנה את התוצאות לפי אחוזי ההשתייכות המפלגתית של הבוחרים בבחירות 2010, בהנחה שהשתייכות מפלגתית היא נתון פיזי בלתי משתנה, כמו צבע העור. זו שטות מוחלטת, וראסמוסן נפלו על הפנים. תיקון שני ונפוץ יותר היה למחוק מן הדיווח את "הבוחרים הלא-בטוחים". הכוונה לא למתלבטים, אלא לאנשים שאומרים שהם יצביעו (נניח) אובמה, אבל הסוקרים "יודעים" שהם בעצם לא יטרחו להצביע. תיקון "הבוחר הבטוח" תמיד הוריד לאובמה כמה אחוזים בסקרים – ובסוף התברר כחארטה בארטה. בסופו של דבר, אם מישהו אומר לך שבוע לפני הבחירות "אני מצביע איקס”, הדבר הבטוח יותר לעשות הוא לדווח "איקס”, ולא להחליט בשבילו שהוא לא יצביע.

כמו שאני מכיר את הראש הישראלי (יש לי אחד כזה עלי כאן), אני מנחש שהסוקר הישראלי הממוצע לא יכול להתאפק מ"לתקן" ו"לשפר" את התוצאות הגולמיות, בסגנון ראסמוסן ואף גרוע מכך. נוסיף את הקשיים האובייקטיביים – אוכלוסייה שהיא פסיפס של שבטים שכל אחד מהן נאמן לשתיים-שלוש המפלגות שלו – ונקבל אתגר שניתן להתגבר עליו או דרך העלאת גודל המדגם (ים כסף!) או בקומבינות. מה השאלה בכלל? ברור שקומבינות.

רמז לטריקים של הסוקרים אפשר לראות מיציבות המנדטים המדהימה של "המפלגות הערביות". כמעט בכל אחד מעשרות הסקרים שהתפרסמו בארץ, הסכום שלהן עומד על 11 מנדטים – בדיוק כמו עכשיו. בינתיים כל שאר המפלגות מתנדנדות 2-5 מנדטים לכאן או לכאן. אז יכול להיות שסוקרים רבים עדיין לא כוללים ערבים במדגם – או שהם מפעילים כזה תיקון דומיננטי, שהסכום של המצביעים הערבים תמיד חוזר לאותה נקודה. סיפור דומה קורה כנראה גם עם יהדות התורה.

החדשות הטובות בקשר לסקרים הן שמספיקה מערכת בחירות אחת, וחברה אחת שמקפידה יותר על מקצועיות ועושה צחוק מכל השאר שנופלות על הפנים, כדי שכל התחום יתיישר – או לפחות, כדי שחלק מהסקרים יהפכו אמינים יותר. זו בדיוק הדרך בה התחום התפתח.

טוב, ועכשיו יאללה לקלפיות.

תגים: בחירות, בחירות 2013, גורמי תיקון, הסתברות, טעויות במדגם, סקרי בחירות, סקרים