על סקרים, טריקים של סוקרים, וטעויות אפשריות

by

אסף אורון

מנקודת התצפית הווירטואלית לגמרי שלי על הבחירות הקרבות אני מבחין בלא מעט בלבול באשר לסקרי דעת הקהל. אפילו אנשים משכילים ואינטליגנטיים כותבים שסקרים הם "סוג של שטיפת מוח", או לועגים לרעיון שמדגם של 500 איש יכול לחזות מה יעשו 4 מיליון.

העובדה היא, שחוץ מכמה יוצאים מן הכלל תעשיית הסקרים האמריקנית – שצריכה לחזות אוכלוסייה גדולה בהרבה – עבדה יפה מאוד בחיזוי בחירות 2012. וגם מי שפישל, די ברור איך ולמה. אז זו הזדמנות להבין איך עובדים סקרי דעת קהל, ומה באמת המגרעות העיקריות של הסקרים הישראלים.

מודל הקובייה

נניח שיש לכם קוביית משחק, ומאוד חשוב לכם לדעת אם היא סימטרית ונוחתת על כל 6 צדדיה באותה תדירות. איך תבדקו? פשוט מאוד, תטילו אותה הרבה פעמים ותרשמו את התוצאות בטבלה. אם מספר הפעמים שכל צד יצא הוא דומה למדי, כנראה שהקובייה סימטרית. אם לא, אז לא.

טוב, אבל כמה פעמים צריך להטיל את הקובייה? ברור ש-5-6 פעמים זה לא מספיק. גם לא 10-20. אבל האם 100 זה מספיק? האם 1000? או מיליון?

תורת ההסתברות יכולה לענות על השאלה בקלות, בהנחה שהטלות הקובייה הן באמת אקראיות לגמרי, זהות אחת לשנייה מבחינת התהליך האקראי, ושהתוצאות לא משפיעות זו על זו. ברור, אלה הנחות דמיוניות ואופטימיות – אבל אם הן נכונות אפילו בערך, התשובה היא קירוב טוב מאוד למציאות. אפשר להיות די בטוח שאחוזי ההופעה של צדדי הקובייה השונים מתוך סך כל ההטלות, מייצגים את התמונה האמיתית לגבי תכונות הסימטריה שלה, פלוס-מינוס טעות אקראית. הגודל היחסי של הטעות האקראית הזו הוא הופכי לשורש מספר ההטלות. אחרי 100 הטלות, הטעות היא בסדר גודל של 10%. אחרי 1000 הטלות, 3% – ואחרי מיליון הטלות, 0.1%.

ועכשיו לנמשל. הטעות האקראית של הקובייה בדוגמה שלנו, היא בדיוק אותה "טעות דגימה" שמדווחים בסקרים. רגע, מה קורה פה? אנשים לא מצביעים בהטלת קובייה. טוב, חלק אולי כן. אבל הרוב לא. אז מה הקשר?

נכון, ההצבעה לא אקראית. מה שאקראי הוא אל מי יתקשרו הסוקרים. עם כמה הנחות די פשוטות (שנדבר על חלקן אח"כ), לא צריך יותר מכמה מאות משיבים כדי לקבל תמונה כללית על התפלגות כוונות ההצבעה באוכלוסייה כולה, בקירוב של אחוזים בודדים.

ובכל זאת, יש שתי בעיות מבניות בסקרים הישראלים ובצורת הדיווח שלהם.

elections2

צריך לדווח דיווח מלא, כולל מתלבטים – ולא מנדטים תוך מחיקת המתלבטים

לקח מעניין שנלמד מהבחירות האמריקניות האחרונות, הוא שכמות המתלבטים גדולה בהרבה ממה שמדווחים לסוקרים. לכאורה על-פי רוב הסקרים היו פחות מ-5% מתלבטים. אבל סקר מיוחד של חברת ראנד (אין קשר לע' ראנד המטורללת), שחזר וסקר באופן יומיומי את אותו מדגם בן כ-3000 אזרחים, הראה תמונה אחרת. כשמסע הבחירות התחמם, הגרף של ראנד התחיל להשתולל. הוא הגיע לתיקו בין המועמדים, ואז במהלך ספטמבר טיפס ל-8% לאובמה – רק כדי לצנוח לפחות מ-2% תוך שבועיים אחרי העימות הראשון האומלל. אחר-כך אובמה התאושש, והסקר הזה (שרבים פקפקו בשיטה החדשנית שלו) גמר את מסע הבחירות עם חיזוי מדויק ביותר: ניצחון של 3.3% לאובמה (ההפרש הסופי: 3.8%).

תנודות כאלה בתוך אותה קבוצה של נסקרים, לא נוצרות מאחוזים בודדים של מתלבטים. אז אחוז המתלבטים האמיתי בארה"ב היה גדול לפחות פי שניים ממה שחשבו כולם. ועכשיו לארץ: ממה שקראתי (ולא ראיתי יותר מדי מידע, רוב הסקרים בארץ לא משתפים) שבועיים לפני הבחירות היו בסקרים עדיין 20-30% מתלבטים. זה המון. ובהתחשב בלקח של ארה"ב, יכול להיות שהאחוז אפילו גדול יותר.

במצב כזה, לקחת רק את הלא-מתלבטים ולהתחיל לחלק "מנדטים" בשביל לצייר גרפים יפים באינטרנט, זו בדיחה. מאחר ומה שקובע באמת את יחסי הכוחות הוא גודל הגושים, הסוקרים צריכים להתאמץ קצת יותר – ולברר עם כל מתלבטת ומתלבט, אם הם מתלבטים בין מפלגות מאותו הגוש, מגושים שונים, או מתלבטים אם להצביע בכלל.

נכון להיום, תמונת המצב של הסקרים מסמנת כ-65-70 “מנדטים" לגוש הימין. אבל אם רוב המתלבטים בעצם מתלבטים בין מפלגות שמאל-מרכז, ואם הם בכל זאת יצביעו בסוף, יכול להיות שהימין בכלל ייפול מתחת ל-60. ואם ההיפך נכון, אולי הימין עובר את ה-75. המידע הזה נמצא בקצות האצבעות של חברות הסקרים – ואולי הן כן מספקות אותו למפלגות – אבל הציבור נשאר רק עם גרפי המנדטים הצבעוניים והמטופשים.

elections

הנחות וגורמי תיקון: מה עובד ומה לא

כדי שסקרי בחירות באמת יעבדו כמו הטלת קובייה, צריך ש"הנחת ספר הטלפונים” תעבוד, כלומר שהאוכלוסייה הכללית אליה הסוקרים יכולים להתקשר פיזית, היא מייצגת מספיק. הרקורד של ארה"ב 2012 מוכיח שלסוקרים שדילגו על טלפונים ניידים היתה טעות גדולה יותר לטובת רומני .

עוד בעיה היא שבימינו רוב רובם של האנשים אליהם מתקשרים, מסרבים לענות או פשוט לא נמצאים בבית. האם אלה שכן ענו הם מדגם מייצג של כולם? לא. השאלה המעניינת, היא האם אלה שלא עונים שונים מהותית בדפוסי ההצבעה שלהם מאלה שכן. בישראל באופן די מסורתי הסקרים נוטים להמעיט בביצועים של ש"ס והמפלגות הערביות, ולהגזים בביצועים של מפלגות הימין הקיצוני (שתומכיהן כנראה ששים לענות לסקרים יותר מרוב האחרים).

בכל מקרה, אחרי שגמרו לדבר עם מי שכן טרח להשיב, הסוקרים יכולים למצוא את עצמם עם מדגם שיש בו רק נניח 10% מהפריפריה, כשהם יודעים שבעצם גרים שם 20% מהאוכלוסייה (אני סתם זורק מספרים). מה עושים? מכניסים גורם תיקון: מכפילים את כל המספרים בטבלה מן המגזר הזה פי 2, כדי שיתאימו לשיעורם באוכלוסייה. גורמי תיקון כאלה – לפי נתונים דמוגרפיים ידועים ממפקד האוכלוסין – הם מקובלים ומקצועיים. הסקר של ראנד השתמש בהם לכל אורך הדרך, והוא לא היחיד.

מתי מתחילים להסתבך? כשמכניסים גורמי תיקון לפי ניחושים על התנהגות פוליטית. בארה"ב זה קרה בשתי דרכים. חברת ראסמוסן, חביבת הימין, תיקנה את התוצאות לפי אחוזי ההשתייכות המפלגתית של הבוחרים בבחירות 2010, בהנחה שהשתייכות מפלגתית היא נתון פיזי בלתי משתנה, כמו צבע העור. זו שטות מוחלטת, וראסמוסן נפלו על הפנים. תיקון שני ונפוץ יותר היה למחוק מן הדיווח את "הבוחרים הלא-בטוחים". הכוונה לא למתלבטים, אלא לאנשים שאומרים שהם יצביעו (נניח) אובמה, אבל הסוקרים "יודעים" שהם בעצם לא יטרחו להצביע. תיקון "הבוחר הבטוח" תמיד הוריד לאובמה כמה אחוזים בסקרים – ובסוף התברר כחארטה בארטה. בסופו של דבר, אם מישהו אומר לך שבוע לפני הבחירות "אני מצביע איקס”, הדבר הבטוח יותר לעשות הוא לדווח "איקס”, ולא להחליט בשבילו שהוא לא יצביע.

כמו שאני מכיר את הראש הישראלי (יש לי אחד כזה עלי כאן), אני מנחש שהסוקר הישראלי הממוצע לא יכול להתאפק מ"לתקן" ו"לשפר" את התוצאות הגולמיות, בסגנון ראסמוסן ואף גרוע מכך. נוסיף את הקשיים האובייקטיביים – אוכלוסייה שהיא פסיפס של שבטים שכל אחד מהן נאמן לשתיים-שלוש המפלגות שלו – ונקבל אתגר שניתן להתגבר עליו או דרך העלאת גודל המדגם (ים כסף!) או בקומבינות. מה השאלה בכלל? ברור שקומבינות.

רמז לטריקים של הסוקרים אפשר לראות מיציבות המנדטים המדהימה של "המפלגות הערביות". כמעט בכל אחד מעשרות הסקרים שהתפרסמו בארץ, הסכום שלהן עומד על 11 מנדטים – בדיוק כמו עכשיו. בינתיים כל שאר המפלגות מתנדנדות 2-5 מנדטים לכאן או לכאן. אז יכול להיות שסוקרים רבים עדיין לא כוללים ערבים במדגם – או שהם מפעילים כזה תיקון דומיננטי, שהסכום של המצביעים הערבים תמיד חוזר לאותה נקודה. סיפור דומה קורה כנראה גם עם יהדות התורה.

החדשות הטובות בקשר לסקרים הן שמספיקה מערכת בחירות אחת, וחברה אחת שמקפידה יותר על מקצועיות ועושה צחוק מכל השאר שנופלות על הפנים, כדי שכל התחום יתיישר – או לפחות, כדי שחלק מהסקרים יהפכו אמינים יותר. זו בדיוק הדרך בה התחום התפתח.

טוב, ועכשיו יאללה לקלפיות.

תגים: , , , , , ,

5 תגובות to “על סקרים, טריקים של סוקרים, וטעויות אפשריות”

  1. דרור בל"ד Says:

    נסיון יפה להעביר שיעור מתמטיקה ללא מתמטיקאים בהר הצופים. להערכתי הסוקרים יודעים את מלאכתם כך שאי האמינות מקורה אינה (רק) בהסקה סטטיסטית שגוייה אלא (גם) בגלל מניעים זרים. עוד אפשר לציין כי טעות הדגימה קטנה יותר ככל שהמפלגה גדולה יותר, לכן התחזיות על המפלגות הקטנות הן בערך כמו הימור בבורסה (בהינתן מדגם של 500 ואפילו 1000 איש). לאור זאת איני מבין מדוע אתה פוסל את ההנחה שסקרים הם "סוג של שטיפת מוח". מטרתם לדעתי הוא להכשיל את המפלגות הקטנות ולסייע לגדולות.

    לא נתקלתי אף פעם בנתון כמה מתוך אלו שפונים אליהם עונים, כמה מהם מסרבים לענות וכמה כלל לא עונים לטלפון. נתון זה עשוי לענות בקלות על השאלה האם אלה שלא עונים שונים מהותית בדפוסי ההצבעה שלהם מאלה שכן.
    הקיצור, בל"ד בדרך לשישה מושבים, חסר לה רק את הקול שלך.

    • drevney Says:

      פחח. על ה6 מנדטים. אתה צודק לגבי מניעי פרסו הסקרים, לפחות חלקית.

      אבל סתם שאלה לא קשורה לגבי בל"ד. למה הם לא פועלים (או שכן ואני לא יודע) באוכלוסיית מזרח ירושלים? להבנתי (ותקן אותי..) יש שם כשני מנדטים של תושבים המחזיקים תעודה כחולה שכמעט כולם לא מצביעים באופן עקרוני.

      • דרור בל"ד Says:

        1. שש מנדטים!
        לא מחכים שנתיים, לא חודשיים, לא שבועיים, רק יומיים, והיבא יזבק נכנסת לפרלמנט הציוני ומסבירה לציוניות את כל מה שהן צריכות לדעת.

        2. "…לא קשורה לגבי בל"ד. למה הם…". מי זה הם?

        3. למיטב ידיעתי תושבי מזרח ירושלים הם לא אזרחים ולא יכולים להצביע בבחירות הכלליות, פרט לבחירות לעיריית ירושלים. הנה הסבר קצר מדף הפייסבוק של אורלי נוי לגבי אי הישתתפותם של אלה בבחירות המוניציפליות:
        "הצבעה המונית של תושבי ירושלים המזרחית היתה יכולה לשנות את מפת מועצת העירייה מהקצה אל הקצה. אלא שההחלטות הנוגעות אליהם הן תוצאה 1. של מדיניות ממשלתית, ו2. של מדיניות ראש העיר. בהיותם תושבי קבע ולא אזרחים, הם לא יוכלו לכהן אף פעם כראש עיר, ולכן לנוכחות במועצת העיר מהבחינה הזו יש משמעות קטנה מאוד".
        אם תפנה אליה היא תדע לענות לך על כל השאלות בנושא זה.

  2. corinnahasofferett Says:

    תודה על ההארות. אני בהחלט חושבת ובטוחה שהסקרים יותר משהם יודעים ויעילים בלסקור, הם יודעים ויעילים בהשפעה על מירב קוראיהם. יצר הנאמנות לרוב, כי "הרוב תמיד צודק" גובר.

  3. אבנר Says:

    מבחינה פילוסופית יש משהו מאד מתסכל ברעיון הנכון שעומד מאחורי הסקרים למיניהם.

    הרעיון הבסיסי אומר שאם 10 אחוז מהאוכלוסיה לדגמה הם גברים חרדים מהעשירון התחתון נשואים ולא עובדים הרי שגם 10 אחוז מהנסקרים צריכים להיות אנשים כאלה ואם לעומת זאת 10 אחוז מהאוכלוסיה הם אקדמאים חילונים מהמעמד הבינוני, מזרחיים וגרים בצפון הארץ הרי שגם 10 אחוז מהנסקרים צריכים להיות כאלה.

    במילים אחרות – בניגוד למה שכולנו היינו רוצים לחשוב על עצמנו (במיוחד הציבור החילוני יותר) שאנחנו אנשים חופשיים ועצמאיים שלדעותינו הגענו אחרי שימוש בשכלנו ובדיקת כל האפשרויות – הרי שנכונות הסקרים מעידה שכמעט אין משקל לחשיבה החופשית של כל אחד מאיתנו , ודעותינו הם נגזרות של דברים שכמעט ואין לנו השפעה עליהם כמו מוצא, מין,לאום,דת וכיוצא בזה.

כתיבת תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s


%d בלוגרים אהבו את זה: