עשרות השנים האחרונות הוכיחו מעבר לכל ספק סביר: זכויות האדם והאזרח שלנו לא יכולות להיות מופרדות מההתפתחויות הטכנולוגיות והדיגיטליות. מצד אחד, האינטרנט מאפשר לנו לחשוף עוולות, להתעמת עם מפרי זכויות אדם ולממש את חופש הביטוי שלנו בצורה שלא ידענו פעם. מצד שני, אנו עדים גם לסכנות הרבות והחמורות של הטכנולוגיה: אפליה מבנית ברשתות החברתיות, כלי מעקב אשר מופעלים נגד פעילי זכויות אדם וקבוצות שוליים, ולבסוף פגיעה בזכויותינו בהקשרים של הגירה ומערכות רווחה צודקות. ככל שאנחנו רואים שימוש נרחב יותר באינטרנט, יש צורך עמוק בהגנה על זכויותינו בעידן הדיגיטלי.
בעולם חדש זה אנו עדים לעלייה משמעותית בסוגי המעקבים אשר מבוצעים ע”י מדינות, חברות טכנולוגיה וגורמים נוספים. כיום, הדרכים הנפוצות ביותר לבצע מעקב הינן באמצעות מערכות זיהוי פנים (Facial Recognition) אשר פועלות ע”י סריקה של תווי הפנים שלנו, מעקב ביומטרי אשר לרוב מבוצע ע”י שימוש בטביעות אצבע, ולבסוף, במיוחד בשנים האחרונות, מעקב אשר מבוצע באמצעות השימוש בבינה מלאכותית.
בדרך כלל ההאשמות והאחריות של הפרות זכויות אדם באמצעות ההתפתחויות הטכנולוגיות מופנות כנגד חברות הטכנולוגיה הגדולות (Big Tech). עם זאת, המחקרים האחרונים של אמנסטי מוכחים כי גם מדינות מפרות זכויות אדם ואזרח בסיסיות באמצעות השימוש בטכנולוגיות בינה מלאכותית. מקרי הבוחן אשר אמנסטי בדקה במהלך השנים האחרונות הראו כי בדנמרק, סרביה, הודו, הולנד וצרפת נעשו הפרות חמורות בתחום זה, כאשר מערכות הרווחה המקומיות פגעו בזכויותיהן של קבוצות שוליים ובכך העמיקו את פערי אי-השוויון והאפליה במדינות הנ”ל.
דנמרק: מערכת הרווחה אשר מופעלת באמצעות בינה מלאכותית מסכנת קבוצות שוליים
דו”ח אמנסטי אינטרנשיונל, חוסר שיוויון מקודד: מעקב ואפליה בדנמרק, חושף כי רשות הרווחה הדנית (UDK) מסתכנת באפליה לרעה של אנשים בעלי מוגבלות, אנשים בעלי הכנסה נמוכה, מהגרים, פליטים וקבוצות גזעיות מודרות באמצעות השימוש בכלי בינה מלאכותית. המערכת משתמשת באלגוריתם שמסמן יחידים אשר נוצר חשד נגדם בגין הונאה. בשילוב מדיניות מעקב המונית אחר “חשודים”, הרשויות בדנמרק הובילו להפרות של הזכות לפרטיות ויצרו אווירה של פחד לא מוצדק.
אמנסטי חושפת כי רשות הרווחה הדנית ביחד עם ATP, חברה אשר הוסמכה לבצע את בקרות ההונאה וחלוקת הכספים הסוציאליים, פיתחו אלגוריתמים אשר סימנו באופן מוגבר אנשים מקבוצות שוליים לצורכי חקירה בעקבות טענות שווא לניצול מערכת הרווחה וביצוע הונאות. בשיחה שערכה אמנסטי עם מקבלי עזרה סוציאלית אשר עברו חקירה ע”י הרשויות בדנמרק, אחד הנחקרים העיד:
“זה מרגיש כאילו מכוונים עלייך אקדח. אנחנו תמיד מפחדים. זה כאילו האקדח תמיד מכוון אלינו”
האלגוריתמים של הרשויות הדניות מסמנים בדגל אדום נתונים אשר הם הוגדרו כ”חריגים” או “לא טיפוסיים”. בעוד שאין בהירות לגבי מצבים אלה, אמנסטי מצאה כי דווקא בגלל זה נשארה דלת פתוחה לקבלת החלטות שרירותיות: לדוגמא, משקי בית רב-דוריים ו/או מאוכלסים מאוד, אשר נפוצים בקהילות מהגרים, יסומנו ע”י המערכת. כמו כן, הסדרי מגורים נפרדים מסומנים ע”י המערכת כפעילות החשודה בהונאה, מצב אשר נפוץ אצל אנשים מבוגרים או בעלי מוגבלויות.
כדי להפעיל את האלגוריתמים לגילוי הונאה, הרשויות בדנמרק חוקקו חוקים המאפשרים איסוף, מיזוג וניתוח נרחב של נתונים אישיים ממאגרי מידע ציבוריים של מיליוני תושבים דנים. הנתונים כוללים מידע על סטטוס תושבות, אזרחות, מקום לידה וקשרים משפחתיים – נקודות מידע רגישות אלו יכולות לשמש להסקה על הגזע, האתניות או הנטייה המינית של האדם.
המידע שאמנסטי אינטרנשיונל חשפה מעיד כי הרשויות בדנמרק ככל הנראה פועלות על-פי מודלים של ניקוד חברתי (Social Scoring System), ולכן נוצרה פנייה דחופה לאיחוד האירופי לאסור את המשך השימוש במערכות אלו לאלתר וזאת על בסיס חוק הבינה המלאכותית החדש של האיחוד האירופי (AI Act).
סרביה: אוטומציה מבוססת בינה מלאכותית שללה את הסיוע הסוציאלי של אלפי בני אדם
במרץ 2022, הכניסו הרשויות הסרביות לתוקף את חוק “הכרטיס החברתי” אשר באמצעות אוטומציה מבוססת בינה מלאכותית קבע את זכאותם של אנשים לתוכניות סיוע סוציאליות שונות. הכרטיס החברתי מאגד בתוכו מידע ממשלתי רב על מקבלי סיוע סוציאלי בסרביה. באמצעות הרמת דגל אדום על מקבלי סיוע שהאלגוריתם סבור כי אינם זכאים לו, נשללה הזכות של אלפי בני אדם לקבל סיוע מהמדינה בין לילה, לעיתים קרובות ללא הצדקה או יכולת קונקרטית לערר.
למרות שממשלת סרביה טענה כי חוק הכרטיס החברתי יהווה כלי הוגן ויעיל יותר לסיוע סוציאלי, לחוק הייתה השפעה הפוכה. הכנסת טכנולוגיה למערכת סיוע סוציאלית, שעוד לפני הרפורמה הייתה לא מספקת, החריפה למעשה את הפערים הקיימים והגבילה עוד יותר את הגישה של אנשים לסיוע. אף על פי שהמספרים המדויקים על דחיות או ביטולים של סיוע בצל המערכת החדשה אינם ברורים, הנתונים של הממשלה עצמה מראים כי נכון לאוגוסט 2023 היו כ-176,000 בני אדם אשר קיבלו סיוע, שהם 35,000 פחות מאשר במרץ 2022, כאשר החוק נכנס לתוקף.
דו”ח זה היה מבוסס על מחקר מקיף, סקירה של חמישה תיקי ערעור לאחר ביטול סיוע סוציאלי, וראיונות עומק עם 21 בני אדם אשר הסיוע הסוציאלי שלהם נשלל לאחר הטמעת המערכת האוטומטית. בנוסף, אמנסטי אינטרנשיונל שוחחה עם עובדים סוציאליים, פקידים ממשל ונציגי החברה האזרחית בסרביה.
“תמיד חיינו בצניעות וללא כל מותרות, אבל עכשיו אנחנו אפילו לא יכולים לקנות אוכל”
בוגדן, אזרח סרבי אשר הסיוע הסוציאלי שלו בוטל
בוגדן, אחד מאלו אשר אמנסטי עקבה אחר תהליך ביטול הסיוע הסוציאלי שלהם, העיד כי העזרה הסוציאלית שלו בוטלה לאחר שהרשויות טענו כי יש לו חשבון בנק נוסף עם 90,000 דינר סרבי (כ-3,000₪). למרות טענות חוזרות ונשנות של בוגדן כי אין לו חשבון בנק נוסף, המדינה דרשה הוכחות לכך. יש לציין כי הסיוע הסוציאלי של המדינה מהווה ההכנסה היחידה של משפחתו. בוגדן, בדומה לרבים אחרים אשר נשללו מהם ההטבות הסוציאליות, לא יכול מבחינה כלכלית להיאבק במדינה או לממן הוצאות משפטיות. בכך, השלילה של כספי הסיוע באופן אוטומטי מסכנת פגיעה מוגברת בקבוצות שוליים מודרות.
צרפת: מערכת הרווחה מדרגת מקבלי סיוע ע”פ רמות סיכון של הונאה
המחקר של אמנסטי אינטרנשיונל וארגון ריבוע הרשת (LQDN), ביחד עם 14 ארגונים נוספים, חשף כי מערכת הרווחה בצרפת ממשיכה להשתמש באופן מפלה במערכת ניקוד אשר מדרגת מקבלי סיוע ע”פ דרגות סיכון להונאה. המערכת, אשר נמצאת בשימוש מאז 2010, ונחשפה ע”י LQDN בשנת 2023, מבוססת על יצירת אלגוריתמים מפלים ולא-שיווניים אשר פוגעים בעיקר בקבוצות שוליים.
האלגוריתם מנקד את מקבלי הסיוע בציון בין אפס לאחד, כאשר ככל שמקבל הסיוע קרוב יותר לציון אחד, כך “רמת הסיכון” להונאה גבוה יותר, וההסתברות שתיפתח חקירת הונאה גדלה. הקריטריונים המגדילים את ציון הסיכון כוללים פרמטרים המפלים משקי בית פגיעים ומודרים, לרבות הכנסה נמוכה, אבטלה, מגורים בשכונה מוחלשת, ניטור כי בוצעו הוצאות מההכנסה על שכר דירה ואף עבודה תוך כדי מוגבלות. הפרטים של אלו אשר סומנו ע”י הרשויות מועברים לרשימה אשר נחקרת ע”י חוקרי הונאה.
“צרפת מסתמכת על מערכת אלגוריתמית אשר נותנת ציון סיכונים עבור הטבות חברתיות, ובכך היא מדגישה, מקיימת ומעגנת את הדעות הקדומות והאפליה של הביורוקרטיה.”
אמנסטי אינטרנשיונל
בדומה לטענות אשר עלו בפרסום זה על מקרי הבוחן בדנמרק ובסרביה, וכפי שהוכח במחקרים רבים נוספים אשר אמנסטי חקרה, מערכות רווחה אשר מבוססות על אוטומציה ובינה מלאכותית מסכנות קבוצות שוליים אשר לעיתים תכופות חיות במשקי בית אשר נתפסים כפחות מקובלים בעת קידוד ותכנון המערכות. לכן, כמו בשאר המקרים, גם בצרפת דרשה אמנסטי לפעול לאלתר נגד האפליה מבוססת הבינה מלאכותית שמפעילות רשויות הרווחה.
👇להצטרפות לקבוצת העדכונים של אמנסטי ישראל בוואטסאפ לחצו כאן👇