Netzgeflüster: Haben Algorithmen wirklich Vorurteile?

Aus gegebenem Anlass unterbreche ich die aktuelle Artikelreihe ‚Frauen der Informatik‘ einmalig. Die Frauen kommen wieder – keine Frage. Aber im Januar habe ich einen Artikel gelesen, den ich erschütternd fand, aber dessen Grundannahme mir nicht richtig erscheint. Darin geht es um Algorithmen, die Vorurteile haben. Da das Thema dem für mich ausschlaggebenden Grund für die Reihe ‚Frauen der Informatik‘ nicht ganz unähnlich ist, greife ich das Thema auf. Denn ich denke nicht, dass es die Algorithmen oder deren Entwickler und umsetzende Programmierer sind, die die Vorurteile haben. Ein Rant.

Ein Artikel, eine Überschrift, eine (falsche?) Annahme

Auf Golem.de wurde neulich der SZ-Artikel Wenn Algorithmen Vorurteile haben vom 15. Januar geteilt, der mich aufgrund von zwei Umständen aufgerüttelt hat. Zusammenfassend geht es darum, dass Diskriminierung uns überall in der Netzwelt begegnet. Zwei Beispiele dafür sind die Eingaben von Schlüsselwörtern in der Suchmaschine Google. Bei der Eingabe von „Women should “ ergänzt die Software die Schlüsselwörter mit Vorschlägen wie „Women should be slaves“ oder „Women should be in the kitchen“. Diskriminierung at its best, ladies and gents. Ebenso schlimm das Beispiel, dass Google Schwarze durchaus schon mal automatisch mit dem tag Gorilla versehen hat, also mit Tieren gleichgesetzt hat.

Mein eigener Test zum "Frauen sollen ..."-Dilemma.  Screenshot vom 13.02.2016
Mein eigener Test zum „Frauen sollen …“-Dilemma. Screenshot vom 13.02.2016

Im Artikel wird daher die Behauptung aufgestellt, dass die Ursache dieser diskriminierenden Ergebnisse die Algorithmen sind, nach denen die Technik arbeitet. Und die werden schließlich von Programmierern programmiert. Weil es das ja ist, was Programmier tun. Und wenn Programmierer ein diskriminierendes Weltbild haben, dann sind sie eben Schuld an solchem Quatsch.

Im Artikel heißt es

„Doch jeder Algorithmus wird von Menschen programmiert, die Teil bestimmter Gesellschaftsschichten sind und ihre – meist unbewussten – Neigungen und Vorurteile in ihre Arbeit einfließen lassen. Und je stärker die Welt von Technik getrieben wird, desto stärker zeigt sich, dass das ein Problem ist.“ („Wenn Algorithmen Vorurteile haben“, SZ, 15. Januar 2016)

Wenn Algorithmen nicht so vorurteilsbehaftet handeln sollen wie Menschen, gibt es nur eine Lösung: Die Entwickler selbst müssen sich des Problems bewusst werden – und zwar schon in ihrer Ausbildung. Und auch die Nutzer sollten im Hinterkopf behalten, dass jeder Algorithmus, den sie nutzen, nicht im luftleeren Raum entstanden ist, sondern von einem Menschen programmiert wurde, der nicht frei von Fehlern und Vorurteilen ist. („Wenn Algorithmen Vorurteile haben“, SZ, 15. Januar 2016)

Vielen Dank für diese Abschlussworte – Programmierer sind in der Tat genau solche fehlerbehafteten Menschen wie alle anderen. Und ich stimme zu, dass die Ausbildung das Bewusstsein für Themen wie Datenschutz und Diskriminierung schärfen muss, aber die gewählten Beispiele im Artikel wie der Algorithmus von Google sind keine echten, fachlichen Beispiele um diesen Sachverhalten zu untermauern. Die oben zitierten Aussagen sind daher meines Erachtens nach in diesem Kontext falsche Annahmen.

Haben Algorithmen wirklich Vorurteile?

Nein. Wie auch? Ein Algorithmus ist eine penibel und logisch auf einzelne Schritte heruntergebrochene Anleitung wie was zutun ist. Wenn es kleinstmöglich aufgedröselt ist und logisch vollständig, kann man es programmieren. Es ist quasi das Rezept. In der Welt von Programmierung und Algorithmen gibt es keine Diskriminierung, sondern Einsen und Nullen. Oder halt Befehle, wenn zwei, drei Ebenen höher schaut. Es besteht die Gefahr, dass ein Programmierer tatsächlich seine Meinungen hineinprogrammiert und den Algorithmus so schreibt, dass hinten was diskriminierendes rauskommt. Genauso wie jeder eine Hetzschrift verfassen, ausdrucken und überall verteilen kann. Aber der Artikel beschäftigt sich hauptsächlich mit Algorithmen von Google und anderen Suchmaschinen, die uns Suchvorschläge generiert, die wir sehen, während wir noch tippen. Weder Algorithmus, noch Entwickler können etwas dafür, was dem Nutzer angezeigt wird. Der Google-Algorithmus zeigt diese Vorschläge basierend auf dem Suchverhalten der Nutzer deiner jeweiligen geografischen Region an. Heißt: die Vorurteile sind nicht die des Programmierers, sondern die der Menschen um dich herum. Die Algorithmen konservieren allerdings die Vorurteile der Nutzer. Heißt: wenn was geändert werden muss, dann ist es das Verhalten und Denken der Nutzer. Zum nachlesen der technischen Details: auf searchengineland wird erklärt wie bspw. der Google-Algorithmus tickt.

Nimmt man das ebenso sehr schmerzhafte Beispiel mit der Gorilla-Vertaggung, dann liegt der Hund höchstwahrscheinlich in der Bilderkennungssoftware begraben. Die hat vermutlich irgendwann sehr aufwendig gelernt an welchen Merkmalen man in einem Bild einen Baum, ein Hochhaus, ein menschliches Gesicht oder eben einen Gorilla erkennt. Den Gorilla hat er möglicherweise an den Merkmalen ‚ovales Gesicht mit zwei Augen und einem Mund und dunkler Farbe‘ erkannt. Klingt nicht falsch, oder? Jetzt geht er los und taggt von da an unschuldig alles mit diesen Merkmalen als Gorilla und ist sich keiner Schuld bewusst, weil 1. kein Bewusstsein und 2. deswegen keine Ahnung von Diskriminierung. Wer hier die Schuld trägt, sind die Entwickler, die nicht gründlich genug getestet haben. Ich als Entwickler kann euch sagen, dass mit Sicherheit extrem viel getestet wurde, die Tragweite solcher Spielereien ist groß, die Firma auch, also wird viel getestet. Nur technisch ist das nicht immer so einfach. Google konnte das Problem des Algorithmus nicht unterbinden, zumindest nicht schnell. Deswegen wurde der Tag Gorilla einfach entfernt. Und im Falle der Suchwort-Vorschläge gibt es eigentlich sehr klare Maßnahmen, was rausfliegt und dem Nutzer nicht angezeigt werden soll (siehe Link Abschnitt „Hate Speech & Protected Groups“). Problem nur: temporäres Entfernen schön und gut, aber die Menschen werden weiterhin googeln und Aussagen eingeben, die den anderen nicht schmecken.

Du hast die Wahl: das Denken ändern oder Zensur

Um all diesen Ärger zu unterbinden, könnte man jetzt sagen: Benutzerfreundlichkeit und Wettbewerb hin oder her. Dann kommen die Features halt weg. Keine automatischen Vorschläge mehr, keine Auto-Vertaggung. Aber das wäre nur Kosmetik, das Problem sitzt tiefer. Ab hier wirds schwierig: mit aufwendigen Tests wird geschaut, dass man in keine rechtlichen Probleme um schützenswerte Gruppen und Minderheiten läuft. Aber gerade bei dem Dilemma mit den populären, aber diskriminierenden Suchanfragen wird deutlich: man kriegt es nicht weg, denn es ist in dem Denken der Menschen verankert. Man könnte anfangen bestimmte Schlüsselwörter auf eine schwarze Liste zu setzen und sie aus den Vorschlägen zu verbannen. Aber auch da können Fehler passieren und plötzlich kann ich ein Filmzitat nicht ergoogeln, weil da ein solches geblocktes Wort vorkommt. Oder mein Blog wird gesperrt, weil da neulich in einem Artikel ein Wort vorkam, das so ähnlich geschrieben wird wie … was böses. Was dann? Dann schreien alle Zensur und finden’s auch doof. Das ist ein Dilemma – ein richtig, richtig böses. Aber das hat sehr viel weniger damit zutun, was ein Programmierer denkt und fühlt, sondern viel mehr damit, was ein Nutzer denkt.

Habt ihr euch schon Mal durch Software diskriminiert gefühlt? Und wenn ja, habt ihr dann gedacht, dass der Programmierer diskriminierend sein muss und ein ärmseliges Weltbild hat? Wie empfindet ihr den Artikel der SZ und meine Reaktion darauf? Zum Schluss noch ein Statement: Ja, ich bin Softwareentwicklerin und deswegen kommt meine Pikiertheit nicht von ungefähr. Aber meine fachliche Einschätzung eben auch nicht.

Netzgeflüster ist eine Kategorie meines Blogs in der ich mich immer zwischen dem 10. und 15. eines jedes Monats Themen rund um IT, Forschung, Netzwelt, Internet und eben auch Gerüchten widme. 🙂

15 Antworten

  1. Erschreckend das Ganze… 🙁

    1. Avatar von Miss Booleana
      Miss Booleana

      Ja, unangenehmes Thema. V.A. weil trotz der Vorwürfe die Lösung nicht so einfach ist.

  2. Nach meinem Empfinden wird die Privatsphäre im digitalen Zeitalter nicht zeitgemäß geschützt, weshalb ich Berichte, die versuchen dies kritisch zu beleuchten, tendenziell begrüße.
    Der Algorithmusbegriff ist als Aufhänger für den Artikel sehr unglücklich gewählt. Zum einen, weil man wohl wahnsinnig sein muss um den Versuch zu unternehmen die Funktionsweise eines trainierten Verfahrens exakt zu spezifizieren. Zum anderen, weil die genaue Funktionsweise wohl für eine gesellschaftliche Diskussion wenig von Belang ist. Ich frage mich ehrlich gesagt, was der Sinn des Artikels sein soll.

    Viele Beispiele die angeführt werden um die Argumentation zu stützen empfinde ich ebenfalls als nicht ausreichend fundiert. Leider ist das meiner Meinung nach sehr oft bei Gender-Debatten zu beobachten.

    Interessant ist ebenfalls, dass sich der Artikel auf google als Suchmaschine beschränkt.

    Beunruhigend ist wohl, dass wir uns zunehmend auf Technik verlassen müssen, dessen genaue Verhaltensweise von uns nicht verstanden werden kann. Die Auswirkungen davon sind mir durch den Artikel besser bewusst geworden. Leider konnte ich den Artikel nur unter Schmerzen lesen. Sehr schade, dass die TU Braunschweig in ihm genannt wird.

    1. Avatar von Miss Booleana
      Miss Booleana

      Hui, jetzt dachte ich schon du meinst meinen Artikel mit „Der Algorithmusbegriff ist als Aufhänger für den Artikel sehr unglücklich gewählt“, aber ich denke du meinst den Artikel der SZ, auf den ich mich mit meiner Überschrift auch beziehe.
      Du sagst es: es tut etwas weh beim Lesen des Artikels. V.A. mit dem Wissen, dass der in einer großen Tageszeitung erschienen ist.

      Ich kann es ja nicht gänzlich ausschließen, dass Diskriminierung sich in Software wiederfindet, aber die gewählten Beispiele sind schon schlecht gewählt, um irgendwas zu untermauern. Das ganze hat das ursprüngliche Thema weit verfehlt. Und mir gefällt der Gedanke nicht, dass Artikel mit solch mangelnder Recherche und mangelndem Technikverständnis jetzt Leser zu dem Gedanken verleiten, dass Programmierer ihr diskriminierendes Gedankengut in die Software tragen.

      Aber bei dem Punkt hast du sicherlich recht. Ich würde das auch nicht nur auf die Technik beziehen, sondern beispielsweise auch auf alle möglichen Aspekte des Leben wo man mit Fachwissen konfrontiert wird, mit dem man nicht mithalten kann. Zum Beispiel Medizin. Da ist man schon gerne mal ausgeliefert und hat das Gefühl einfach ‚glauben zu müssen was einem erzählt wird‘.

      1. Ich bezog mich in meinem Kommentar auf den Artikel aus der SZ.

  3. Sehr guter Artikel! Dankeschön dafür! 🙂
    Da hat vermutlich jemand einen Artikel rausgehauen, der nur so mäßig mit „diesem IT-Zeugs“ vertraut war. Immer eine schlechte Voraussetzung sowas …
    Alles in allem ein sehr schwieriges Thema, denn natürlich kann man, wenn man „schlage häufig in diesem Kontext gesuchte Worte vor“ programmiert, nicht die Vorurteile der Suchenden ausklammern. Du hast das Problem sehr schön dargestellt. 🙂 Ebenso ist Bilderkennungssoftware teilweise gruselig gut (Privatsphäre und so, wurde ja oben bereits angesprochen), gleichzeitig kann sie aber auch fürs menschliche Auge unglaublich daneben liegen. Eben weil es so schwierig ist, alle Merkmale auszuloten, anhand derer unser Auge kombiniert mit unserer Erfahrung erkennt, ob auf dem Bild nun ein dunkler Hintergrund mit schlecht beleuchteter Topfpflanze oder doch Tante Gerda mit auftoupierten Haaren zu sehen ist.
    Schade also, dass der Artikel kaum mit dem eigentlichen Thema „Diskriminierung in der IT-Welt“ zu tun hat, das ja gerade nach Gamergate (im Sinne von Spieleentwicklern) immer wieder hochkocht.

    1. Avatar von Miss Booleana
      Miss Booleana

      Das freut mich sehr, dass er dir gefallen hat, danke 😀
      Ja, den Eindruck hatte ich auch. Was mich bei dem Artikel fast noch mehr stört ist, dass man das relativ einfach recherchieren kann. Einmal googeln und man erfährt wie der Algorithmus von Google arbeitet. Und dann sähe die Geschichte ganz anders aus und es wäre klar, dass das kein hinreichendes Beispiel ist.

      Schönes Beispiel mit Tante Gerda und der Topfpflanze – muss ich mir für das nächste Mal merken 😉
      Gamergate fiel mir tatsächlich auch als Beispiel ein. Das ist ja eher gelebte und sehr öffentliche Diskriminierung. Aber für das, worauf die Autorin hinaus will, nämlich, dass sich in Software das Gedankengut des Entwicklers verstecken kann, finde ich auch keine treffenden Beispiele.

      1. Vielleicht hatte der Autor/die Autorin Angst davor, dem Algorhythmus zum Opfer zu fallen? Wer weiß! ^^ Ich finde sowas aber auch immer wieder schade. Egal bei welchem Medium, es ist immer schade, wenn man merkt, dass sich der „Hersteller“ keine Mühe gegeben hat. Und beim Journalismus gehört nun mal eine anständige Recherche mit dazu.

        Immer gerne. 😀
        Ja, ich hab GG auch nur erwähnt, um nochmal zu betonen, wieso das Thema Diskriminierung im Zusammenhang mit IT so wichtig ist und weshalb eine aufgeklärte Berichterstattung da zur Abwechslung mal toll wäre. War jetzt nicht als Beispiel für eingebaute Diskriminierungen in Suchmaschinen-Codes o.ä. gemeint. 🙂

  4. Sehr spannender Artikel, ich finde du hast das sehr gut erklärt. Ich kenne mich mit diesem Thema gar nicht aus und ich hatte nicht mal eine Ahnung, wie diese Suchvorschläge bei Google entstehen.
    Es ist natürlich wirklich schwierig, das in den Griff zu kriegen.

    Ich dachte grade, dass Zensur bzw das Blocken von verschiedenen Begriffen nicht hilfreich ist. Es kann ja auch sein, dass ich in meinem jugendlichen Leichtsinn auf einen Suchvorschlag wie „Frauen sollen sich unterordnen“ drauf klicke und dann finde ich aber interesssante Artikel, die diese These widerlegen. Also, nur weil ich etwas „böses“ suche, heißt das ja nicht, dass ich auch ebenso „böse“ Ergebnisse bekomme. Wenn du weißt, was ich meine.

    ABER dann habe ich das einfach mal gemacht und das angeklickt und kam auf ziemlich viele verstörende, religiöse (christliche!) Seiten, die eben genau das scheinbar bestätigen wollen. Und jetzt weiß ich auch nicht 😀 Jetzt sehe ich da noch viel größere Probleme.

    Dein Beitrag ist aber nach wie vor super 🙂

  5. Toller Artikel von Dir zu einem spannenden Thema, mit dem ich mich jetzt noch mal intensiver beschäftigen möchte, bevor ich meinen Senf dazugebe. Zu GG – habt ihr da evtl Empfehlungen für interessante Artikel diesbezüglich? LG

  6. […] Booleana fragt sich, ob Algorithmen wirklich Vorurteile haben und wie es zustande kommt, dass Google unsere Suchanfragen zum Teil mit diskriminierenden, […]

  7. […] dem kurzen Intermezzo des letzten Monats geht es heute weiter mit der Reihe über Frauen, die im Bereich IT was bewegt […]

  8. […] das gemeinsame Lesen mit Kathrin. 2016 erschien auch einer meiner Lieblingsartikel zum Thema IT: Haben Algorithmen wirklich Vorurteile? Im Juni 2016 durfte ich für das Makellosmag schreiben und auch immer mal wieder für das No […]

  9. […] Genau. Bei den Merkmalen „People of Color“ und „weiblich“. Zwar mag ich Fingerpointing in Richtung Entwickler oder Mythen um angeblich rassistische Algorithmen so gar nicht und stelle […]

  10. […] wir uns: ungewolltes Verbreiten von Stereotypen, das wir so oder so ähnlich schon mal in der „Können Algorithmen diskriminieren“-Debatte hatten. Als neulich mein Kollege CrAIyon ausprobierte, gab er einen lustigen Prompt ein, […]

Schreibe einen Kommentar zu dj7o9 Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert