[ADM-Manifest] Was entscheiden Algorithmen – und wer kontrolliert das?

Dossier

“… Welchen Einfluss haben Algorithmen inzwischen auf Entscheidungen? Wie weit ist schon automatisiert, was wir bisher noch selbst in der Hand zu haben glaubten? Wie weit berechnen Maschinen heute Beurteilungen und Arrangements von Menschen voraus – und welche gesellschaftliche Relevanz hat das? Antwort auf diese Fragen gibt es ab sofort bei der nicht-kommerziellen Initiative AlgorithmWatch.org. »Je weiter Technik entwickelt wird, desto komplexer wird sie. Wir sind der Ansicht, dass Komplexität nicht bedeuten darf, dass Technik nicht mehr nachvollziehbar ist«, heißt es bei dem Projekt, hinter dem unter anderem der Datenexperte Lorenz Matzat steht. Man wolle die Auswirkungen algorithmischer Entscheidungsfindungsprozesse auf menschliches Verhalten aufzeigen und mögliche ethische Konflikte thematisieren…” Beitrag bei neues deutschland vom 4. Mai 2016 und das ADM-Manifest  von AlgorithmWatch . Neu zur Algorithmen-Debatte:

• Wenn Algorithmen unabsichtlich diskriminieren
  “Kein Kredit, weil du nicht oft genug bei Mama anrufst? Keine Versicherung, weil du in der falschen Facebook-Gruppe hängst? Gegen Diskriminierung aufgrund von Geschlecht, Herkunft, Alter oder Religion gibt es Gesetze. Aber was passiert, wenn Algorithmen in ihren Vorhersagen unabsichtlich diskriminieren? (…) Wenn etwa der Algorithmus einer Versicherung beim Durchkämmen von Tausenden Datenpunkten als Muster entdeckt, dass Antragsteller in einer bestimmten Facebook-Gruppe wahrscheinlicher Krebs bekommen werden? Oder ein Bewerbungssystem Frauen systematisch aussortiert, weil diese in der Vergangenheit schon schlechte Chancen im Unternehmen hatten? „Proxy Discrimination“ nennt sich dieses Problem: Stellvertretend für eine unbekannte Variable – Geschlecht, Religion oder genetische Veranlagung – sucht sich das System einen anderen Indikator, um Wahrscheinlichkeiten zu berechnen – einen Proxy eben. Die Menschen, die diese Systeme einsetzten, bemerken das oft nicht mal. Daniel Schwarcz unterrichtet Jura an der University of Minneapolis und beschäftigt sich mit diesen Fragen. Er glaubt: Unsere jetzigen Gesetze gegen Diskriminierung reichen für eine Gegenwart der Algorithmen und Big Data nicht mehr aus. Sie wurden für eine Vergangenheit gemacht, in der es diese Probleme nicht gab. Aber wie müsste ein zeitgemäßes Update für Antidiskriminierung aussehen? Darüber reden wir mit Daniel Schwarcz – per Fernschalte nach Minneapolis…” Podcast von Netzpolitik mit Chris Köver vom 20. Juli 2019 (Audiolänge: ca. 39 Min., Sprache: Englisch)

• Gesichtserkennung: Kritik macht Algorithmen genauer, nicht nur für weiße Männer 
  “… Joy Buolamwini ist spätestens seit ihrem Ted-Talk eine Art Superstar des Kampfes gegen diskriminierende Algorithmen. Buolamwini ist nicht nur Aktivistin, sondern vor allem Wissenschaftlerin am renommierten MIT in Boston. Dort erforscht sie, wie die Gesichtserkennungssoftware von Microsoft, IBM und anderen Herstellern daran scheitern, die Gesichter von Frauen und Menschen mit dunkler Haut zu erkennen und zu klassifizieren. Im vergangenen Jahr hat Buolamwini in einem Forschungsprojekt eindrucksvoll gezeigt, dass die Produkte von Microsoft, IBM und dem chinesischen Unternehmen Face++ wesentlich schlechter darin sind, das Geschlecht einer Person zu bestimmen, wenn es sich um Frauen handelt, vor allem Frauen mit dunkler Haut. Jetzt hat sie zusammen mit der Co-Autorin Deborah Raji ein Paper nachgelegt, das sich mit den Auswirkungen ihrer Kritik beschäftigt, also der Frage: Was hat es eigentlich gebracht? (…) Die Ergebnisse machen Hoffnung. Keiner hat Buolamwini verklagt. Im Gegenteil. Wie sie schreibt, haben alle drei untersuchten Hersteller auf die unabhängige Kritik positiv reagiert. Binnen weniger Monate haben sie ihre Systeme überarbeitet und die Fehlerquote bei der Klassifikation von Frauen und vor allem Frauen mit dunkler Haut – Buolamwinis Härte-Test – wesentlich reduziert. (…) Noch interessanter als diese Ergebnisse ist womöglich Buolamwinis Vorgehen und die Überlegungen, die sie dazu anstellt. Sie vergleicht die Kritik an diskriminierenden Algorithmen mit den Prozessen in der IT-Sicherheit. Dort gibt es klar definierte Standards dafür, wie Sicherheitslücken und Schwachstellen aufgedeckt und kommuniziert werden: Erst die Firma benachrichtigen, mit einer Frist, um Lücken zu schließen, dann die Öffentlichkeit. Analog, plädiert Buolamwini, müsse es auch in Hinblick auf Diskriminierung ein Verfahren geben, Firmen koordiniert auf solche Fehler hinzuweisen – denn auch dies sei ein Bedrohung, in diesem Fall für die Würde der Nutzer*innen und ihre faire Behandlung. Sie schlägt eine „Koordinierte Offenlegung von Verzerrung“ für Algorithmen vor, die sie in ihrer Untersuchung gleich selbst anwendet. Bevor sie ihre Erkenntnisse Anfang 2018 in einem Beitrag in der New York Times öffentlich machte, schickte sie diese an die jeweiligen Firmen und gab ihnen die Möglichkeit zu reagieren…” Beitrag von Chris Köver vom 7. Februar 2019 bei Netzpolitik

• Die Gesellschaft der Metadaten 
  “Heute geht es nicht mehr darum, die Position eines Individuums zu bestimmen, sondern die allgemeine Tendenz der Masse zu erkennen. Dadurch wird der Mensch total beherrschbar. Jeden Tag verarbeitet Google 3,5 Milliarden Suchanfragen. Die Nutzer googeln alles: Lebensläufe, Krankheiten, sexuelle Vorlieben, Tatpläne. Und geben damit mehr von sich preis, als ihnen lieb ist. Aus den aggregierten Daten lassen sich in Echtzeit Rückschlüsse über den Gefühlshaushalt der Gesellschaft ziehen. Wie ist die Stimmung? Wie ist die Kauflaune? Welches Produkt wird in dieser Sekunde in welcher Region nachgefragt? Wo wird häufig nach Krediten gesucht? Suchanfragen sind ein konjunktureller Gradmesser. Zentralbanken greifen schon seit Längerem auf Google-Daten zurück und speisen die Daten in ihre makroökonomischen Modelle ein, um das Konsumentenverhalten zu prognostizieren. Die Suchmaschine ist nicht nur ein Seismograf, der die Zuckungen und Regungen der digitalen Gesellschaft erfasst, sondern auch ein Werkzeug, das Präferenzen erzeugt. (…) Das Bedrohliche an dieser algorithmischen Regulierung ist nicht nur die Subtilität der Steuerung, die sich irgendwo in den opaken Maschinenräumen privater Konzerne abspielt, sondern, dass ein techno-autoritärer Politikmodus installiert wird und die Masse als polit-physikalische Größe wiederkehrt. Nur was Datenmasse hat, hat im politischen Diskurs Gewicht. Die Technikvisionäre denken Politik von der Kybernetik her: Es geht darum, “Störungen” zu vermeiden und das System im Gleichgewicht zu halten. Der chinesische Suchmaschinenriese Baidu hat einen Algorithmus entwickelt, der anhand von Sucheingaben bis zu drei Stunden im Voraus vorhersagen kann, wo sich eine Menschenansammlung (“kritische Masse”) bilden wird. Hier wird der Programmcode zu einer präemptiven Politikvermeidung. Das Versprechen von Politik ist, dass sie zukunftsoffen und gestaltbar ist. Wenn aber das Verhalten von Individuen, Gruppen und der Gesellschaft berechenbar wird, wird politische Willensbildung Makulatur. Wo alles determiniert ist, ist nichts mehr veränderbar.” Beitrag von Adrian Lobe vom 26. Juli 2018 bei der Süddeutschen Zeitung online

• Bundestag: Enquete-Kommission untersucht Künstliche Intelligenz
  “Zwei Jahre lang soll eine Enquete-Kommission untersuchen, wie sich Künstliche Intelligenz und algorithmische Entscheidungssysteme auf unsere Gesellschaft auswirken. Ob der Bundestag aber die erhofften Handlungsempfehlungen annehmen wird, bleibt bis auf Weiteres offen. Fünf Jahre nach Ende der Enquete-Kommission „Internet und digitale Gesellschaft“ gibt es demnächst eine neue Kommission, die im Bundestag den digitalen Wandel untersuchen soll. Die Arbeitsgruppe wird morgen vom Deutschen Bundestag eingerichtet und soll bis zur Sommerpause 2020 die Entwicklungen der Künstlichen Intelligenz (KI) und algorithmischer Entscheidungssysteme begleiten sowie Vorschläge erarbeiten. Allein am Titel der Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“ lässt sich ablesen, dass sie an vielen Fäden ziehen soll. Laut Antrag sollen am Ende konkrete Handlungsempfehlungen für den Gesetzgeber herauskommen, „wie die Potenziale von KI für das Leben der Menschen, für die Entwicklung unseres Wohlstandes und die Gesellschaft als Ganzes gefördert und die Risiken begrenzt werden können“…” Artikel von Markus Beckedahl vom 27.06.2018 bei Netzpolitik

• Jetzt mitmachen: Wir knacken die Schufa  
  “Diskriminiert die Schufa? Das will das Projekt OpenSCHUFA ab heute herausfinden. (…) Ob Kredite, Handyverträge oder Wohnungsbewerbungen – bei wichtigen Verbraucherfragen spielt der Schufa-Score eine zentrale Rolle. Wer zu wenige Punkte hat, geht oft leer aus. Das Scoring-Verfahren des Privatunternehmens Schufa, kurz für „Schutzgemeinschaft für allgemeine Kreditsicherung“, ist allerdings höchst intransparent. Als Geschäftsgeheimnis ist es der Öffentlichkeit nicht zugänglich. Das will das Projekt OpenSCHUFA ändern. Die Organisationen Open Knowledge Foundation Deutschland und AlgorithmWatch wollen damit eine Software entwickeln, die den Algorithmus der Schufa mit Reverse Engineering zumindest teilweise rekonstruiert. Dazu rufen sie zur Datenspende auf: Alle Menschen können schon jetzt unter selbstauskunft.net/schufa bei der Schufa kostenlos ihren Schufa-Score anfordern und die Daten – die die Schufa in der Regel per Post zusendet – anschließend an das Projekt spenden. Auch ohne eine Spende ans Projekt kann natürlich eine Selbstauskunft angefordert werden. Kommen ausreichend Datenspenden zusammen, kann OpenSCHUFA möglicherweise nachweisen, ob der Schufa-Score diskriminiert: Welche Auswirkungen hat das Geschlecht oder der Wohnort einer Person auf den Score? Ist der Algorithmus überhaupt zuverlässig? Verstärkt er Ungerechtigkeiten?…” Update: “Die Schufa hat inzwischen auf die Kampagne reagiert. In ihrer Stellungnahme heißt es unter anderem: „Die SCHUFA bezeichnet das Vorhaben als klar gegen die übergeordneten Interessen von Wirtschaft, Gesellschaft und den Wirtschaftsstandort Deutschland gerichtet.“ Kampagneninfo von Arne Semsrott vom 15. Februar 2018 bei Netzpolitik.org , siehe alle wichtigen Infos zur Aktion:
  • DSGVO: Datenschützer prüfen die Auskunftspraxis der Schufa
    “… Getrieben vom Gesetzgeber hat sich die Schufa zwar nach und nach für Verbraucherauskünfte geöffnet und ihr einschlägiges Portal “MeineSchufa.de” ausgebaut. Es könnte aber fraglich sein, ob die Informationspraxis der Wirtschaftsauskunftei mit der neuen Datenschutzgrundverordnung (DSGVO) übereinstimmt: Wer direkt online Einsicht etwa in die persönliche Kreditwürdigkeit und die zugehörigen Score-Werte nehmen will, muss dafür auf der Plattform eine einmalige Einrichtungsgebühr von 9,95 Euro zahlen, dazu kommen mindestens für ein Jahr Zusatzkosten in Höhe von 3,95 Euro monatlich. In der DSGVO heißt es dagegen in Artikel 15, dass verantwortliche Stellen einem Auskunftssuchenden “eine Kopie der personenbezogenen Daten, die Gegenstand der Verarbeitung sind, zur Verfügung” stellen müssen. Erst für weitere Anträge könne “ein angemessenes Entgelt auf der Grundlage der Verwaltungskosten” verlangt werden. (…) Die hessische Datenschutzbehörde, die über die Schufa wacht und bereits Pannen bei dem Unternehmen festgestellt hat, sieht deren Auskunftsverfahren zum Teil kritisch. Ein Referent der Kontrollinstanz erklärte gegenüber der Welt, den Konzern bereits zu einer Stellungnahme aufgefordert zu haben. Er prüfe, ob diese Praxis zulässig sei…” Beitrag von Stefan Krempl vom 11. Juni 2018 bei heise online
  • OpenSCHUFA – Wir knacken die SCHUFA
    “Du bekommst keinen Kredit, keinen Handy-Vertrag, und auch bei der Bewerbung um die schöne Wohnung ziehst Du dauernd den Kürzeren. Woran das liegt? An der SCHUFA natürlich! Wirklich? Benachteiligt die SCHUFA eine Gruppe von Menschen gegenüber einer anderen? Verstärkt sie Ungerechtigkeiten? Das wollen wir herausfinden. Und dazu brauchen wir Dein Geld (wenig) – und Deine Daten (möglichst viele)!…” Aufruf vom 14. Februar 2018 mit Video von Nico Semsrott in dem alles zur Aktion erklärt wird

• Vom Computer gekündigt. Algorithmen könnten in Zukunft großen Einfluss auf die Personalplanung der Unternehmen haben 
  “»Es ist keine Magie, es ist Watson Analytics.« So bewirbt der Technikkonzern IBM im Internet seine Software zur Auswertung von Firmendaten. Ein Algorithmus soll Firmen etwa zeigen, welche Mitarbeiter mit höherer Wahrscheinlichkeit den Betrieb verlassen wollen und welche Gründe – Gehalt, Arbeitsort oder Überstunden – den Ausschlag geben. Simon Hegelich, Professor für Political Data Science, hat sich den Algorithmus genauer angesehen und findet Schwächen. So entstünden schon bei geringen Modifikationen völlig andere Ergebnisse, zeigt er in einer Simulation auf der Digitalkonferenz re:publica in Berlin. Datenauswertungsprogramme wie IBM Watson Analytics könnten ein zentraler Bestandteil des Personalmanagements werden. Auf Basis der Statistiken würden dann Entscheidungen über Beförderung, Kündigung oder Teamplanung fallen. In anderen Ländern werden solche Programme schon umfassend genutzt, in Deutschland bisher wenig. Aber, ist sich Hegelich sicher, das wird kommen. (…) Wenn etwa ein Computer Bewerbungen auswerte, so die Hoffnung, spielten Hautfarbe, ein ausländisch klingender Name oder das Geschlecht keine Rolle mehr. Professorin Katharina Simbeck ist da skeptisch und glaubt: auch Algorithmen diskriminieren. Sie forscht für die Hans-Böckler-Stiftung zur Benachteiligung durch künstliche Intelligenz. Ein möglicher Grund für die Diskriminierung durch Software: Sie wird von Menschen programmiert…” Artikel von Josephine Schulz vom 05.05.2018 beim ND online

• Wie der Mensch die Kontrolle über den Algorithmus behalten kann 
  “Software trifft immer häufiger Entscheidungen mit drastischen Auswirkungen auf unser Leben, ob bei der Kreditvergabe oder in der Medizin. Das Recht sollte dabei eine Möglichkeit zur Prüfung und Kontrolle bieten. Aktuelle Gesetzgebung bietet dafür erste Ansätze. Ein Überblick. Seitdem Justizminister Heiko Maas (SPD) die Regulierung von Algorithmen auf die politische Agenda gesetzt hat, ist das Thema fast so prominent wie das Netzwerkdurchsetzungsgesetz (NetzDG). (…) Die Überantwortung menschlicher Entscheidungen an Maschinen steigert die gesellschaftliche Komplexität. Sie birgt ganz neue Herausforderungen gesellschaftlicher Herrschaftskontrolle. Darin nehmen nicht nur Algorithmen, sondern auch Daten eine zentrale Stellung ein. Maschinelles Lernen und andere Formen künstlicher Intelligenz stellen ein ungeheuer spannendes und risikoreiches Experiment mit der Gesellschaft dar. Es sollte nicht der kurzfristigen Innovationseuphorie zum Opfer fallen. Es gilt genau jetzt, die Weichen zu stellen, wozu die Maschinen dem Menschen dienen sollen. Naheliegende Regulierungsoptionen liegen in der Ermöglichung von Prüfung und Kontrolle. Hier nehmen die ordentliche Implementierung der Datenschutz-Grundverordnung, die Verabschiedung der E-Privacy-Verordnung und die Prüfung und Reform von IT-Sicherheitsgesetzen und Urheberrecht eine essentielle Stellung ein.” Beitrag von Julia Krüger vom 19. Januar 2018 bei Netzpolitik

• Raus aus dem Dunkeln: Warum an der Debatte über Algorithmen alle BürgerInnen teilhaben sollten
  “Algorithmische Entscheidungsfindung (algorithmic decision making, kurz ADM) ist aus unserem digitalen Leben nicht mehr wegzudenken. Diese Entwicklung bringt Fragen mit sich: Darf eine PKW-Software darüber entscheiden, wer im Falle eines Unfalls zu Schaden kommt? Wer bestimmt über meine Kreditwürdigkeit? Wen ziehe ich zur Verantwortung, wenn mich die Versicherung ablehnt? Das Problem: Als BürgerInnen sind wir derzeit nicht in der Lage, überhaupt mitdiskutieren zu können, da wir über solche komplexen Themen nicht genug wissen. Berliner Gazette-Autorin Kim Ly Lam sucht nach Lösungsansätzen…” Beitrag von Kim Ly Lam vom 01.03.2017 bei der Berliner Gazette

• ADM-Manifest der Initiative AlgorithmWatch.org vom 4. Mai 2016 (dt. und eng): “… 1. ADM ist niemals neutral. 2. Die Schöpfer von ADM-Prozessen sind verantwortlich für ihre Resultate. ADM-Prozesse werden nicht nur von ihren Entwicklern erschaffen. 3. ADM-Prozesse müssen nachvollziehbar sein, damit sie demokratischer Kontrolle unterworfen werden können. 4. Demokratische Gesellschaften haben die Pflicht, diese Nachvollziehbarkeit herzustellen: durch eine Kombination aus Technologien, Regulierung und geeigneten Aufsichtsinstitutionen. 5. Wir müssen entscheiden, wie viel unserer Freiheit wir an ADM übertragen wollen…”