Dieser starke Fokus auf die Gefahren durch Algorithmen ist stark durch die Beobachtung der Entwicklungen in den USA geprägt, wo ein Beispiel nach dem anderen aufzeigt, dass Algorithmen zu sozialer Ungleichheit und Diskriminierung beitragen können. Doch in Deutschland existieren viele dieser automatisierten Systeme noch nicht. Und wir können Entwicklungen aus anderen Ländern nicht einfach auf Deutschland übertragen.
Denn, so unsere These: Algorithmen treffen immer auf einen gesellschaftlichen Kontext. In dieser Analyse blicken wir deshalb auf die ganz spezifischen Herausforderungen hier vor Ort.
Mit Beispielen aus den Bereichen Bildung, Arbeit und staatliche Leistungen zeigen wir schlaglichtartig, dass die Risiken von Algorithmen oftmals bereits darin stecken, für welchen Zweck ein datenbasiertes System entwickelt und eingesetzt wird: Die Kontrolle von Mitarbeiter*innen, die Automatisierung menschlicher Handlungen, die einseitige Allokation von Beratungsleistungen an gut vermittelbare Arbeitssuchende. Oft treibt der Wunsch nach Effizienz und Einsparung von Ressourcen die Entwicklung der Systeme voran. Und genau dieses Ziel ist fragwürdig, wenn Chancengerechtigkeit und gesellschaftliche Teilhabe von den algorithmischen Systemen berührt werden.
Die Beispiele zeigen andererseits aber auch, dass Algorithmen grundsätzlich einen Beitrag leisten könnten, um bestehende gesellschaftliche Herausforderungen anzugehen und zu überwinden: Die Begleitung von Studierenden aus unteren Einkommensschichten durchs Studium, die faire Bewertung der Arbeitsleistungen von Frauen, die individuelle Beratung von Arbeitssuchenden. Selten kann dies mittels eines einzigen technischen Systems erreicht werden, und oft braucht es orchestrierte Anstrengungen und substanzielle Ressourcen. Doch Daten und Algorithmen können eine entscheidende Rolle darin spielen, diese Ziele zu erreichen.
Algorithmen können als Waffe oder als Werkzeug eingesetzt werden. Es gilt deshalb klare Grenzen für ihren Einsatz zu setzen. Gleichzeitig müssen wir aber auch ihr Potenzial als Werkzeug für Chancengerechtigkeit und gesellschaftliche Teilhabe nutzen. Dafür braucht es in Deutschland zunächst einmal vor allem einen konstruktiven und ausgeglichenen Dialog über Algorithmen. Dazu wollen wir mit dieser Studie einen Beitrag leisten.