Antoinette Rouvroy: „Die Herrschaft der Algorithmen ist ziellos“
Antoinette Rouvroy schlägt für das digitale Zeitalter von Big Data und Internetgiganten eine Relektüre Foucaults vor. An die Stelle staatlicher Überwachungsmacht tritt der Triumph der durch das Profiling algorithmisierten Potenzialität – auf Kosten der Singularität und der Unvorhersehbarkeit der Subjekte.
Wie hilft Ihnen Foucault, die heutige digitale Gesellschaft als Überwachungsgesellschaft zu denken?
Er hilft mir gerade dabei, sie nicht als eine Überwachungsgesellschaft zu sehen! Foucaults Denken bildet einen Hintergrund, der es mir erlaubt zu erkennen, was uns mit dem Einzug des Digitalen weit über Foucault hinausführt. Die neuen statistischen Praktiken, die durch die massive Digitalisierung der Daten – Big Data – zu einer souveränen Größe gemacht wurden, entfernen sich weit von dem Typus der Macht, den Foucault analysierte. Mitte der 1970er-Jahre, als Foucault sein Konzept der „Biopolitik“ formalisierte, existierte die Informatik zwar, doch die Kybernetik der 1950er-Jahre inspirierte vor allem die Science-Fiction; die künstliche Intelligenz steckte noch in den Kinderschuhen. Man konnte sich zur Not eine automatisierte Überwachung vorstellen, eine Teleüberwachung, mit einem Überwacher, der, ohne gesehen zu werden, wissen lässt, dass er sieht – das ist das Prinzip des Panopticons von Bentham, über das Foucault spricht. Doch wir befinden uns heute überhaupt nicht mehr in diesem Modell der Überwachung, nicht einmal im übertragenen Sinn; wenn uns die Algorithmen regieren, schauen sie uns nicht an, nichts läuft über das Visuelle. Das Bild eines schwebenden Auges, das alles und jeden sehen würde, ist für das Verstehen der digitalen Gesellschaft nicht hilfreich.
Trotzdem benutzen Sie den foucaultschen Begriff der „Gouvernementalität“. Weshalb?
Foucaults Denken bleibt für mich sehr fruchtbar. Ich habe seine zentralen Begriffe Wissen, Macht, Subjekt wieder aufgegriffen, um sie im Hinblick darauf, wie sie im Zusammenhang von Big Data wirken, erneut zu untersuchen. Wie wird durch die Umwandlung von Daten in Informationen Wissen erzeugt? Wie wird Macht ausgeübt und in welcher Form? Was für eine Konstruktion des Subjekts ist in diesem Universum möglich? Hier wird das Wissen nicht mehr erzeugt, es wird als etwas begriffen, das bereits da ist; die systematische Verarbeitung großer Datenmengen (data mining) wird so vorgenommen, als ob die Daten die Gesamtheit der Welt wären. Es handelt sich um eine rein induktive und statistische Wissenserzeugung, die ein System von Zuverlässigkeit ohne Wahrheit generiert. Die Information ist operational, weder wahr noch falsch; von den Algorithmen, die unsere Profile berechnen, erwarten wir nicht, dass sie adäquat sind, sondern dass sie einen De-facto-Zustand, gleich welcher Art, „optimieren“, um seine Potenzialität zu erfassen. Unsere digitalen Spuren sagen nicht, wer wir sind, sondern wozu wir potenziell in der Lage sind.
Konkret: Wenn ich im Internet nach der Adresse eines Klempners suche, ist der zuverlässige Algorithmus derjenige, der mir eine neue Waschmaschine zum Kauf anbietet, aber weder wissen will, ob ich die Absicht habe, eine zu kaufen, noch, ob ich dann wirklich eine kaufe …
Genau, das ist eine Zuverlässigkeit ohne Beweis, ohne Verifizierung, also ohne Wahrheit. Was den Rechenvorgang interessiert, ist die Berechnung des Möglichen. Das Ziel dieser Gouvernementalität, das, was sie zu beherrschen strebt, ist nicht mehr der physische Körper oder ein Territorium, auch nicht wie bei Foucault die Lepra, die Geisteskrankheit, der Fremde, sondern in einem viel allgemeineren Sinn der spekulative Raum der Ungewissheit. Sie wirkt nicht auf die Menschen ein, sondern auf die Vorhersehbarkeit ihrer Handlungen, auf die Möglichkeit, dass Sie Ihren Kredit nicht zurückzahlen, dass Sie krank sind, dass Sie eine Angestellte mit Hang zum Prokrastinieren sind, dass Sie einen Terrorakt begehen … Stellen Sie sich zum Beispiel einen Versicherer vor, der dank eines Algorithmus herausfinden würde, dass Sie, weil Sie einen bestimmten Newsletter abonnieren, ein bestimmtes Forum besuchen oder aufgrund vielerlei sonstiger Spuren, die miteinander korreliert werden, potenziell Opfer ehelicher Gewalt sind und deshalb vorzeitig sterben könnten. Der Versicherer wird Sie als bereits gestorben betrachten und aus der Lebensversicherung herauswerfen. Dieses Risiko ist zurzeit nur theoretisch. Doch nehmen wir ein anderes Beispiel, das Foucaults Universum näher ist: die bedingte Haftentlassung. Heute existieren bereits algorithmische Systeme zur Beratung oder Entscheidungshilfe, die imstande sind, Profile möglicher Rückfalltäter zu erstellen. Ganz gleich, wie sich der reale Gefangene in der Haft verhält, was seine Geschichte, seine persönliche Motivation, seine eigenen Worte sein mögen, die Maschine wird empfehlen, ihn in Haft zu belassen oder nicht.
Der Haftrichter kann diesen Hinweis immer noch ignorieren.
Ja, aber diese Entscheidung wird ihm nun sehr viel schwerer fallen, wie wenn er sie in Ungewissheit treffen würde. Tatsächlich kann man nicht von einem technologischen Determinismus sprechen: Nicht die Maschine selbst ist es, die ihrer Empfehlung eine präskriptive Macht verleiht. Doch in diesem soziotechnischen Kontext wird der Richter, der einer Empfehlung der Maschine zuwiderhandelt, seine Entscheidung in derselben Sprache wie die Maschine rechtfertigen müssen, das heißt in der Sprache der Statistik, denn die Zahlen kann man nicht mit sprachlicher Argumentation bekämpfen. Deshalb wird Zuwiderhandlung gefährlich.
Kann man noch sagen, dass es sich um eine Macht handelt, die Normen definiert und aufzwingt?
Wir sind weit entfernt vom disziplinarischen Universum, das Foucault beschrieben hat. Laut ihm besteht die Biopolitik darin, Körper zu produzieren, die den vorab existierenden Normen gegenüber gefügig sind. Die algorithmische Gouvernementalität hingegen erscheint in Bezug auf dieses Modell sehr emanzipatorisch, da es bei ihr darum geht, Normen zu erzeugen, die dem Körper gegenüber gefügig sind. Darin liegt zum Beispiel die „Magie“ des Deep Learning oder des Feedback Loop, Verfahren, mit denen eine Maschine in der Lage ist, durch Rückkopplung ihre Modelle selbst zu modifizieren. Wenn ein konkretes Verhalten von Ihnen nicht der dafür gemachten Modellbildung entspricht, wird das nicht als Ihr Fehler angesehen, sondern im Gegenteil als eine Gelegenheit, um die Maschine auf eine Verfeinerung des Profils hin zu trainieren. Es handelt sich also um eine höchst plastische, fließende Normativität, die sich den Verhaltensweisen eines jeden Individuums wie eine zweite Haut anschmiegt.
Bis wir unser eigenes Profil werden?
Genau! Eine Profilerhebung zu verweigern, läuft von nun an darauf hinaus, nicht man selbst sein zu wollen, da jeder gewissermaßen seine eigene statistische Referenz wird – was ironischerweise genau dem entspricht, was Foucault anzupreisen scheint: durch nichts regiert zu werden als sich selbst. Nun, genau da stehen wir jetzt … und es ist das Grauen! Statt Kreativität, Differenzen, Verzweigungen hervorzubringen und die Spontaneität des Lebens freizusetzen, landet man in einem System, das den Raum der Möglichkeiten wieder schließt, indem es vorgibt, diese durch die Berechnung zu steuern. Um auf Ihre Frage nach der Normativität zurückzukommen, würde ich sagen, dass wir uns nicht in einem System der Normierung, sondern in einem der Neutralisierung befinden. Und zwar der Neutralisierung des Lebens selbst als unvorhersehbarer, niemals vollständiger, niemals sich selbst angemessener Wandel. Diese Unangemessenheit zu sich selbst ist Quelle unserer existenziellen Angst, aber sie ist auch der Raum unserer Freiheit. Dieses „Loch“ ist es nun, das die algorithmische Gouvernementalität zu stopfen bestrebt ist, indem sie einen geschmeidigen und kontinuierlichen Raum organisiert, in dem wir unsere Motivationen nicht mehr ausarbeiten, unsere Handlungen nicht mehr a posteriori rechtfertigen, die Welt nicht mehr durch die Erzählung in Form bringen müssen. Wir müssen weder wollen noch sagen. Das Denken, das Wählen, sprich das Auf-sich-Nehmen des tragischen Teils der menschlichen Existenz ist uns abgenommen, weil Entscheiden bedeuten würde, sich mit der radikalen Ungewissheit zu konfrontieren. Um sie zu neutralisieren, gibt es nichts Wirksameres, als gewissermaßen die Zukunft zu erzeugen.
Dennoch sind wir durch nichts so sehr zum intimen Bericht, zur Personalisierung unserer virtuellen Räume, zur Ausstellung unserer selbst angehalten gewesen wie durch die sozialen Netzwerke …
Das ist keine Personalisierung, das ist Individualisierung. Das hat nichts mit der Konstruktion des Subjekts oder der „Individuation“ zu tun, von der Gilbert Simondon spricht. Den Konsumenten in den Mittelpunkt zu rücken und, so wie es die „Filterblasen“ tun, den Informationsinhalt entsprechend einem jeden Individuum anzupassen, hat nichts mit der jedes Mal singulären Situation des Subjekts zu tun, seiner Geschichte, seiner Biografie, kurzum all dem, was sich nicht in ein Profil pressen lässt. Diese etwas frenetische Selbstausstellung, diese irgendwie identitären Performances in den sozialen Netzwerken sind vielleicht ebenfalls Symptome unserer Ungewissheiten bezüglich unserer Existenz. Denn als Personen interessieren wir niemanden mehr, und ganz gewiss nicht Facebook! Sie sehen, wir sind sehr weit entfernt vom Begriff der Überwachung.
Worin besteht dann das Ziel dieser Gouvernementalität, wenn es nicht die Normativität einer bestimmten sozialen Ordnung ist? Ist sie ziellos?
Ja, sie ist ziellos. Ihr einziges Bestreben ist es, die Berechnung selbst, also auch die Kapitalflüsse, gegen alles Unberechenbare, das diese in die Krise stürzen könnte, zu immunisieren: gegen die Singularität der Subjekte, die Erzählungen, die physische und materielle Welt und ihre Beschränkungen – in jenen Modellierungen der Zukunft wird niemals das Problem der Erschöpfung der Ressourcen berücksichtigt.
Wir haben es also mit einer Macht ohne Zweck, ohne Überwachung, ohne Zwang, ohne Autorität zu tun – und doch soll sie schlimmer sein als Big Brother?
Mit Big Brother war die Autorität in einer mehr oder weniger konkreten, jedenfalls identifizierbaren Figur verkörpert. Hier aber gibt es keine konkrete Autorität, sondern eine Supermacht, die konzentriert ist in den Händen der Gründer und Akteure des Internets – Google, Amazon, Facebook, Apple und Microsoft. Indem sie die Big Data sammeln und verarbeiten, erlangen sie eine Macht, die bedeutender ist als irgendein Staat, weil sie das kontrollieren, was heute den Reichtum darstellt: nicht so sehr das Geld als vielmehr das Mögliche. Wer den Raum der Potenzialität beherrscht, wird der Herrscher der Welt. •
Antoinette Rouvroy ist Juristin und Rechtsphilosophin, Wissenschaftlerin am Forschungszentrum für Information, Recht und Gesellschaft an der Universität Namur (Belgien). Sie entwickelt eine fachübergreifende Reflexion über das, was sie die „algorithmische Gouvernementalität“ nennt.
