Signal's Meredith Whittaker über den Telegramm-Sicherheitskonflikt und die 'Edge Lords' bei OpenAI

Meredith Whittaker hat genug von der \"Studentenverbindung\"-Fraktion der Technologiebranche. Ich habe mich mit der Präsidentin von Signal bei VivaTech in Paris zusammengesetzt, um die Vielzahl ernster, erwachsener Probleme zu besprechen, mit denen die Gesellschaft konfrontiert ist, von Desinformationen über die Kontrolle der KI bis hin zum vorrückenden Überwachungsstaat. Im Laufe unserer Unterhaltung vertieften wir uns in den jüngsten Wortgefechten von Signal mit Elon Musk, Pavel Durov von Telegram und — angesichts des umstrittenen Konflikts mit Scarlett Johanson — Whittakers ehrliche Gedanken über die Führung bei OpenAI, die sie mit \"Scherzen im Studentenwohnheim\" verglich.

Unter anderem macht sich Whittaker Sorgen über die Konzentration der Macht in den fünf wichtigsten sozialen Medien Plattformen, insbesondere in einem Jahr, in dem die Welt vor einer Reihe von allgemeinen Wahlen steht, nicht zuletzt in den USA, und Europa sich auf US-basierte, externe Technikgiganten verlässt. Sie argumentierte, dass eine Lockerung der EU-Vorschriften Europa nicht wirklich helfen wird, mit den US-Technikriesen zu konkurrieren, oder gut für die Gesellschaft sein wird. Sie kritisierte die Medienobsession mit KI-getriebenen Deepfakes, während oft ignoriert wird, wie soziale Medien Plattformen hyperbolisches Engagement über Fakten stellen.

Wir diskutierten auch über Überwachungswerbung, die Auswirkungen des britischen Online-Sicherheitsgesetzes, die EU-CSAM-Vorschläge ('absolut gefährlich') und ob Pavel Durov von Telegram mehr Zeit damit verbringen sollte, seine Plattform sicher zu machen, als von einem Fotografen für seinen Instagram-Account verfolgt zu werden ('er redet nur Müll').

Und am Ende enthüllte sie, warum sie die nächsten sechs Monate in Europa verbringen wird. (Meine Fragen sind kursiv):

In letzter Zeit haben Sie über die Konzentration der Macht in der KI gesprochen, und dass dies im europäischen Kontext wichtig war. Möchten Sie das weiter erläutern?

Die sehr kurze Antwort lautet, dass das im europäischen Kontext wichtig ist, weil diese Macht nicht in Europa konzentriert ist. Ja, diese Macht konzentriert sich in den Händen einer Handvoll Unternehmen, die in den USA ansässig sind, und noch einige in China. Aber wenn wir über diesen Kontext sprechen, sprechen wir über die USA. Die Abhängigkeit Europas, europäischer Startups, europäischer Regierungen, europäischer Institutionen von KI ist letztendlich eine Abhängigkeit von Infrastrukturen und Systemen, die von diesen Handvoll Unternehmen geschaffen, kontrolliert und auf die Gewinne und das Wachstum dieser Unternehmen zurückgehen.

Jetzt sprechen wir über den Kontext im Mai 2024. Jetzt weiß ich nicht, wie viele Monate wir bis zur Wahl haben und ich weigere mich, das jetzt zu erinnern. Aber wir sehen die sehr reale Möglichkeit einer Trump-Regierung und einer autoritäreren Art von US-Regierung und dieser Teil der [Republikanischen] Partei hat schon sehr lange darauf hingearbeitet, die Tech- und insbesondere die sozialen Medien zu kontrollieren. Also das sind alles Überlegungen, die in einer Analyse dessen, was KI ist, wer KI dient? Und warum sollte Europa sich wiederum um die konzentrierte Macht in der KI-Branche kümmern, berücksichtigt werden sollten.

Es gibt in Europa eine Debatte über den Beschleunismus und die Beschleunigungstechnologien. Manche europäischen Unternehmer sind frustriert über die europäische Regulierung. Glauben Sie, dass ihre Bedenken hinsichtlich möglicher europäischer Regulierung, möglicherweise der EU, die das Tempo des technologischen Fortschritts verlangsamen könnte, berechtigt sind?

Entschuldigung, ich komme aus der Akademie. Also bin ich ein Pedant für Definitionen. Ich möchte das ein wenig aufdröseln. Ist die Prämisse hier, dass ohne solche Fesseln Europa frei sein würde, Wettbewerber zu den US-Technikriesen aufzubauen? Wenn das die Annahme ist, dann trifft das nicht zu. Sie wissen, dass das nicht wahr ist. Jeder, der die Geschichte, die Geschäftsmodelle, die tiefe Verwurzelung dieser Unternehmen versteht, weiß auch, dass das nicht wahr ist.

Es mag Frust über die Regulierung geben, 'die Ihr Serie B verlangsamt'. Aber ich denke, wir müssen eine Definition von 'Fortschritt' betrachten, die sich darauf stützt, alle Schutzmaßnahmen abzuwerfen, die die Nutzung und den Missbrauch von Technologien regeln, die derzeit mit der Erfüllung sehr sensibler Bestimmungen betraut sind; die derzeit mit Massenüberwachungsinfrastrukturen verbunden sind, die neue Formen der sozialen Kontrolle beschleunigen; die verwendet werden, um die Arbeit zu degradieren und zu mindern. Ist das das, was wir wollen? Ist das Fortschritt? Denn wenn wir unsere Begriffe nicht definieren, glaube ich, dass wir uns in diesen Märchen verfangen können.

Sicher, einige Leute werden nach ihrem Ausstieg solide mittelklasse sein, und das ist gut für sie. Aber lassen Sie uns das nicht mit dem Fortschritt hin zu einer lebenswerten Zukunft verwechseln. Fortschritt in Richtung einer gesellschaftlich nützlichen Governance-Struktur, Fortschritt zu Technologien, die tatsächlich menschliche Bedürfnisse erfüllen, die tatsächlich rechenschaftspflichtig gegenüber Bürgern sind.

Sie haben das Beispiel Desinformation über KI-generierte Inhalte über Selensky und seine Frau angesprochen. Wie z.B. Deep-Fake-Videos und KI-generierte Websites.

Der Fokus auf Deepfakes isoliert betrachtet verfehlt tatsächlich den Wald vor lauter Bäumen, wobei der 'Wald' die Tatsache ist, dass wir uns jetzt auf fünf massive soziale Medienplattformen als Schiedsrichter verlassen. [TikTok, Facebook, Instagram, Twitter/X und YouTube]

Diese massiven homogenen sozialen Medienplattformen sind darauf ausgerichtet, ihre Algorithmen für Engagement zu kalibrieren, weil sie mehr Klicks, mehr Anzeigeansichten wollen, dass sie dazu angehalten sind, s—-haltigen Inhalt, bombastischen Inhalt, hyperbolischen Inhalt, völlig falschen Inhalt, herauszustellen, nicht wahr? Und dort sehen wir, meiner Meinung nach, KI für Desinformation auf eine viel effektivere Weise genutzt. Dort finden Sie einen Deepfake. Niemand geht mehr auf eine Website. Man geht auf Twitter, YouTube, man sucht herum, man sieht, was da ist.

Man sieht eine Überschrift und klickt darauf, man klickt auf jemanden, der von dieser Website postet. Ich glaube, wir können keine Diskussion über Desinformation führen, ohne über die Rolle der massiven homogenen Plattformen zu sprechen, die unser Medien- und Informationsökosystem im Dienste von Profit und Wachstum für eine Handvoll Unternehmen kannibalisieren.

In Großbritannien haben wir beispielsweise die Werbestandardsbehörde. In Deutschland darf man zum Beispiel kein Nazi-Memorabilia auf eBay bewerben. Würde es Möglichkeiten geben, die Werbeindustrie zu überwachen und dadurch downstream bessere Regeln und bessere Ergebnisse von den Plattformen zu schaffen, die auf Werbung als Geschäftsmodell angewiesen sind?

Ich denke, die Werbung von Überwachung sollte verboten werden. Damit würden wir wirklich an der Wurzel der Pathologien schneiden, mit denen wir es aus der Technologiebranche zu tun haben, nämlich dieser Massenüberwachung im Namen des Einflusses, Einfluss um etwas zu verkaufen, Einfluss um jemanden zu überzeugen, für etwas zu stimmen, Einfluss um jemanden zu desinformieren. Letztendlich ist das das Spiel.

Die Trainingsdaten für diese Massenüberwachung, wie Sie es nennen, wurde bei der Geschichte über die Nutzung der 'Sky' KI-Stimme von OpenAI, die stark der von Scarlett Johansson ähnelte, klar aufgezeigt. Später enthüllte sie, dass sie von Sam Altman kontaktiert worden war, um ihre Stimme zu verwenden. Haben Sie eine Meinung dazu, wer in diesem Vorfall gewonnen hat?

Ich habe das auf Twitter gepostet, aber es ist einfach ... 'Edge Lord' bulls—. Es ist so respektlos. Es ist so unnötig. Und es reißt wirklich den Schleier über diesem Mythos, dass Sie alle ernsthafte Leute an der Spitze der Wissenschaft sind, die das nächste Gottheit bauen, wenn es sehr klar ist, dass die Kultur von Scherzen im Studentenwohnheim von einer Gruppe von 'Ja-Sagenden' geschürt wird, die denken, dass jeder Witz den du machst lustig ist, weil sie dafür bezahlt werden, und niemand dort nimmt diese Führung an den Schultern und sagt 'Was zum Teufel machst du !?'

Letztes Jahr bei TechCrunch Disrupt gab es eine Diskussion mit Ihnen über das britische Online-Sicherheitsgesetz (jetzt Gesetz), das darauf hindeutete, dass es Technologieunternehmen dazu auffordern könnte, Hintertüren in ihre Ende-zu-Ende-Verschlüsselung einzubauen. Wie ist Ihre Position, jetzt da das Gesetz verabschiedet ist?

Wir würden das nie tun. Wir werden das nie tun. Was wir gesagt haben, war, dass wenn sie versuchen würden, diesen Teil des Gesetzes durchzusetzen, der von Ofcom verwendet werden könnte, um Signal zu sagen, 'sie müssen eine Hintertür einbauen, sie müssen das Scannen auf der Client-Seite implementieren' — was eine Hintertür ist — würden wir [Großbritannien] verlassen. Denn wir werden das nicht tun. Wir werden nie die Menschen verraten, die sich auf Signal verlassen, insbesondere weil sich so viele von ihnen darauf verlassen, in Kontexten, in denen digitale Sicherheit eine Frage von Leben und Tod ist.

Was deutlich wird, ist, dass Ofcom einen riesigen Beutel voller wilder Unsinns überreicht bekam, von dem einiges interessant ist, einiges nicht, der sich wie ein Weihnachtsbaum aufbaute, an den jeder seinen Lieblingsornament geheftet hatte. Es wurde aufgrund politischer Trägheit verabschiedet, nicht wegen echter Unterstützung. Jeder Abgeordnete, mit dem ich im Vorfeld des Gesetzes gesprochen hatte, sagte: 'Ja, wir wissen, dass s—, aber niemand wird etwas dagegen tun.' Und nun muss Ofcom sich darum kümmern, es durchzusetzen. Und... alle paar Monate fallen weitere 1.700 Seiten an, die man bezahlen muss, um sie von jemandem lesen zu lassen.

Also Sie haben bisher keinen Druck von Ofcom gespürt?

Nein, und meine Erfahrung mit der Führung von Ofcom war, dass sie ziemlich vernünftig sind. Sie verstehen diese Angelegenheiten. Aber noch einmal, sie haben dieses Gesetz überreicht bekommen und müssen sich jetzt darum bemühen, was sie damit anfangen sollen.

Es gab eine Entwicklung, bei der sie sich zur Konsultation über KI für die Online-Sicherheit eingeladen haben. Haben Sie dazu eine Meinung?

Ich mache mir sehr Sorgen um Altersgrenzen. Und die Idee, dass wir eine Datenbank brauchen, [zum Beispiel] von Yoti betrieben, einem in den USA ansässigen Unternehmen, das sich dafür einsetzt, dass diese Infrastrukturen biometrische Identifikation oder irgendeine Art von maschinellem Lernen, unglaublichen Unsinn, oder eine Datenbank von Ausweisen hat, so dass man effektiv mit seinem echten Namen, seinem Alter und allen anderen Informationen, die sie wollen, einloggen muss, um eine Website zu besuchen.

Es handelt sich hier um ein unglaubliches Massenüberwachungsregime. In den USA haben die Bibliothekare lange Zeit den Standpunkt vertreten, dass sie nicht preisgeben, was Leute ausgeliehen haben, weil diese Informationen so sensibel sind. Man kann sich den Fall von Robert Bork und seinen Videomieten und Einkäufen ansehen und wie sensibel diese Informationen waren. Was Sie hier mit diesen Bestimmungen sehen, ist einfach die Einführung von etwas, das das Verständnis dafür völlig ignoriert, wie sensibel diese Daten sind, und eine [Situation] schafft, in der man sich bei den Behörden melden muss, bevor man eine Website nutzen kann.

Die Europäische Kommission hat einen neuen Vorschlag für eine Richtlinie zur Neufassung der strafrechtlichen Bestimmungen im Zusammenhang mit kinderpornografischem Material (EU-CSAM) vorgeschlagen. Wie ist Ihre Sicht auf diesen Vorschlag?

Ehrlich gesagt, es scheint keine politische Bereitschaft dafür zu geben. Aber es ist bemerkenswert, dass es anscheinend diese fanatische Gruppe gibt, die trotz verheerender investigativer Berichterstattung, die zeigt, wie stark die Lobbyisten aus der Scan- und Biometrie-Branche an der Erstellung dieser Gesetzgebung beteiligt waren. Dies, obwohl die gesamte Expertengemeinschaft — jeder namhafte Forscher, der sich mit Sicherheit oder Verschlüsselung befasst und diese Systeme und ihre Grenzen versteht — herausgekommen ist und gesagt hat, dass dies absolut unpraktikabel ist. Es geht darum, eine Hintertür in die Kerninfrastrukturen zu schaffen, auf die wir uns in Regierung, Handel und Kommunikation verlassen.

Es ist absolut gefährlich, und oh, warte, es gibt keine Daten, die zeigen, dass das tatsächlich den Kindern helfen wird. Es gibt eine massive Unterfinanzierung von Sozialdiensten, Bildung. Es gibt echte Probleme, um Kindern zu helfen. Diese werden nicht adressiert. Stattdessen gibt es eine Fixierung auf eine Hintertür zur Verschlüsselung, auf das Brechen der einzigen Technologie, die Vertraulichkeit, Authentizität und Privatsphäre sicherstellen kann. Also die Argumente liegen vor. Es ist sehr klar, dass sie falsch sind. Es ist sehr klar, dass dieser Prozess korrupt war, um es gelinde auszudrücken. Und doch scheint es diese Fraktion zu geben, die diesen Knochen einfach nicht loslassen kann.

Sie sind offenbar besorgt über die Macht zentralisierter KI-Plattformen. Was halten Sie von der sogenannten 'dezentralisierten KI', über die beispielsweise Emad Mostaque spricht?

Ich höre einen Slogan. Geben Sie mir ein Argument. Geben Sie mir eine Architektur. Sagen Sie mir, was das tatsächlich bedeutet. Was wird speziell dezentralisiert? Welche Vorteile bringt Ihre spezielle Version der Dezentralisierung mit sich?

Offenbar gab es vor kurzem einen Konflikt mit Elon Musk über Telegramm gegen Signal. Wenn Sie sich auszoomen und aus diesem Erlebnis herauskommen: Haben Sie gesehen, dass Aktivisten Signal verlassen haben? Was halten Sie von dem, was Pavel Durov gesagt hat?

Es scheint, als wäre Pavel vielleicht zu beschäftigt damit, von einem professionellen Fotografen verfolgt zu werden, um seine Fakten richtig zu bekommen. Ich weiß nicht, warum er das verstärkt hat. Ich weiß, dass er voller s— ist, wenn es um seine Ansichten oder seine Behauptungen über Signal geht. Und wir haben alle Belege auf unserer Seite. Also das Urteil ist gefällt. Das Urteil ist klar.

Was an diesem ist unglücklich ist, im Gegensatz zu anderen Fällen von Tech-Executives s—-gesprächen — worin ich mich gerne engagiere und dem ich nicht besonders wichtig nehme — dieses hier schadet