Hintergrund

„Im Internet läuft etwas schief“ – Essay von James Bridle

Youtube Kids Gewalt Videos
Video-Imitat von "Peppa Wutz" (Screenshot)

Der britische Blogger James Bridle sorgte im November mit seinem aufwühlenden Essay über gewaltsame Kindervideos auf YouTube für Aufsehen in der Netzwelt. Wir liefern die deutsche Übersetzung.

Veröffentlicht am
Autor
Schlagworte
Algorithmus · Eltern · Kinder · Künstliche Intelligenz · Videos · YouTube
Drucken

Hinweis: Anders als die anderen Inhalte auf mobilsicher.de unterliegt dieser Text nicht der Creative-Commons-Lizenz. Die englische Originalversion „Something is wrong on the Internet“ erschien am 6. November 2017 bei medium.com. Kurz darauf entfernte YouTube einige Videos mit umstrittenen Inhalten. Viele ähnliche Videos sind jedoch nach wie vor auf der Plattform verfügbar. Der Text wurde übersetzt von Inga Pöting.

Ich bin James Bridle. Ich bin Schriftsteller und Künstler und beschäftige mich mit Technik und Kultur. Normalerweise schreibe ich für meinen eigenen Blog, aber offen gesagt will ich nichts von dem, worüber ich hier spreche, auch nur in der Nähe meiner eigenen Seite wissen.

Bitte beachten Sie: Dieser Essay beschreibt verstörende Dinge und enthält Links zu drastischen Darstellungen und Videos. Niemand zwingt Sie, ihn zu lesen und Sie sollten Vorsicht walten lassen, wenn Sie sich weiter vorwagen.

Als jemand, der im Internet aufgewachsen ist, halte ich das Internet für einen der wichtigsten Einflüsse auf meine heutige Persönlichkeit. Schon mit 13 Jahren hatte ich einen Computer mit Internetanschluss in meinem Zimmer. Er verschaffte mir Zugang zu vielen Dingen, die vollkommen ungeeignet für einen Teenager waren, aber das war in Ordnung. Die Geisteshaltung, die politische Einstellung und die zwischenmenschlichen Beziehungen, die ich als zentral für meine Identität erachte, wurden in einer Weise vom Internet geprägt, die ich für mich persönlich immer als vorteilhaft empfunden habe. Ich war immer ein kritischer Befürworter des Internets und allem, was es mit sich brachte, und habe es in weiten Teilen stets für emanzipatorisch und gewinnbringend gehalten. Ich stelle dies an den Anfang, weil die Beschäftigung mit den Folgen des Problems, das ich nun beschreiben werde, meine eigenen Anschauungen und Vorurteile in erheblichem Maße durcheinanderbringt.

Eine der theoretischen Fragen, die ich mir an diesem Punkt regelmäßig stelle, ist, wie ich es fände, wenn meine Kinder heute denselben Zugang zum Internet hätten. Und es wird immer schwieriger, diese Frage zu beantworten. Mir ist klar, dass das eine natürliche Entwicklung ist, die mit dem Alter kommt, und irgendwann wird diese Frage für mich vielleicht auch sehr viel weniger theoretisch sein. Ich will da nicht scheinheilig tun. Ich würde wollen, dass meine Kinder dieselben Möglichkeiten haben, zu entdecken, sich zu entwickeln und sich selbst auszudrücken, wie ich sie hatte. Ich würde mir wünschen, dass sie die Wahl haben. Und das führt für mich zu einer bestimmten Haltung in Bezug auf die Rolle des Internets im öffentlichen Leben.

Seit einer Weile beobachte ich zudem die immer symbiotischere Beziehung zwischen kleinen Kindern und YouTube. Ich sehe ständig Kinder, die von Bildschirmen gefesselt sind, in Kinderwagen und Restaurants, und jedes Mal spüre ich so einen kleinen technikfeindlichen Impuls in mir; aber ich bin kein Vater, und ich fälle keine elterlichen Urteile für oder über jemand anderen. Ich habe Kinder von Freunden und Familienmitgliedern in „Peppa Pig“- und „Nursery Rhyme“-Videos vertieft gesehen, es macht sie glücklich und verschafft allen eine Ruhepause, also gut. [Die englischen Originaltitel der teilweise auch auf Deutsch verfügbaren Kindervideos wurden beibehalten, um die vom Autor genannten Zahlen und Zusammenhänge nicht zu verfälschen, Anm. d. Übersetzerin.]

Aber ich habe noch nicht einmal Kinder und trotzdem würde ich den ganzen Laden gerade am liebsten abfackeln.

Irgendjemand oder irgendetwas oder ein Zusammenspiel von Menschen und Technik benutzt YouTube, um Kinder systematisch zu verängstigen, zu traumatisieren und zu missbrauchen, automatisiert und im großen Stil. Dies zwingt mich, meine eigenen Überzeugungen in Sachen Internet in jeglicher Hinsicht zu hinterfragen. Vieles von dem, was ich im Folgenden beschreibe, wurde bereits an anderer Stelle besprochen. Allerdings hat von den Berichten, die ich dazu in der Mainstream-Presse gefunden habe, keiner wirklich die Auswirkungen von dem begriffen, was sich hier abzuspielen scheint.

Vorweg: YouTube für Kinder ist ausgesprochen merkwürdig. Diese Merkwürdigkeit ist mir schon vor einiger Zeit bewusst geworden. Letztes Jahr erschienen mehrere Artikel zum „Überraschungseierwahn“: YouTube-Videos zeigen, oft in unerträglicher Länge, das Auspacken von „Kinder“-Überraschungseiern und anderen Ei-Spielzeugen. Das ist alles, aber Kinder sind davon völlig fasziniert. Es gibt Tausende und Abertausende dieser Videos – und Tausende und Abertausende, wenn nicht Millionen von Kindern, die sie sich anschauen.

Aus dem hier verlinkten Artikel:

Der Schöpfer meines allerliebsten Videos ist „Blu Toys Surprise Brinquedos & Juegos“. Seit 2010 hat er anscheinend 3,7 Millionen Abonnenten und knapp sechs Milliarden Views mit einem kinderfreundlichen Kanal gesammelt, der sich komplett dem Öffnen von Überraschungseiern und dem Auspacken von Spielzeug widmet. Die Videotitel folgen durchgängig einem Muster von unzusammenhängenden Schlagworten, die auf merkwürdige Weise mit Markennamen versehen sind: „Surprise Play Doh Eggs Peppa Pig Stamper Cars Pocoyo Minecraft Smurfs Kinder Play Doh Sparkle Brilho“, „Cars Screamin’ Banshee Eats Lightning McQueen Disney Pixar“ „Disney Baby Pop Up Pals Easter Eggs SURPRISE“.

Während ich dies schreibe, hat er ganze 4.426 Videos fabriziert, und es werden immer mehr. Mit einer solchen Unmenge an Views – zum Vergleich, der offizielle Kanal von Justin Bieber hat über 10 Milliarden Views, der Vollzeit-YouTube-Star PewDiePie beinahe 12 Milliarden – ist es wahrscheinlich, dass dieser Mann seinen Lebensunterhalt damit bestreitet, als ein Paar leise murmelnder Hände Ü-Eier auszuwickeln. (Überraschungseier-Videos sind immer begleitet von vorangestellter Werbung, manchmal auch von Werbeunterbrechungen und Bannern.)

Nun sollten Sie einen Eindruck davon haben, wie sonderbar die Onlinevideo-Welt der Kinder ist, und die Liste von Videotiteln deutet auf die außergewöhnliche Reichweite und Komplexität der Situation hin. Letzteres schauen wir uns gleich genauer an; aber machen Sie sich zuvor kurz bewusst, dass allein dies extrem schräg, wenn auch offenbar ziemlich harmlos ist.

Ein weiteres Phänomen, besonders bei Kleinkindern, sind die „Nursery Rhyme Videos“ [etwa: „Kinderreim“- oder „Kindervers-Videos“, Anm. d. Übersetzerin]:

Little Baby Bum“, von dem das obige Video stammt, ist der siebtbeliebteste Kanal auf YouTube. Mit nur 515 Videos hat er 11,5 Millionen Abonnenten und 13 Milliarden Views gesammelt. Wie glaubhaft diese Zahlen sind, sei dahingestellt, dazu komme ich in Kürze; doch der entscheidende Punkt ist, dass dahinter ein unfassbar gewaltiges Netzwerk und eine Industrie stecken.

Video-on-Demand ist eine süße Versuchung für Eltern wie für Kinder, und damit auch für Content-Ersteller und Werbetreibende. Kleine Kinder sind fasziniert von solchen Videos, ob nun durch vertraute Figuren und Lieder oder einfach durch leuchtende Farben und beruhigende Klänge. Eine geläufige Videostrategie ist es, viele „Nursery Rhyme“- oder Cartoon-Folgen zu Sammlungen von einer Stunde und mehr aneinanderzureihen. Die Länge vieler dieser Videos und die Art und Weise, wie die Länge als Werbemittel eines Videos verstanden wird, deutet auf den Umfang der Zeit hin, die manche Kinder davor verbringen.

Anbieter von YouTube-Filmen haben deshalb viele Strategien entwickelt, um die Aufmerksamkeit von Eltern und Kindern auf ihre Videos zu lenken – und damit auf die einträgliche Werbung, die sie mit sich bringen. Die erste dieser Strategien besteht schlichtweg darin, Inhalte anderer zu kopieren oder zu stehlen. Eine einfache Suche nach „Peppa Pig“ auf YouTube ergibt bei mir „Etwa 10 400 000 Treffer“. Auf der ersten Seite finden sich fast ausschließlich Videos des verifizierten „Peppa Pig Official Channel“. Eines jedoch stammt von einem nicht-verifizierten Kanal namens „Play Go Toys“, was nicht weiter auffällt, wenn man nicht gerade genau darauf achtet:

Der Kanal von „Play Go Toys“ besteht aus (vermutlich) raubkopierten „Peppa Pig“- und anderen Cartoons, Videos, in denen Spielzeug ausgepackt wird (ein weiterer Kinder-Magnet) und Filmchen von, so möchte man annehmen, den Kindern des Kanal-Betreibers. Ich unterstelle „Play Go Toys“ keine bösen Absichten; ich möchte lediglich veranschaulichen, wie die Strukturen von YouTube die Verbindung zwischen Inhalt und Urheber allmählich auflösen und wie unsere Wahrnehmung und unser Vertrauen in den Ursprung von Inhalten dadurch beeinflusst werden.

Wie ein anderer Blogger bereits angemerkt hat, gehört zu den üblichen Eigenschaften von Markeninhalten, dass die Quelle vertrauenswürdig ist. Egal, ob es sich um „Peppa Pig“ im Kinderfernsehen oder um einen Disney-Film handelt – wie auch immer man der Unterhaltungsindustrie gegenüberstehen mag –, solche Formate werden sorgfältig produziert und kontrolliert. Kinder können sie gefahrlos ansehen, man kann ihnen vertrauen. Dies gilt jedoch nicht mehr, wenn Marke und Inhalt durch eine Plattform voneinander getrennt werden, sodass bekannte und vertrauenswürdige Inhalte zu Türöffnern für ungeprüfte und potenziell gefährliche Inhalte werden.

(Ja, genau derselbe Prozess ist auch bei der Ablösung vertrauenswürdiger Nachrichtenmedien durch Facebook-Feeds und Google-Treffer zu beobachten, die aktuell in unseren Wahrnehmungssystemen und in der Politik so verheerenden Schaden anrichtet. Ich werde hier nicht weiter auf die Zusammenhänge eingehen, aber sie sind eindeutig gegeben.)

Eine zweite Möglichkeit, um die Klickzahl von Videos zu erhöhen, ist ihre Markierung mit bestimmten Schlagwörtern und Hashtags, die nebenbei eine dunkle Kunst für sich sind. Wenn ein Trend wie die Überraschungseier-Videos eine kritische Masse erreicht hat, ziehen immer mehr Produzenten nach und kreieren Tausende und Abertausende ähnlicher Videos in jeder nur möglichen Form. Hier liegt der Ursprung all der seltsamen Namen in der obigen Liste: Markeninhalt, „Nursery Rhyme“-Titel und „surprise egg“ werden zu Wortsalat verarbeitet, um möglichst hohe Trefferzahlen, Seitenleisten-Platzierungen und Autoplay-Rankings abzufangen.

Ein auffälliges Beispiel dieser Sonderbarkeit sind die „Finger-Family“-Videos (ein harmloses Beispiel habe ich oben eingefügt). Keine Ahnung, wo sie herkommen oder woher der ihnen zugrundeliegende Kinderreim ursprünglich stammt, aber es gibt aktuell mindestens 17 Millionen Versionen davon auf YouTube, wieder decken sie jedes nur mögliche Genre ab und haben zusammen Abermilliarden von Views.

Ich wiederhole noch einmal: Die Klickzahlen dieser Videos müssen mit Vorsicht genossen werden. Ein Großteil dieser Videos wird in Wirklichkeit von Bots produziert, von Bots angesehen und sogar von Bots kommentiert. Das ist eine ganze befremdliche Welt für sich. Doch das soll nicht davon ablenken, dass auch viele echte Kinder, eingestöpselt in Smartphones und Tablets, diese Videos immer wieder und wieder ansehen – was mit Sicherheit auch ein Grund für die aufgeblasenen Klickzahlen ist. Dabei haben sie schnell heraus, wie man bestimmte Suchbegriffe in den Browser eintippt, oder sie patschen einfach auf die Seitenleiste, um ein weiteres Video abzuspielen.

Was ich an der extremen Ausbreitung von selbst (relativ) normalen Kindervideos einigermaßen verstörend finde, ist die Unmöglichkeit, den Grad der Automatisierung auszumachen, die hier am Werke ist; die Unmöglichkeit, den Übergang zwischen Mensch und Maschine zu bestimmen. Das obige Beispiel von einem Kanal namens „Bounce Patrol Kids“ mit beinahe zwei Millionen Abonnenten führt diesen Effekt vor. Hier werden etwa einmal pro Woche professionell produzierte Videos mit eigens engagierten menschlichen Schauspielern gepostet. Ich möchte noch einmal betonen, dass ich „Bounce Patrol“ nichts Ungehöriges unterstelle. Der Kanal tritt eindeutig in die Fußstapfen von vordigitalen Kindersendungshits, wie den australischen „The Wiggles“.

Und dennoch – irgendetwas ist merkwürdig an einer Gruppe von Menschen, die eine Kombination von algorithmisch generierten Schlagwörtern immer und immer wieder neu auslegt: „Halloween Finger Family & more Halloween Songs for Children | Kids Halloween Songs Collection“, „Australian Animals Finger Family Song | Finger Family Nursery Rhymes“, „Farm Animals Finger Family and more Animals Songs | Finger Family Collection – Learn Animals Sounds“, „Safari Animals Finger Family Song | Elephant, Lion, Giraffe, Zebra & Hippo! Wild Animals for kids“, „Superheroes Finger Family and more Finger Family Songs! Superhero Finger Family Collection“, „Batman Finger Family Song — Superheroes and Villains! Batman, Joker, Riddler, Catwoman“ und so weiter und so weiter und so weiter. Das ist Content-Produktion im Zeitalter der von Algorithmen gesteuerten Suchergebnisse – sogar als echter Mensch ist man schlussendlich gezwungen, die Maschine nachzuahmen.

Andere Kanäle machen menschliche Darsteller komplett überflüssig, indem sie aus ein und demselben Video immer wieder neue, endlos rekonfigurierbare Varianten erstellen. Was hier entsteht, ist ganz klar das Ergebnis von Automatisierung. Ein vorhandener Bestand an Animationen, Audiotracks und Schlagwortlisten wird tausendfach neu kombiniert, um einen nie abreißenden Strom von Videos zu produzieren. Auf dem oben gezeigten Kanal „Videogyan 3D Rhymes  – Nursery Rhymes & Baby Songs“ werden mehrere Videos pro Woche gepostet, und das in immer haarsträubenderen Schlagwortkombinationen. Er hat fast fünf Millionen Abonnenten – mehr als doppelt so viele wie „Bounce Patrol“ – wobei auch hier unmöglich zu sagen ist, wer oder was die Abermillionen von Klicks tatsächlich erzeugt.

Dieser Essay soll nicht zu einer Endlosliste von Beispielen verkommen, aber es ist wichtig zu begreifen, wie unermesslich groß dieses System ist und wie undefinierbar seine Mechanismen, sein Werdegang und seine Zuschauer sind. Außerdem sind die Ausmaße international: Es gibt Variationen von „Finger Family“- und „Learn Colours“-Videos mit Figuren aus tamilischen Heldenfilmen ebenso wie malaysische Cartoons, die normalerweise nicht in englischsprachigen Suchergebnissen auftauchen. Und genau diese Unbestimmbarkeit und Reichweite sind grundlegend für das System und seine Begleiterscheinungen. Die Vieldimensionalität macht es schwer zu fassen oder überhaupt darüber nachzudenken.

Recht anschauliche Beispiele der beunruhigenden Resultate kompletter Automatisierung sind uns bereits begegnet – einige davon sind dankbarerweise mit schwarzem Humor aufgelockert worden, andere eher nicht. Es ist schon so einiges aus der algorithmischen Kreuzung von Beispielfoto-Bibliotheken und On-Demand-Produktion entstanden, von T-Shirts über Kaffeetassen bis hin zu Babystramplern und Handyhüllen. Das obige Beispiel, das bis vor kurzem auf Amazon zu finden war, ist ein solcher Fall. Die Entstehungsgeschichte ist faszinierend und seltsam, aber im Grunde leicht zu begreifen. Niemand hat sich darangemacht, Handyhüllen mit Drogenbesteck und Sanitätsartikeln zu bebildern, es handelte sich schlicht und ergreifend um ein ausgesprochen bizarres Ergebnis wahrscheinlichkeitstheoretischer Berechnungen. Die Tatsache, dass es so lange gedauert hat, bis dieses Ergebnis irgendwem auffiel, könnte jedoch durchaus einige Alarmglocken schrillen lassen.

Ganz ähnlich verhält es sich mit den T-Shirts mit der Aufschrift „Keep Calm and Rape A Lot“ (bzw. den Varianten „Keep Calm and Knife Her“ und „Keep Calm and Hit Her“) – ihre Entstehungsgeschichte ist so deprimierend wie besorgniserregend, aber nachvollziehbar. Niemand hat sich entschlossen, diese T-Shirts zu produzieren; stattdessen hat ein Bildgenerator ungeprüfte Listen von Verben und Pronomen verarbeitet. Gut möglich, dass keines dieser T-Shirts je physisch vorhanden war, gekauft oder getragen wurde; und insofern kein Schaden entstanden ist. Aber wieder haben die Menschen, die diese Artikel generiert haben, das Ganze nicht bemerkt – ebenso wenig wie die Händler. Sie hatten buchstäblich keine Ahnung, was sie taten.

Was ich mit diesen und den folgenden Fällen zeigen will, ist, dass die Ausmaße und die Logik des Systems mitverantwortlich für solche Ergebnisse sind. Es ist daher dringend nötig, dass wir uns mit dem System und den von ihm verursachten Folgen auseinandersetzen.

(Und noch einmal: Ich werde nicht weiter auf die größeren gesellschaftlichen Zusammenhänge dieser Entwicklungen eingehen, aber der Bogen von diesen Beispielen zu drängenden aktuellen Problemen wie den rassistischen und geschlechterdiskriminierenden Tendenzen innerhalb von Big Data und von künstlicher Intelligenz gesteuerten Systemen ist schnell gespannt. Es ist überfällig, dass wir uns mit diesen Problemen befassen, jedoch sind gleichzeitig keine einfachen oder auch nur wünschenswerten Lösungen in Sicht.)

Schauen wir uns einmal eines aus der Unmenge an Kindervideos genauer an und versuchen wir herauszufinden, wie es entstanden ist. Ich möchte betonen, dass ich nicht aktiv nach genau diesem Video gesucht habe: Bei einer Suche nach „Finger Family“ ist es ganz von selbst und weit oben auf der Ergebnisliste eines anonymen Browserfensters angezeigt worden (es sollte also nicht von vorherigen Suchabfragen beeinflusst worden sein). Die Automatisierung führt uns an sehr, sehr merkwürdige Orte, und an diesem Punkt ist das schwarze Loch des Internets so tief, dass man unmöglich sagen kann, was genau eine solche Sache zustande gebracht hat.

An dieser Stelle noch einmal eine Warnung bezüglich des folgenden Inhalts: Dieses Video ist in keiner Weise verfänglich, aber es ist ganz klar jenseits des Normalen und enthält Elemente, bei denen einem mulmig zumute werden kann. Es gehört noch zu den harmlosesten seiner Art, aber dennoch. Ich beschreibe es unten, falls Sie diesen Weg nicht einschlagen und es sich ansehen möchten. Diese Warnung wird nicht die letzte gewesen sein.

Das obige Video trägt den Titel „Wrong Heads Disney Wrong Ears Wrong Legs Kids Learn Colors Finger Family 2017 Nursery Rhymes“. Schon der Titel spricht für seinen automatisierten Ursprung. Keine Ahnung, wie das originale „Wrong Heads“-Video aussieht. Aber ich kann mir vorstellen, dass – genau wie bei dem „Finger Family“-Lied – irgendwo eine ursprüngliche, völlig harmlose Variante existiert, die viele Kinder zum Lachen gebracht hat, ehe sie die Top-Listen der Algorithmen erklomm und schließlich als Teil des Wortsalats mit „Learn Colors“, „Finger Family“, „Nursery Rhymes“ und so weiter kombiniert wurde – nicht nur in Form von Wörtern, sondern auch in Form von Bildern, Abläufen und Handlungen – zu der wilden Mischung, die wir hier sehen.

Das Video besteht aus einer normalen Version des „Finger Family“-Lieds, das über eine Animation von Köpfen und Körpern aus dem Disney-Film „Aladdin“ gelegt wurde, die stetig wechseln und neu kombiniert werden. Wie gesagt, das ist zwar merkwürdig, aber auch nicht merkwürdiger als die Überraschungsei-Videos oder sonst irgendwas, was Kinder sich ansehen. Mir ist klar, wie harmlos es ist. Das Abseitige schleicht mit dem Auftritt einer Figur herein, die nicht Teil der „Aladdin“-Welt ist – Agnes, das kleine Mädchen aus „Ich – einfach unverbesserlich“. Agnes ist die Schiedsrichterin der Szene: wenn die Köpfe nicht zusammenpassen, weint sie, wenn sie passen, jubelt sie.

Der Urheber des Videos, „BABYFUN TV“ (siehe Screenshot oben), hat viele ähnliche Videos produziert. Ich habe mir so viele „Falsche Köpfe“-Videos angesehen, wie ich ertragen konnte, und sie funktionieren alle nach demselben Muster. Freude, die Figur aus „Alles steht Kopf“, weint sich durch den Kopfwechsel von Schlümpfen und Trollen. Und so geht es immer weiter. Ich habe das Spiel kapiert, aber das unaufhörliche Übereinanderlegen und Vermischen verschiedener Welten fängt irgendwann an, einem an die Nieren zu gehen. „BABYFUN TV“ hat zwar nur 170 Abonnenten und sehr geringe Klickzahlen, aber es gibt Tausende von Kanälen wie diesem. Je für sich gesehen sind solche Zahlen nicht relevant, aber sie werden es in der Masse.

Die Frage lautet also: Wie ist es dazu gekommen? Die „Bad Baby“-Reihe, die auch bei „BABYFUN TV“ zu finden ist, arbeitet mit genau demselben Weinen. Ich finde diese Videos zwar unheimlich, aber ich kann verstehen, dass sie durch ihren Rhythmus, ihren Wiederholungscharakter oder ihren Bezug zur eigenen Erfahrungswelt möglicherweise etwas bieten, was Kleinkinder anzieht – wobei diese durch algorithmische Wiederholung und Neukombination in einer Weise verzerrt und gedehnt wurde, die niemand ernsthaft wollen kann.

Screenshot Toy-Freaks-Kanal

[Update 21.11.2017: Nach der Veröffentlichung der englischen Originalversion dieses Artikels wurde der „Toy Freaks“-Kanal von YouTube im Zuge einer weitreichenden Entfernung von umstrittenen Inhalten gelöscht.]

Toy Freaks“ ist ein überaus beliebter Kanal (Platz 68 auf der Rangliste der am meisten geklickten YouTube-Kanäle), in dem ein Vater und seine beiden Töchter viele der Video-Elemente, die wir bislang kennengelernt haben, nachspielen – oder in manchen Fällen vielleicht auch neu erfinden – darunter besagtes „Bad Baby“ (weiter oben eingebunden). „Toy Freaks“ ist neben den Themen „Kinderreime“ und „Farben lernen“ auf Ekel erregende Situationen spezialisiert, ebenso wie auf Spiele, die für sehr viele Zuschauer an der Grenze zu Missbrauch und Ausbeutung liegen, wenn sie diese Grenze nicht längst überschreiten; unter anderem handelt es sich um Videos, in denen die Kinder sich übergeben und Schmerzen erleiden. „Toy Freaks“ ist ein von YouTube geprüfter Kanal, was das auch immer bedeuten mag. (Ich denke, wir wissen inzwischen alle, dass es rein gar nichts bedeutet.)

Wie man den Inhalt dieser Videos auch empfinden mag: Genau wie bei „Bounce Patrol Kids“ ist es unmöglich abzuschätzen, wo die Automatisierung beginnt und wo sie endet, wer diese Ideen hat und wer sie umsetzt. Die Vervielfältigung dieser Muster in beliebten, menschengesteuerten Kanälen wie „Toy Freaks“ wiederum führt dazu, dass sie sich im Netzwerk endlos vermehren, und zwar in immer ausgefalleneren und verzerrteren Kombinationen.

Es gibt noch eine zweite Sorte dessen, was ich von Menschen gesteuerte Videos nenne, und zwar eine, bei der sich weit Schlimmeres abspielt als in den größtenteils geschmacklosen Aufführungen von „Toy Freaks“ und dergleichen. Hier ein noch relativ zahmes, aber dennoch beunruhigendes Beispiel:

Youtube Kids Gewalt Videos

Noch einen Schritt weiter als die schon erwähnten, lediglich raubkopierten „Peppa Pig“-Videos gehen die Imitationen. Auch diese strotzen vor Gewalt. In den offiziellen „Peppa Pig“-Videos geht Peppa unter anderem zum Zahnarzt. Die Folge, in der sie das tut, ist offenbar sehr beliebt – obwohl die Originalfolge allem Anschein nach nur auf einem inoffiziellen Kanal verfügbar ist, was die Sache nicht weniger verwirrend macht. Im Original wird Peppa von einem freundlichen Zahnarzt beruhigt. In der obigen Version wird sie im Wesentlichen gefoltert, ehe sie sich in eine Schar von Iron-Man-Robotern verwandelt, die den „Learn Colors“-Tanz aufführen. Bei einer Suche nach „Peppa Pig Dentist“ landet das obige Video auf der ersten Trefferseite, und ab da wird es nur immer schlimmer.

[Update, 21/11/2017: Das Video, von dem hier die Rede ist, ist inzwischen im Zuge von YouTubes Säuberungsaktion entfernt worden, viele ähnliche Videos sind aber nach wie vor auf der Plattform verfügbar.]

„Peppa Pig“-Gruselvideos, die mit extremer Gewalt und Angst arbeiten – Peppa frisst ihren Vater oder trinkt Bleichmittel – sind, wie sich zeigt, sehr verbreitet. Sie bilden eine komplette YouTube-Subkultur. Manche sind offensichtlich Parodien oder beziehen sich sogar satirisch auf sich selbst, und zwar in jenem abscheulichen und absichtlich verletzenden Stil, der für eine bestimmte Seite des Internets typisch ist. Dazu gehören natürlich sämtliche „4chan“-Motive, die Trolle sind los, schon klar.

In unserem Beispiel ist die Motivation dahinter jedoch weniger klar: Das Video beginnt mit einer trollartigen „Peppa“-Parodie, geht aber später in genau dieselbe Art von automatisierter Motivwiederholung über, die wir bereits kennen. Ich weiß nicht, welchem Lager es sich zuordnen lässt. Vielleicht stecken einfach nur Trolle dahinter. Das hoffe ich jedenfalls. Aber ich glaube nicht daran. Es gehört nicht zum Repertoire von Trollen, menschliche Darsteller mit automatisierten Video-Elementen zu kreuzen, wie wir später sehen werden. Sie sind durchaus beteiligt, aber das ist noch nicht die ganze Wahrheit.

Es ist vermutlich blauäugig, die absichtlich erzeugten Variationen nicht gleich zu erkennen; doch viele sind – wie das Zahnarzt-Beispiel – sehr nah am Original und völlig ungekennzeichnet, so dass unzählige Kinder sie sich ansehen. Ich gehe davon aus, dass die meisten davon nicht wirklich die Absicht haben, Kinder zu traumatisieren – aber sie tun es längst.

Ich versuche noch zu begreifen, warum dies alles – so schlicht und aufwühlend es ist – noch nicht zu einem Aufschrei der Art „Denkt doch nur an die Kinder!“ geführt hat. Diese Inhalte sind eindeutig unangemessen, es gibt eindeutig bösartige Akteure da draußen, einige dieser Videos sollten eindeutig entfernt werden. Ziemlich eindeutig kommen zudem Fragen bezüglich Fair Use, Appropriation, freier Meinungsäußerung und so weiter auf. Doch Berichte, die das Problem nur durch diese Brille betrachten, unterschätzen die Größenordnung der Mechanismen, die hier zum Tragen kommen. Sie können deren Auswirkungen daher nicht zu Ende denken und auch nicht entsprechend reagieren.

Die New York Times überschreibt ihren Artikel zu einem Teil des Problems mit der Schlagzeile „Schockierende Videos schlüpfen durch Filter von ‚YouTube Kids‘“. Sie hebt die Verwendung von billig kopierten Figuren und Kinderliedern in verstörendem Kontext hervor und stellt dies als Problem der Gesetzgebung und der Moderation dar. Das hier identifizierte Problem heißt „YouTube Kids“ – eine offizielle App, die den Anspruch erhebt, kindersicher zu sein, es aber ganz offensichtlich nicht ist –, weil es fälschlicherweise Vertrauen bei den Nutzern erzeuge. Ein Artikel in der britischen Boulevardzeitung „The Sun“ mit dem Titel „Kinder traumatisiert, nachdem kindersichere App kranke YouTube-Clips mit bewaffneten Peppa-Pig-Figuren abspielte“ bläst in dasselbe Horn, garniert mit einer kräftigen Dosis rechtskonservativer Technophobie und Selbstgerechtigkeit. Doch beide Artikel nehmen YouTubes Beteuerungen, solche Suchergebnisse seien unglaublich selten und würden schnell entfernt, für bare Münze: Behauptungen, die bereits durch die Verbreitung dieser Artikel vollständig widerlegt werden, ebenso wie durch die wachsende Zahl an Social-Media-Posts, die größtenteils von besorgten Eltern stammen; die überhaupt erst Anstoß zu diesen Artikeln gaben.

Doch genau wie bei „Toy Freaks“ ist für mich das Beunruhigende an den „Peppa“-Videos, dass die offensichtlichen Parodien und selbst die fragwürdigeren Kopien mit dem Heer von algorithmusbasierten Content-Produzenten interagieren, und zwar so weit, dass es unmöglich wird zu erkennen, was da eigentlich vor sich geht. („Die Tiere draußen blickten von Schwein zu Mensch und von Mensch zu Schwein, und dann wieder von Schwein zu Mensch; doch es war bereits unmöglich zu sagen, wer was war.“ [Letzter Satz aus „Farm der Tiere“ von George Orwell, Anm. d. Übersetzerin])

Hier sehen wir eine in Asien produzierte Variante von „Toy Freaks“ (Screenshot oben). Hier eine aus Russland. Ich möchte den Begriff „von Menschen produziert“ in Bezug auf diese Videos eigentlich nicht mehr verwenden, obgleich sie alle dieselben Motive beinhalten, die durchaus von echten Menschen nachgespielt werden. Hier blicke ich nun gar nicht mehr durch, das will ich auch überhaupt nicht mehr, und allmählich dämmert mir, dass genau das im Prinzip der springende Punkt ist. Das ist einer der Gründe, aus denen ich langsam anfange, über die Absicht hinter dieser ganzen Sache nachzudenken. Eine Menge Aufwand steckt in der Herstellung dieser Videos. Mehr, als Spam-Einnahmen generieren können – oder? Wer schreibt diese Drehbücher, wer bearbeitet diese Videos? Wie bereits mehrfach gesagt: Dies alles ist immer noch wirklich harmlos, geradezu witzig im Vergleich zu vielem, was es da draußen gibt.

Hier sind ein paar Dinge, die mich beunruhigen:

Zunächst einmal das Ausmaß des Schreckens und der Gewalt, der hier zur Schau gestellt werden. Manchmal ist es trollendes Ekel-Zeug; häufiger jedoch scheint es tiefer zu gehen und unbewusster zu wirken. Das Internet neigt dazu, unsere verborgenen Sehnsüchte zu verstärken und freizusetzen; tatsächlich scheint das seine größte Stärke zu sein. Ich habe viel Zeit damit verbracht, für diesen Standpunkt zu argumentieren, in Hinblick auf sexuelle Freiheit, die eigene Identität und andere Belange. In diesem Fall habe ich jedoch stark den Eindruck, als sei diese Tendenz nur noch gewaltsam und zerstörerisch.

Und dann ist da noch das Ausmaß der Ausbeutung von Kindern – nicht, weil sie Kinder sind, sondern, weil sie wehrlos sind. Automatisierte Belohnungssysteme wie YouTube-Algorithmen erfordern Ausbeutung in derselben Art und Weise wie der Kapitalismus, und falls Sie jemand sind, dem sich beim zweiten Teil dieses Vergleiches die Nackenhaare aufstellen, dann wird Sie diese Tatsache allein vielleicht von dessen Wahrheitsgehalt überzeugen. Ausbeutung ist vorprogrammiert in allen technischen Systemen, die wir erschaffen, was es schwierig macht, sie zu erkennen, zu denken, zu erklären, und auch, ihr entgegenzutreten und sich gegen sie zur Wehr zu setzen. Und das nicht erst in einer Zukunft der KI-Herrscher und Fabrikroboter, sondern schon jetzt, auf Ihrem Bildschirm, in Ihrem Wohnzimmer und in Ihrer Hosentasche.

Viele der zuletzt eingebundenen Beispiele ersticken jede Diskussion darüber, dass in Wirklichkeit niemand diese Videos schaut und immer nur Bots dahinterstecken, im Keim. Es sind immer noch echte Menschen beteiligt, selbst wenn es nur auf der  Produktionsseite ist, und auch ihretwegen mache ich mir Sorgen.

Ich habe schon genug geschrieben, zu viel, aber ich habe den Eindruck, dass ich mein Schimpfen über Gewalt und Missbrauch und automatisierte Systeme noch einmal abschließend rechtfertigen muss – durch ein Beispiel, das all dies zusammenfasst. Vielleicht finden Sie nun nach allem, was ich zusammengetragen habe, dieses letzte Beispiel gar nicht mehr so schlimm. Ich für meinen Teil weiß nicht mehr ein noch aus.

[Edit, 21/11/2017: Das Video, das eigentlich hier verlinkt war, ist inzwischen im Zuge von YouTubes Säuberungsaktion entfernt worden, viele ähnliche Videos sind jedoch nach wie vor auf der Plattform verfügbar. Das Video zeigte animierte Comicfiguren, die sich gegenseitig angreifen, umbringen und begraben.]

Dieses Video, „BURIED ALIVE Outdoor Playground Finger Family Song Nursery Rhyme Animation Education Learning Video“, beinhaltet sämtliche angesprochenen Elemente und treibt sie auf die Spitze. Vertraute Figuren, Motive aus Kinderliedern, Schlagwort-Salat, volle Automatisierung, Gewalt und genau den Stoff, aus dem die schlimmsten Alpträume von Kindern gemacht sind. Und selbstverständlich ist die Zahl dieser Videos unendlich. Kanal für Kanal für Kanal mit ähnlichem Inhalt und hunderten neuer, am Fließband produzierter Videos pro Woche. Industrialisierte Massenproduktion von Alpträumen.

Zum letzten Mal: Es gibt massenhaft gewaltsame und sexualisierte Inhalte wie diesen. Ich werde sie nicht verlinken. Ich habe kein Interesse daran, andere Menschen zu traumatisieren. Doch es muss weiter betont werden und der psychologische Effekt auf Kinder kann einfach nicht von der Hand gewiesen werden – das gilt auch für Dinge, die Erwachsenen nicht direkt traumatisierend, sondern nur düster und abgedreht vorkommen.

Ein Freund, der beruflich mit digitaler Videotechnik zu tun hat, hat mir erklärt, was nötig ist, um solche Videos zu erstellen: Ein kleines Studio inklusive Mitarbeitern (ungefähr sechs, vielleicht mehr), die große Mengen von qualitativ minderwertigem Inhalt produzieren, um Werbeeinnahmen dadurch zu erzielen, dass bestimmte Anforderungen des Systems genau erfüllt werden (besonders die Videolänge scheint ein entscheidender Faktor zu sein). Meinem Freund zufolge ist Online-Content für Kinder eine der wenigen alternativen Möglichkeiten, im 3-D-Animationsbereich Geld zu verdienen, weil die ästhetischen Standards niedriger sind und unabhängige Produktionen durch reine Masse Gewinn machen können. Sie nutzen vorhandene und leicht zu beschaffende Vorlagen (wie zum Beispiel Figurenmodelle und Motion-Capture-Bibliotheken), die endlos und meistens bedeutungsleer wiederholt und umgearbeitet werden können, weil Algorithmen nicht wählerisch sind – und Kinder auch nicht.

Diese Videos, wo auch immer sie erstellt werden, wie auch immer sie entstehen und was auch immer die Absicht dahinter ist (z.B. Werbeeinnahmen anzuhäufen) zehren von einem System, das bewusst darauf abzielt, Kindern Videos zu zeigen und Profit daraus zu schlagen. Die dabei unbewusst generierten Ergebnisse sind überall zu finden.

Kinder solchen Inhalten auszusetzen, ist Missbrauch. Wir reden hier nicht über die vieldiskutierten, aber zweifellos realen Einflüsse gewaltverherrlichender Filme und Videospiele auf Jugendliche oder die Wirkung von Pornografie oder extremen Bildern auf junge Seelen, die ich in der einleitenden Beschreibung meiner eigenen Internetnutzung als Teenager angedeutet habe. Diese Diskussionen sind wichtig, aber darum geht es hier nicht. Worüber wir hier reden, ist die Tatsache, dass Kleinkinder, effektiv ab der Geburt, absichtlich mit Inhalten konfrontiert werden, die sie traumatisieren und verstören – über Netzwerke, die extrem anfällig für genau diese Form von Missbrauch sind. Es geht nicht um Trolle, sondern um eine Form von Gewalt, die der Kombination von digitalen Systemen und kapitalistischen Anreizen innewohnt. Ja, darauf läuft es tatsächlich hinaus.

Das ist es, glaube ich, was ich sagen will: Das System macht sich an dem Missbrauch mitschuldig.

Und genau jetzt, genau hier, machen sich YouTube und Google mitschuldig an dem System. In die Strukturen, die diese Unternehmen aufgebaut haben, um maximale Einnahmen aus Online-Videos herauszuziehen, sind Unbekannte eingedrungen, die Kinder missbrauchen; vielleicht nicht einmal absichtlich, aber in enormen Ausmaßen. Ich sehe diese Unternehmen deshalb in der uneingeschränkten Verantwortung, sich mit diesem Problem auseinanderzusetzen, genauso wie sie in der Verantwortung sind, sich mit der Radikalisierung von (überwiegend) jungen (überwiegend) Männern durch extremistische Videos zu befassen – egal welcher politischen Überzeugung.

Bisher haben sie nicht die geringste Anwandlung gezeigt, dies zu tun, was an und für sich schon verwerflich ist. Meine aufgewühlte Antwort auf dieses Problem kommt vor allem dadurch zustande, dass ich keine Ahnung habe, wie sie überhaupt angemessen reagieren könnten, ohne ihren Dienst gleich völlig abzuschalten – und die meisten verwandten Systeme ebenso. Wir haben eine Welt geschaffen, die in einem so großen Maßstab funktioniert, dass menschliche Aufsicht schlicht unmöglich ist. Und dem Großteil der in diesem Essay verwendeten Beispiele wird keine Art von nicht-menschlicher Aufsicht Herr werden können.

Ich habe bestimmte Randbemerkungen bisher ausgeklammert. Würde man darauf näher eingehen, könnte man diesen Text mit minimalem Aufwand umschreiben. Es ginge dann nicht mehr um Kindesmissbrauch, sondern um weißen Nationalismus, gewaltverherrlichende religiöse Ideologien, Fake News, die Leugnung des Klimawandels oder Verschwörungstheorien rund um den 11. September.

Wir leben in finsteren Zeiten, in denen Strukturen, die wir zu unserer Erhaltung aufgebaut haben, systematisch und automatisiert gegen uns verwendet werden – gegen uns alle. Es ist alles andere als einfach, das Vertrauen in jenes Netzwerk zu behalten, das derartigen Schrecken produziert. Es ist verführerisch, jene übleren Beispiele als Trollaktionen unter den Tisch fallen zu lassen – auch deshalb, weil Trolle sicherlich einen nicht unerheblichen Teil des Ganzen ausmachen. Doch damit ist die schiere Masse von Inhalten, die eine besonders groteske Richtung einschlagen, noch nicht erklärt. Damit verbunden sind viele, kompliziert ineinander verwobene Gefahren, einschließlich der, dass – wie im Falle der immer stärker in den Fokus rückenden mutmaßlichen Eingriffe Russlands in Soziale Medien –, diese Ereignisse als Rechtfertigung für eine zunehmende Kontrolle des Internets benutzt werden, mit wachsender Zensur und so weiter. Das ist nicht das, was viele von uns wollen.

Ich schließe hier und sage nur noch eins:

Was mich beschäftigt, ist nicht nur die Gewalt, die Kindern in diesem Kontext angetan wird, wenngleich diese mich tief beunruhigt. Was mir am meisten zu denken gibt, ist, dass dies nur ein Teilaspekt einer infrastrukturellen Gewalt ist, die uns allen angetan wird, und zwar ständig – und wir noch nicht einmal Möglichkeiten gefunden haben, darüber zu sprechen, ihre Mechanismen, Abläufe und Auswirkungen zu beschreiben. Wie ich zu Beginn sagte: Dies wird durch Menschen und Technik verursacht und durch das Zusammenspiel von Menschen und Technik. Wer für die Folgen verantwortlich ist, ist unmöglich zu bestimmen – doch der Schaden ist überaus real.

Sie haben einen Fehler entdeckt oder vermissen einen Artikel zu einem bestimmten Thema?
Schreiben Sie uns eine E-Mail an hinweis@mobilsicher.de!