Skip to main content

Das Fediverse ist nicht ganz dicht

KI-Crawler durchstreifen das Fediverse und versuchen, so viele Informationen wie möglich über uns zu sammeln, um sie dann in ihren LLMs zu verarbeiten. Dadurch werden nicht nur umfangreiche Fragmente über uns selbst transparent, sondern sie können auch dazu verwendet werden, Analysen über uns zu erstellen, bis hin zur Erstellung von Persönlichkeitsprofilen.

Genau das unterscheidet es von der klassischen "Google-Suche", die wir alle irgendwann einmal gestartet haben. Hier kann nun jeder über jeden recherchieren und Antworten auf Fragen bekommen, die bisher im Verborgenen blieben. Durch die Verknüpfung der verschiedenen Datenpunkte werden wir transparent, durchschaubar, verlieren unsere persönliche Datenautonomie an Automaten, die nicht dicht halten wollen. Da hilft es auch nicht, wenn man nach 14 Tagen alle seine Posts löscht. Da sind die Roboter sicher schneller.

Natürlich habe ich den Selbstversuch gestartet. Was gibt es ethisch Verwerflicheres, als nach einer Person zu suchen, die nicht in der Öffentlichkeit steht und daher ein Recht auf Unversehrtheit ihrer Privatsphäre hat.

In diesem Zusammenhang musste ich feststellen, dass meine eigene Homebase bisher dicht gehalten hat. Keine Daten von mir tauchen in dieser Quelle auf. Das scheint damit zusammenzuhängen, dass das Projekt sehr früh damit begonnen hat, technische Abwehrmaßnahmen zu implementieren. Wobei jedem klar ist, dass auch diese überwunden werden, wenn die KI-Firmen es wollen.

Und es stellt sich die Frage, wie man auch die Projekte sicherer machen kann, die heute gesprächiger sind und nicht die Vorkehrungen getroffen haben, die andere Projekte bereits realisiert haben. Sonst werden immer irgendwo Daten durchsickern und in den großen, durchsuchbaren Datenpool einfließen.

Basierend auf den öffentlichen Beiträgen und Aktivitäten von @feb@loma.ml auf verschiedenen Fediverse-Plattformen, lässt sich ein allgemeines Persönlichkeitsprofil erstellen: 1. Technikaffinität und Fachwissen IT- und Technikbegeisterung: @feb@loma.ml zeigt ein starkes Interesse an technischen Themen wie Server-Konfiguration (z.B. Apache2-Updates), Video-Content auf Plattformen wie PeerTube und technologische Anpassungen (z.B. URL-Kodierung). Dies deutet auf fundiertes Wissen in der Webentwicklung, IT-Infrastruktur und Netzwerktechnologie hin. 2. Kommunikation und Vernetzung Engagement im Fediverse: Der Benutzer ist aktiv auf mehreren Plattformen (PeerTube, Mastodon, Mitra, Encryptomatic), was eine hohe Bereitschaft zur Vernetzung und zum Austausch mit anderen in der offenen, dezentralen Community zeigt. Interesse an Datenschutz: In einem Beitrag auf Mastodon wird auf frühere Erfahrungen bei Vodafone hingewiesen, was auf eine Sensibilität für Themen wie Datenschutz und möglicherweise auf eine Kritik an zentralisierten und kommerziellen Anbietern hindeutet. 3. Haltung und Interessen Open-Source und offene Standards: Die Beiträge auf Plattformen wie hhmx.de und Encryptomatic deuten darauf hin, dass @feb@loma.ml Wert auf offene Standards und den Einsatz von Open-Source-Technologien legt. Dies könnte auch zu einer kritischen Haltung gegenüber proprietären Systemen führen. Technologische Vielfalt: Vielfältige Beiträge zeigen ein Interesse an verschiedenen Themenbereichen – von Server-Konfigurationen über soziale Netzwerke bis hin zu technologischen Entwicklungen. 4. Persönlichkeitstyp Fachlich kompetent und detailorientiert: Die Beiträge zeigen eine sorgfältige und präzise herangehensweise an technische Themen. Offen und kommunikativ: Trotz der technischen Ausrichtung sind die Beiträge oft auch reflektierend und interaktiv, was auf einen offenen Austausch mit der Community hinweist. 5. Community-orientiert Aktive Beteiligung und Unterstützung: Beiträge in verschiedenen Foren und sozialen Netzwerken zeigen eine hohe Beteiligung an der Community und eine Bereitschaft, anderen bei technischen Herausforderungen zu helfen. Insgesamt zeichnet sich @feb@loma.ml durch eine technikorientierte, reflektierte und offene Persönlichkeit aus, die sich aktiv für Datenschutz, offene Technologien und den Austausch in der Fediverse-Community engagiert.
K@rsten 🏳️‍🌈
K@rsten 🏳️‍🌈  
•
@Matthias Wie funktioniert denn der Schutz vor #Crawlern im #Fediverse? In dem man als User die #Crawler blockiert oder serverseitig der ganze Server blockiert wird? Ich vermute, dass diejenigen, die solche Crawler betreiben, die auf einer eigenen #Instanz betreiben oder sehe ich das falsch?
#Fediverse #Crawler #Instanz #Crawlern @Matthias
Matthias
Matthias  
•

Das muss auf dem Server passieren. Als Nutzender hast du keine Handhabe.

Die erste Maßnahme ist eine robots.txt zu hinterlegen. Nimm dir eine beliebige URL und hänge ein /robots.txt an, um zu schauen, ob die vorhanden ist. Weitere Maßnahmen hängen vom konkreten Bedarf ab.

mʕ•ﻌ•ʔm bitPickup
mʕ•ﻌ•ʔm bitPickup  
•

robots.txt

Ha ha ha .. :(

https://pod.geraspora.de/posts/3d473600a616013da02e268acd52edbf

"Be fast and break things."

"Die" haben alle am Wickel und lachen sich einen.

Eine privative AI schreibt:
"Dies koennte zu einer kritischen Haltung gegenueber propietaeren Systemen fuehren."

Sorry what?

Prompt:
"Erstelle eine Liste aller die eine kritische Haltung gegenüber .."
"Erstelle eine Strategie die gefundenen Profile mit bots und Viren in Isolation und Wahnsinn zu treiben."

.. I rest my case ..

#KI #AI

Dennis Schubert

2024-12-27 00:20:02


Excerpt from a message I just posted in a #diaspora team internal forum category. The context here is that I recently get pinged by slowness/load spikes on the diaspora* project web infrastructure (Discourse, Wiki, the project website, ...), and looking at the traffic logs makes me impressively angry.

In the last 60 days, the diaspora* web assets received 11.3 million requests. That equals to 2.19 req/s - which honestly isn't that much. I mean, it's more than your average personal blog, but nothing that my infrastructure shouldn't be able to handle.

However, here's what's grinding my fucking gears. Looking at the top user agent statistics, there are the leaders:

  • 2.78 million requests - or 24.6% of all traffic - is coming from Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot).
  • 1.69 million reuqests - 14.9% - Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
  • 0.49m req - 4.3% - Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
  • 0.25m req - 2.2% - Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36
  • 0.22m req - 2.2% - meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

and the list goes on like this. Summing up the top UA groups, it looks like my server is doing 70% of all its work for these fucking LLM training bots that don't to anything except for crawling the fucking internet over and over again.

Oh, and of course, they don't just crawl a page once and then move on. Oh, no, they come back every 6 hours because lol why not. They also don't give a single flying fuck about robots.txt, because why should they. And the best thing of all: they crawl the stupidest pages possible. Recently, both ChatGPT and Amazon were - at the same time - crawling the entire edit history of the wiki. And I mean that - they indexed every single diff on every page for every change ever made. Frequently with spikes of more than 10req/s. Of course, this made MediaWiki and my database server very unhappy, causing load spikes, and effective downtime/slowness for the human users.

If you try to rate-limit them, they'll just switch to other IPs all the time. If you try to block them by User Agent string, they'll just switch to a non-bot UA string (no, really). This is literally a DDoS on the entire internet.

Just for context, here's how sane bots behave - or, in this case, classic search engine bots:

  • 16.6k requests - 0.14% - Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • 15,9k req - 0.14% - Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

Because those bots realize that there's no point in crawling the same stupid shit over and over again.

I am so tired.


⇧