@feddit@feddit.org verhindert Anubis auch das (eigentlich erwünschte?) Crawlen durch legitime Suchmaschinen und Archive.org?
Haupteingang
Die Standard-Community von feddit.org
In dieser Community geht es um:
- Vorschläge für Änderungen
- Probleme
- Ankündigungen
Was nicht Zweck dieser Community ist:
- Bewerbung neuer Communies. c/communitypromo existiert hierfür.
Regeln:
- Gelöste Probleme sollen eindeutig mit [GELÖST] oder [SOLVED] im Titel markiert werden.
The standard community of feddit.org
This community is for:
- Suggestions for changes
- Problems
- Announcements
What is not the purpose of this community:
- Promoting new communities. c/communitypromo exists for this purpose.
Rules:
- Solved problems should be clearly marked with [GELÖST] or [SOLVED] in the title.
Anubis kann dahingehend whitelisten welche crawler crawlen dürfen.
Bitte bitte nicht kurz vorher/nachher nach Asien in den Urlaub fahren, I can't do this again...
.de hat hier wohl tiefe Spuren hinterlassen?
ja, sehr tiefe.

Keine Panik 😅
Wie hoch ist der Busfaktor? 😃
Damit sollte die Migration für alle Benutzer, unabhängig von DNS Caches etc. transparent verlaufen.
„Transparent“ in diesem Kontext heißt übrigens, dass man es als Nutzer nicht mitkriegt.
Danke - genau so ist es gemeint 👍
Danke für eure Mühen und Arbeit 🙏
o7
o7
67
Runter von meinem Rasen
Also Laie: hat Anubis irgendwelche Auswirkungen auf meine Nutzung von feddit.org per App?
nein. wenn doch ist das ein konfigurationsfehler und wird schnellstens korrigiert.
Verständnisfrage: was hält die crawler dann davon ab sich als App auszugeben (User Agent oder API Nutzung, was weiß ich)?
Die problematischen Crawler nutzen in der Regel nicht die API, was deutlich Ressourceneffizienter wäre, sondern scrapen nur HTML. Wenn es intelligente Crawler wären mit halbwegs sinnvollen Ratelimits und API nutzung statt nur effektiv DDoS wäre das gar nicht mal so ein Problem.
Ich vermute mal: Nichts.
Ich gehe aber mal davon aus, dass APIs ein weniger interessantes Ziel sind weil man sie ja in Kontext setzen müsste. In APIs kann man ja nicht so schön sehen wie relevent die Information auf der Seite dargestellt würde. Vorausgesetzt natürlich man hat die API überhaupt mal gefunden und korrekt genug angesprochen um einen Endpunkt zu finden. Die Endpunkte verlinken ja in der Regel nicht untereinander.
Zur Not fang ich wieder bei NULL an, nichts ~~was ich nicht gewohnt wäre.~~ vor dem man sich fürchten müsste.
Wieso das?
Es war einmal ein Feddit.de…
Erzähl weiter
Ein Instanz-Betreiber namens Wintermute flog eines Tages auf eine Geschäftsreise nach Asien. Als Vertretung in deutscher Zeitzone gab es einen Ersatz-Admin. Es ergaben sich technische Probleme mit der Lemmy-Instanz. Der Ersatz-Admin sperrte sich seine Accounts irrtümlich. Wintermute ward nie mehr gelesen, geschrieben, vom Erdboden verschwunden. Die Instanz degradierte immer weiter, hilflos sahen die Lemminge dies mit an. Ein kleiner Kern ging auf die Fediverse-Foundationzu, auf dass sie neben ihrer Mastodon-Dienste auch Lemmy betreiben. Die Geburtsstunde von .org. .de degradierte bis zum vollständigen Ausfall. Und irgendwann waren auch die DNS Einträge weg. Die Instanz war weg, ist bis heute unvergessen. Wintermute bleibt verschollen. Seitdem rufen technische Probleme oder Wartungsarbeiten bei altgedienten .de-Veteranen posttraumatische Verlustängste hervor. Und wenn sie nicht gestorben sind, pfostieren sie noch heute.
hilflos sahen die Lemminge dies mit an
Nicht nur die Lemminge, auch der degradierte, ausgesperrte Hilfsadmin 😭
Ich hab mir geschworen NIE WIEDER fail2ban einzusetzen. Und nie wieder meine .ssh/config zu löschen bzw mich von einem System einzuloggen welches diese noch nicht hat.
Letztens wurde mir übrigens gemunkelt dass Wintermute tatsächlich noch lebt, sich aber nicht mehr kümmern kann, weil er ein neues Leben mit anderen Verpflichtungen hat.
Wenigstens das. Das war tbh meine größte Sorge damals.
Ich wollte keine weiteren Namen nennen… 😅 Ich gönne Wintermute sein gesundes und neues, anderes Leben. Der Betrieb von .de ist ihm wahrscheinlich einfach völlig über den Kopf gewachsen. Hauptsache er ist glücklich.
leises Wimmern
Eben. Ich verstehe halt nicht, wie man darauf kommt, sich Sorgen zu machen, wenn die Administratoren klare Rechenschaft darüber abgeben, dass sie sich um den Server kümmern. Sollte das nicht eher beruhigen?
Sag nicht seinen Namen! :(
Man kann ihn sogar noch mit Instanz erwähnen 🧟♂️ @wintermute@feddit.de
Vielleicht können wir ihn damit beschwören, wenn wir nur oft genug seinen Namen sagen.
😨
Ihr wisst vermutlich, dass ihr einfach die TTL des DNS-Eintrags auf 60 Sekunden oder weniger reduzieren könnt und so ein Parallelbetrieb auf zwei IPs nicht nötig ist.
@bjoern_tantau@swg-empire.de : Ja, TTL könnten wir heruntersetzen. Es geht aber eher darum, sicherzustellen, dass Clients, die TTL ignorieren (Browser...) oder fehlerhafte DNS Implementierungen haben (WiFi Router...) genügend Zeit bekommen, um die Änderung ebenfalls rechtzeitig anzuwenden. Sozusagen eine Sicherheitsmaßnahme, damit die UX nicht leidet ;)
Alle Userdaten bleiben erhalten, ja?
natürlich