WordPress-Bots brauchen eine maßvolle Reaktion, kein pauschales Verbot
WordPress bots sind für Website-Betreiber inzwischen ein alltägliches betriebliches Thema, und Kinsta sagt, dass seine Analyse von mehr als 10 Milliarden Anfragen über ein Jahr hinweg untermauert, warum sie aktiv verwaltet werden müssen. Das Unternehmen ordnet das Problem in einen breiteren Anstieg automatisierten Traffics ein, darunter ein gemeldeter Anstieg des KI-gesteuerten Bot-Traffics um 300 %. Für WordPress-Publisher, Shops und Agenturen ist der praktische Punkt klar: Nicht jede automatisierte Anfrage ist schädlich, aber unverwalteter Bot-Traffic kann dennoch Hosting-Ressourcen verbrauchen, Seiten verlangsamen und echte Besucher stören.
Ein Bot ist Software, die eine Website automatisch besucht, statt dass eine Person durch Seiten klickt. Manche Bots sind nützlich. Such-Crawler helfen Suchmaschinen dabei, Seiten zu finden und zu indexieren, Monitoring-Tools prüfen, ob eine Website funktioniert, und einige KI-Crawler können die Sichtbarkeit oder Zitate in KI-generierten Antworten unterstützen. Andere Bots können Inhalte auslesen, Login-Seiten testen, auf teure dynamische Seiten zugreifen oder große Mengen an Anfragen erzeugen, ohne einen klaren Nutzen zu bieten. Kinstas zentrale Empfehlung lautet nicht, alles zu blockieren, sondern den Traffic zu bewerten, die Website bei Bedarf zu stabilisieren, zu entscheiden, was zugelassen, geprüft oder blockiert werden soll, und das Ergebnis anschließend zu überwachen und zu dokumentieren.
Der erste Schritt besteht darin herauszufinden, ob die Website vor einem normalen Bot-Management-Problem oder einem akuten Vorfall steht. Kinsta empfiehlt zu prüfen, ob Seitenladezeiten langsamer geworden sind, Fehler zugenommen haben, die Nutzung von Server, PHP oder Datenbank gestiegen ist, Traffic-Spitzen nicht zu den Metriken echter Besucher passen oder viele Anfragen auf denselben URLs landen. PHP ist die Programmiersprache, mit der WordPress viele Seiten erstellt, und eine Datenbank ist der Speicher, in dem WordPress Beiträge, Einstellungen, Benutzer und Bestelldaten aufbewahrt. Wenn diese Systeme überlastet werden, konkurrieren legitime Besucher möglicherweise mit automatisiertem Traffic um dieselben Ressourcen.
Kinsta beschreibt seine Bot-Analysen als Aufschlüsselung von Anfragen in Kategorien wie wahrscheinliche Menschen, von Cloudflare verifizierte Bots, wahrscheinliche Bots, KI-Crawler, KI-Crawler mit übermäßiger Rate, nicht klassifizierter Traffic, automatisierter Traffic, bösartiger Traffic, von Kinsta für eine Website konfigurierte benutzerdefinierte Regeln und WP-Automatisierungen. Das Dashboard kann außerdem die wichtigsten Pfade, User Agents, Länder und IPs für verschiedene Traffic-Klassifizierungen anzeigen. Ein User Agent ist die Kennzeichnung, die ein Browser oder Bot sendet, um sich zu identifizieren, und eine IP-Adresse ist die Netzwerkadresse, von der eine Anfrage kommt. Diese Details helfen Website-Betreibern zu erkennen, ob ein bestimmter Crawler nützliche Inhalte abruft, ob ein unbekannter Scraper Tausende URLs crawlt oder ob sich automatisierte Anfragen auf sensible oder ressourcenintensive Seiten konzentrieren.
Wenn echte Besucher bereits betroffen sind, sollten Website-Betreiber laut Kinsta zuerst stabilisieren und danach genauer untersuchen. Das kann bedeuten, den Bot-Schutz vorübergehend zu erhöhen, eindeutig missbräuchlichen Traffic zu blockieren, bevor er die Website erreicht, verdächtigen Traffic mit einer Prüfung zu versehen und den Zugang für kritische Crawler und Integrationen zu erhalten. Eine Prüfung ist ein zusätzlicher Verifizierungsschritt, bevor der Zugriff erlaubt wird. Kinsta sagt, dass mit seinem System ein Besucher, der eine Prüfung erfolgreich besteht, in der Regel mindestens 10 Tage lang nicht erneut geprüft wird, solange er denselben Browser und dieselbe IP-Adresse verwendet. Das Unternehmen sagt, dass seine grundlegenden Sicherheitsmaßnahmen bereits Traffic blockieren, der als bösartig eingestuft wird, während strengere Stufen für automatisierten Traffic genutzt werden können, der nicht zwingend als bösartig eingestuft ist, etwa indem alle nicht verifizierten Bots geprüft werden oder während eines ernsthaften Belastungsereignisses alle Besucher geprüft werden.
Sobald die Website stabil ist, lautet die längerfristige Entscheidung, ob jede Art von automatisiertem Traffic zugelassen, geprüft oder blockiert werden soll. Zulassen bedeutet, dass die Anfrage die Website erreichen kann. Blockieren bedeutet, dass sie es nicht kann. Prüfen liegt zwischen beiden, wenn die richtige Antwort unklar ist. Kinsta schlägt vor, drei Fragen abzuwägen: ob der Bot einen Nutzen bietet, wie viel der Traffic bei Verarbeitung, Bandbreite und Datenbankabfragen kostet, und was passieren würde, wenn der Bot blockiert würde. Ein Bot, der einen zwischengespeicherten Blogbeitrag abruft, verursacht in der Regel weniger Kosten als einer, der eine dynamische Seite wie einen WooCommerce-Warenkorb ansteuert. Cache bedeutet eine gespeicherte Kopie einer Seite, die schneller ausgeliefert werden kann, ohne sie jedes Mal neu aufzubauen.
Diese Unterscheidung ist wichtig, weil WordPress-Websites häufig sowohl kostengünstige als auch kostenintensive Seiten enthalten. Statische oder gecachte Inhalte können Crawler-Traffic oft gut bewältigen. Dynamische Endpunkte, also Seiten oder Funktionen, die für jeden Besucher frisch erzeugt werden, können deutlich teurer sein. Kinsta nennt Beispiele wie Warenkörbe, Checkouts, Suchfunktionen und Logins und weist darauf hin, dass dies in WooCommerce-Shops häufig vorkommt, aber auch andere Arten von Websites betreffen kann. Anfragen an diese Bereiche können den Cache umgehen, PHP-Verarbeitung erfordern, Datenbankabfragen auslösen und dazu führen, dass echte Kunden um Ressourcen konkurrieren. Die maßvolle Reaktion besteht darin, die konkret teuren Endpunkte zu schützen, unnötigen Crawler-Zugriff auf Warenkorb- und Checkout-Funktionen zu verhindern, eine Ausuferung von URL-Parametern und Crawl-Schleifen zu untersuchen und Such-Crawlern weiterhin den Zugriff auf wertvolle Inhalte an anderer Stelle zu ermöglichen.
Suchmaschinen-Crawler erfordern besondere Vorsicht. Wenn ein Crawler hohen Traffic erzeugt, empfiehlt Kinsta zu prüfen, welche URLs er besucht, ob diese URLs nützliche indexierbare Inhalte sind, ob er in Parametern, Filtern oder dynamischen Endpunkten festhängt und ob die tatsächliche Performance wirklich leidet. Indexierbarer Inhalt ist Material, das eine Suchmaschine in ihre Ergebnisse aufnehmen kann. Einen gesamten Such-Crawler zu blockieren, kann schädlich sein, insbesondere wenn dadurch verhindert wird, dass Googlebot Inhalte crawlt und indexiert, denn das kann die Sichtbarkeit in Google Search stark beeinträchtigen. Eine bessere Reaktion besteht darin, den Zugriff auf wichtige Seiten zu erhalten und gleichzeitig das Crawlen unnötiger dynamischer URL-Varianten einzuschränken oder zu entmutigen.
KI-Crawler sind uneindeutiger. Kinsta weist darauf hin, dass sie viele Anfragen erzeugen können, während ihr Wert schwer zu beurteilen sein kann. Website-Betreiber sollten sich fragen, ob KI-Sichtbarkeit oder Zitate für sie wichtig sind, ob ein Crawler sinnvollen Referral-Traffic sendet, ob er hauptsächlich Inhalte ohne offensichtlichen Nutzen sammelt und ob der Traffic erhebliche Infrastrukturressourcen verbraucht. Kinsta betont außerdem, dass nicht alle KI-Crawler gleich behandelt werden müssen. Manche können zu den Zielen einer Website passen, während aggressive Crawler geprüft oder eingeschränkt werden können und solche, die wenig Wert bieten, aber spürbare Kosten verursachen, blockiert werden können.
Unbekannte Scraper verdienen eine Untersuchung statt sofortiger Annahmen. Kinsta sagt, ein nicht identifizierter Bot sei nicht automatisch bösartig, aber wenn er aggressiv crawlt und Ressourcen verbraucht, sollten Betreiber seinen User Agent, seine IPs, Pfade und sein Anfrageverhalten prüfen. Sie sollten auch bestätigen, ob er zu einer Integration gehört, von der die Website tatsächlich abhängt. Bei Unsicherheit kann eine Prüfung das Risiko verringern. Wenn der Traffic eindeutig unerwünscht ist und Probleme verursacht, kann eine Blockierung angemessen sein. Anschließend sollten Betreiber auf defekte Dienste, Identitätswechsel oder veränderte Anfragemuster achten.
Monitoring schließt den Kreislauf.