Cloudflare blokkolja Perplexityt, miért fontos ez a SEO szempontjából?

Cloudflare nemrégiben bejelentette, hogy eltávolította a Perplexity nevű crawler-t a hitelesített botok listájáról, és mostantól aktívan blokkolja a Perplexity és a kapcsolódó botok weboldalakhoz való hozzáférését. A döntés hátterében több felhasználói panasz áll, amelyek a Perplexity által használt, a robots.txt protokollt megsértő viselkedésre vonatkoznak. A vizsgálatok során kiderült, hogy a Perplexity agresszív technikákat alkalmazott, például IP-címek forgatását és a robots.txt utasítások figyelmen kívül hagyását, hogy hozzáférjen a weboldalakhoz.

A Cloudflare hitelesített botok programja

A Cloudflare rendelkezik egy úgynevezett hitelesített botok programmal, amely lehetővé teszi a botok számára, hogy weboldalakat mászhassanak, amennyiben azok betartják a meghatározott irányelveket. A hitelesített botoknak tiszteletben kell tartaniuk a robots.txt protokollt, hogy megőrizzék a kiváltságos státuszukat a Cloudflare rendszerében. A Perplexity esetében megállapították, hogy megsértette ezeket a követelményeket, mivel nem tartotta be a robots.txt utasításokat és nem használt hivatalosan bejegyzett IP-címeket a crawler működtetéséhez.

A Perplexity rejtett mászási technikái

A Cloudflare különböző, agresszív mászási tevékenységeket figyelt meg, amelyek a robots.txt protokoll megkerülésére irányultak. A Perplexity IP-címek forgatásával próbálta elkerülni a blokkolásokat, váltogatva a különböző ASNs (Autonóm Rendszer Szám) között. Ezen kívül a Perplexity a felhasználói ügynökét (user agent) is átírta, hogy elkerülje a crawler blokkolási kísérleteit. Például a Perplexity botjai a következő felhasználói ügynökökkel voltak azonosíthatók: PerplexityBot és Perplexity-User. Amikor a felhasználói ügynököket blokkolták, a Perplexity egy másik, Chrome böngészőt utánzó ügynököt használt, hogy megtévessze a védelmet.

A Cloudflare válasza a Perplexity magatartására egyértelmű: a cég bejelentette, hogy a Perplexity nem felel meg a hitelesített botokra vonatkozó elvárásoknak, és ennek következtében eltávolították a rendszerből. A Cloudflare nyilatkozatában hangsúlyozta, hogy az internet, ahogy azt az elmúlt három évtizedben ismertük, gyorsan változik, de a bizalom továbbra is alapvető fontosságú. A crawlers-nek átláthatónak, világos célt szolgáló tevékenységet végzőnek és a weboldalak utasításait tiszteletben tartónak kell lenniük.

Mit jelent mindez a SEO szempontjából?

A Cloudflare felhasználóinak, akik szeretnék, hogy a Perplexity crawljai hozzáférjenek a weboldalaikhoz, érdemes ellenőrizniük, hogy a Cloudflare blokkolja-e a Perplexity crawljait. Ha igen, akkor a Cloudflare irányítópultján engedélyezhetik a crawlingot. A Perplexity eltávolítása a hitelesített botok közül egy erős válasz a cég részéről az agresszív bot viselkedésével szemben, amely számos SEO stratégiát érinthet. Fontos, hogy a weboldal üzemeltetők tisztában legyenek a botok viselkedésével, és hogy figyelemmel kísérjék a változásokat a webes környezetben.

Császár Viktor szakértői véleménye

Megkérdeztük Császár Viktor SEO szakértőt, hogy véleményezze a Perplexity és Cloudflare közötti eseményeket. Viktor elmondta: „A Cloudflare döntése a Perplexity eltávolításáról a hitelesített botok közül egy fontos lépés a webes biztonság és a crawler etikett megőrzése érdekében. A botoknak tiszteletben kell tartaniuk a weboldalak tulajdonosainak irányelveit, és nem szabad agresszív taktikákat alkalmazniuk a hozzáférés megszerzésére. Ez a lépés nemcsak a Cloudflare felhasználóinak érdekeit védi, hanem a SEO közösség számára is üzenetet közvetít: az etikus crawler használata nemcsak lehetőség, hanem kötelezettség is.” További információkért látogasson el Császár Viktor weboldalára: Császár Viktor SEO szakértő.

Forrás: SearchEngineJournal.com