Cloudflare nemrégiben bejelentette, hogy eltávolította a Perplexity nevű crawler-t a hitelesített botok listájáról, és mostantól aktívan blokkolja a Perplexity és a kapcsolódó botok weboldalakhoz való hozzáférését. A döntés hátterében több felhasználói panasz áll, amelyek a Perplexity által használt, a robots.txt protokollt megsértő viselkedésre vonatkoznak. A vizsgálatok során kiderült, hogy a Perplexity agresszív technikákat alkalmazott, például IP-címek forgatását és a robots.txt utasítások figyelmen kívül hagyását, hogy hozzáférjen a weboldalakhoz. A Cloudflare hitelesített botok programja A Cloudflare rendelkezik egy úgynevezett hitelesített botok programmal, amely lehetővé teszi a botok számára, hogy weboldalakat mászhassanak, amennyiben azok betartják a meghatározott irányelveket. A hitelesített botoknak tiszteletben kell tartaniuk a robots.txt protokollt, hogy megőrizzék a kiváltságos státuszukat…