Op een van mijn sites slokte yahoo slurp zo vreselijk veel data op dat de hostingkosten de pan uit reizen.  Aan gezien dat ik te weinig gebruikers uit Yahoo kreeg nog geen 0,01% heb ik besloten om Yahoo te blokkeren. Echter gaat dit niet doormiddel van Robot.txt . Om het toch simpel op te lossen heb ik het volgende bedacht. 

<? 

  if(eregi(”Yahoo! Slurp”,$_SERVER[’HTTP_USER_AGENT’])) {
exit();
 }

?>

Plaats het script helemaal boven aan de pagina die je wilt blokkeren en Yahoo krijgt een lege pagina te zien. Dit scheelt enorm veel dataverkeer.  Uiterraard kun je dit scriptje ook gebruiken voor andere robots. Je hoeft dan alleen Yahoo slurp te veranderen in een andere robot na keuze. Uiterraad moet je wel dit scriptje boven aanzetten van de pagina !!