Ondanks het feit dat de website Cuil.com  te koop staat voor  4675 dollar.  Blijft de robot cuil.com maar langs komen! Wat doet die robot nou de hele tijd ?  Antwoord is simpel helemaal niets, nou ja helemaal niets. De Robot slokt nog al wat dataverkeer op en dus lopen hierdoor de hosting kosten op. Ip blokken heeft geen zin de robot heeft meerdere ip adressen. Na Robot.txt luistert de robot ook niet. Wat de robot gelukkig wel doet is een

 ’HTTP_USER_AGENT’  achter te laten. Dus daar kunnen we hem dus mee blokkeren. Net zoals je dat met  Yahoo kunt doen.  Je laat hem dus wel toe op de site maar je laat hem niets zien dus kost het geen data. Wel dit script helemaal boven aanzetten anders heeft het nog geen zin.  ’HTTP_USER_AGENT’   voor robot cuil.com is : Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

Nu maar hopen dat net als de site ook de robot wordt opgeheven.  

02-09-2007 aanvulling :

site is cuil.com is offline we blijven het volgen !