搜索引擎的SPIDER不愿意读取放在cgi-bin目录下的网页，或是URL中包含了符号“?”的字符。其原因就在于，如果在CGI中提供了“无穷”数量的URL，那么SPIDER往往就会因为对这些“无穷”网页的检索而被牢牢套住，陷入死循环。这就是所谓的蜘蛛陷阱(spider traps)。数据库程序对SPIDER亦有可能创建一个与此类似的情形。因而为避开可能的陷阱，Spider对于那些带有符号“?”的URL中的“?”之后的字符一概不予读取。
　　倘若Spider被你的服务器套住，不只是对Spider本身不妙，Spider对你网站页面的重复访问请求也会导致你的服务器系统彻底瘫痪。