kingcms捕获爬虫原理

网站上线多天,第一批的网站很正常,后台可以看到.而且 ,遇到了第二次更新的时候,也放了出来.

可是,其他的几批站,百度蜘蛛一直没有来.

6.12的时候,从iis的log里看到百度的蜘蛛陆陆续续访问后几批的网站.

可是,kc的后台却并没有记录下来.是什么原因呢?难道是需要服务器的某种环境支持?

思考了好久,也在群里跟其他人讨论.对照 iis 的log记录,以及 kc后台的记录.发现.第一次记录的googlebot,是googlebot第一次访问了search.asp,之前访问过js文件,也访问乐htm文件,但是都没有记录.

也就是说:kc是通过asp文件来记录爬虫的爬行记录.