网站Robot协议

关于网站“robots文件”常见问题详解，robots文件主要用于指定搜索引擎蜘蛛spider在网站里的抓取范围，用于声明蜘蛛不可以抓取哪些网站资源及可以抓取哪些网站资源，通常以User-agent开始，后面再加上Disallow或者Allow命令行。