标签： robots.txt

网站 robots.txt 怎么写才不误屏蔽 百度抓取不出来的解决办法

很多站长都遇到过这种情况：网站上线一两个月，文章也发了不少，可百度就是没收录，或者用 site 命令一查只有孤零零的首页。折腾半天才发现，问题出在一份小小的 robots.txt 文件上——它把百度蜘蛛挡在了门外。 robo…