网站robots.txt添加

Home > 问答 > 2018-03 > 网站robots.txt添加

网站robots.txt添加

手动在文件管理中添加了robots.txt,然后内容如下：

User-agent: * Disallow:

<https://www.52coder.net/robots.txt>

请问加的这个robots.txt有没有问题，为什么在下面网站监测的还是有问题？需要等几天？

在如下地址测试：https://ziyuan.baidu.com/robots/index?sitename=http%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DcbTP8vZm9bM7jJdWS8yRf3RtmFtJ3c8wLQxgon-BewaOD-N7DYT19FakF7Y9sb7g

2018-03-27 09:56 from persever2009

Comments

Hepo reply

2018-03-27 09:59:52

@persever2009 输入 https://www.52coder.net
52coder reply

2018-03-27 10:10:10

@Hepo 多谢，学习了，bitcron没有生成sitemap的功能?需不需要添加生成sitemap后放在上面?每次都要自动生成，farbox以前就有吧?