Py学习  »  问与答

我的源码中冒号报错怎么办?

CN__em • 6 年前 • 1508 次点击  

以下是源码 冒号老是报错 输入的冒号是英文的 还是报错! 哪位大神请教以下! 源码:

# section 1
User-agent:
    BadCrawler
Disallow:
    /

# section 2
User-agent:
    *
Crawl-delay:
    5
Disallow:
    /trap

# section 3

Sitemap: http://example.webscraping.com/sitemp.xml

最后一次修改于 (2017-09-07 13:54)
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/3308
 
1508 次点击  
文章 [ 1 ]  |  最新文章 6 年前
Py站长
Reply   •   1 楼
Py站长    6 年前

参考下这个 https://g.sov5.cn/robots.txt