题目内容
（请给出正确答案）
[单选题]
搜索引擎的网页抓取程序是通过（)来连续抓取网页的。
A.超链接
B.网络蜘蛛
C.短标题
D.人工收录
如搜索结果不匹配，请 联系老师 获取答案
A.网页截图
B.网页索引
C.网页快照
D.网页标记
更多“搜索引擎的网页抓取程序是通过()来连续抓取网页的。”相关的问题
第2题
对网页进行两次抓取，第一次是正常的搜索引擎爬虫抓取，第二次以模拟人工访问页面的方式抓取，如果两次抓取到的内容差异较大，则认为是作弊页面，这属于（)。
A、链接反作弊
B、反内容作弊
C、识别网页重定向
D、识别页面隐藏
第6题
搜索引擎派出的一个能够在网上发现新网页并抓取文件的程序被称为蜘蛛 （spider)或机器人（robo
搜索引擎派出的一个能够在网上发现新网页并抓取文件的程序被称为蜘蛛 (spider)或机器人(robot)。()
第8题
关于Whisker对Apache的扫描，下面说法正确的是：A、通过模式匹配方法，禁止掉具有某些特征的访问
关于Whisker对Apache的扫描，下面说法正确的是：
点击查看答案
A、通过模式匹配方法，禁止掉具有某些特征的访问请求，可以通过 LocationMatch来配置
B、在cgi-bin目录，建立欺骗性脚本，当Whisker扫描到这些脚本时，这些脚本被执行。在这些脚本里通过定义一些功能，比如报警功能，可以发邮 件告知管理员发生了cgi扫描
C、robots.txt文件是帮助google、baidu等搜索引擎抓取网页用的用的， 扫描软件没有利用这种技术
D、以上说法均不正确
第10题
以下关于网络爬虫的描述中，错误的一项是（)。
A.在爬虫开始的时候，需要给爬虫输送一个URL列表，作为爬虫的起始位置
B.爬虫程序会抓取所有网页，以保证搜索正确性
C.根据某种抓取策略爬行新发现的URL，如此重复下去
D.对于商业搜索引擎来说，分布式爬虫是必须采用的技术
