题目内容（请给出正确答案）

[单选题]

robots机器人协议禁止百度搜索引擎爬行怎么写（）

A.第一行User-agent: Baiduspider 第二行 Disallow: /

B.第一行User-agent: Googlebot 第二行 Disallow: /

C.第一行User-agent:Baiduspider 第二行 Allow: /

D.第一行User-agent: * 第二行 Disallow: /

答案

A、第一行User-agent: Baiduspider 第二行 Disallow: /

如搜索结果不匹配，请联系老师获取答案

您可能会需要：

重置密码查看订单联系客服

安装赏学吧APP，拍照搜题省时又省心！

更多“robots机器人协议禁止百度搜索引擎爬行怎么写（）”相关的问题

第1题

对于ROBOTS文件作用，哪些描述是正确()

A.防止网站非公开部份的网页被抓取

B.禁止搜索引擎访问某些文件

C.提升网站排名

D.避免收录重复内容

点击查看答案

第2题

robots机器人协议一般是写在哪个文件里的（）

A.wwwroot文件夹

B.robots.txt

C.robots.html

D.robots.asp

点击查看答案

第3题

关于网络爬虫协议文件robots.txt，说法正确的是：Arobots.txt是搜索引擎中访问网站的时候要查看

关于网络爬虫协议文件robots.txt，说法正确的是：

Arobots.txt是搜索引擎中访问网站的时候要查看的第一个文件

Brobots.txt文件告诉蜘蛛程序在服务器上哪些文件不要被收录

Crobots文件不可以用xml格式命名

D一个网站可以放多个不同robots文件

点击查看答案

第4题

下列选项中,关于nofollow的描述错的的是（）

A.nofollow的作用是不让搜索引擎跟踪以及这条链接传递权重

B.nofollow可以让搜索引擎蜘蛛屏蔽掉动态URL路径，效果比robots协议文件好

C.nofollow可以屏蔽一些低质量的链接或页面

D.nofollow属性标签主要用于网站内部一些不重要的页面URL或者网站后台管理员编辑的内容

点击查看答案

第5题

关于网站数据爬取，以下说法错误的是（）

A、网站爬取时，不得爬取国内个人信息，但可以爬取境外公开的个人信息（如邮箱等），也可以对外宣传小满软件中包含海量境外联系人信息

B、网站爬取要避免爬取竞对网站和政府网站，因为不正当竞争和监管的风险较高

C、小满SaaS软件中搜索功能是对客户开放的，因此客户可以爬取软件中海外企业的各项信息

D、网站爬取时，遵守了Robots协议即可，无需关注爬取的内容是否侵犯网站运营者的商业秘密或图片、视频等的著作权

点击查看答案

第6题

一、多选（25分，每题5分） 1. 以下哪几个是人工采集搜索引擎？ A. The Open Directory Project B. Yahoo！ C. Google D. AskJeeves 2. 按内容组织方式，搜索引擎可以分为哪几大类？ A. 关键词搜索引擎 B. 综合性搜索引擎 C. 专业型搜索引擎 D. 目录式搜索引擎 3. 按照信息采集的方式对搜索引擎划分，主要可以分为哪几类？ A. 机器人搜索引擎 B. 学术搜索引擎 C. 综合搜索引擎 D. 人工采集搜索引擎 4. 以下哪几个是学术搜索引擎？ A. 百度学术 B. Google Scholar C. 读秀中文学术搜索 D. CNKI学术搜索 5. 学术搜索引擎的资源主要有哪些来源？ A. 图书馆链接 B. 免费学术资源 C. 开放存取期刊 D. 付费电子资源提供商

点击查看答案

第7题

关于Robots.txt协议的作用，描述正确的是（）

A、使搜索引擎不能访问网站

B、使百度不能访问网站

C、使Google不能访问网站

D、告知搜索引擎网站内有哪些文件不能访问，哪些文件可以访问

点击查看答案

第8题

对于这段代码以下说法正确的是（)。

A.告诉搜索引擎robots文件在这个页面

B.在这个页面调用robots文件