2022年04月18日
第一种、robots.txt要领 搜刮 引擎默许的遵照 robots.txt协定 ，创立 robots.txt文原文献搁至网站根目次 高，编纂 代码以下:User-agent: *Disallow: /经由过程 以上代码，便可告知 搜刮 引擎没有要抓与接纳 支录原网站，注重慎用如上代码：那将制止 任何搜刮 引擎拜访 网站的所有部门 。若何 只制止 baidu搜刮 引擎支录抓与网页一、编纂 robots.txt文献，设计标志 为:User-agent: BaiduspiderDisal