包含 PDF、书籍甚至影片等可下载文件的网站应考虑选取包含文件的选项。
至于连结数量,建议将其设为 1000,因为该值可最大化每个档案索引的连结数量之间的平衡。
第 7 步:使用排除的元素
如果您想从网站地图中排除网站的任何 已有手机号码大全列表 部分,这是执行此操作的理想时机。
在排除的元素部分中,您可以确定从不想索引的类别到特定贴文的所有内容。
配置网站地图时确定要从网站地图中排除的元素
如果您有与用户不相关的内容并且没有关键字,但出于任何原因需要将其保留在您的网站上,那么这是理想的选择。一个明显的例子是内部新闻类别,它只对团队成员感兴趣。
注意:嵌套的文章不会自动排除!
这意味着,如果您在此栏位中从网站地图中排除文章,则附加到该文章的文章仍将包含在网站地图中。
假设您有一个ID 为 100的页面(「产品」)和两个 ID 为 101 和 102 的子页面(「产品 1」和「产品 2」)。如果您在排除栏位中仅指定 100,则仅排除「产品」页面。
若要同时排除子页面,您必须编写 100, 101, 102。
第 8 步:更新更改频率
在「更改频率」部分中,您可以选择您希望爬虫造访您网站的频率。