网站更利于个大搜索引擎抓取和收录，增加对搜索引擎的友好度，使得用户在搜索对应关键词时网站能排在前面，增加产品的曝光率和流量

一：网页 TDK 标签

title：当前页面的标题（强调重点即可，每个页面的 title 尽可能不要相同）

description：当前页面的描述（列举几个关键词即可，不要过分堆积）

keywords：当前页面的关键词（高度概括页面内容）

二：语义化标签

根据内容的结构化，选择合适的 HTML5 标签尽量让其语义化，如使用 header、footer、section、aside、article、nav 等语义化标签可以让搜索引擎爬虫更好地解析

三：合理使用标题标签

一个页面最多只能出现一次 h1 标签，h2 标签通常作为二级标题或文章的小标题。其余的 h3 ～ h6 标签如要使用，应当按照顺序层层嵌套下去，不可以断层或反序

<h1>
  <img src="logo.png" alt="jacky" />
  <span>小白的个人博客</span>
</h1>

四：图片的 alt 属性

<img src="dog.jpg" width="300" height="200" alt="哈士奇" />

五：a 标签的 title 属性

<a
  href="https://www.cqhxb.com"
  title="了解更多关于小白的个人博客"
  >了解

六：404页面

404页面首先是用户体验良好，不会莫名报一些其他错误。其次对爬虫也友好，不会因为页面错误而停止抓取，可以返回抓取网站其他页面

七：nofollow 忽略追踪

1：用于 meta 元标签，告诉爬虫该页面上所有链接都无需追踪。

<meta name="robots" content="nofollow" />

2：用于 a 标签，告诉爬虫该页面无需追踪

<a href="https://www.xxxx?login" rel="nofollow">登录/注册</a>

八：建立 robots.txt 文件

User-agent: *
Disallow:/admin/
SiteMap: http://www.cqhxb.com/sitemap.xml

User-agent 表示网页抓取工具的名称

Disallow 表示不应抓取的目录或网页

Allow 应抓取的目录或网页

Sitemap 网站的站点地图的位置

九：建立网站地图 sitemap

sitemap 是一个将网站栏目和连接归类的一个文件，让搜索引擎全面收录站点网页地址，了解站点地址的权重分布以及站点内容更新情况， 提高爬虫的爬去效率。

sitemap 文件包含的网址不可以超过5万个，且文件可得超过10Mb