网站上线一两个月,客户打电话来问:“为什么百度搜不到我的产品页?”我们打开后台一看,多半是网站地图没做,或者做了没提交,或者提交的文件早就过期了。
sitemap 不是什么高深的东西,但它是搜索引擎认识你网站的第一份目录。这篇就讲清楚它是什么、怎么生成、怎么提交。
网站sitemap是什么
sitemap 中文叫网站地图,本质是一份清单,把网站里希望被搜索引擎收录的页面地址列出来,通常还会附上每个页面的最后更新时间。搜索引擎的爬虫来访时,读这份清单,就知道该去抓哪些页面、哪些页面最近更新过。
它一般放在网站根目录,路径类似 /sitemap.xml。打个比方,网站是一栋楼,爬虫是第一次来的访客,网站地图就是大厅里的楼层索引。没有它,访客也能靠楼梯一层层找,只是慢,而且容易漏掉藏在角落的房间。
XML网站地图和HTML网站地图有什么区别
两种都叫网站地图,用途不一样:
- XML 格式是给搜索引擎看的,用户一般看不到,内容是规范格式的地址列表;
- HTML 格式是给人看的,通常是页脚的一个“网站地图”页面,把栏目和主要文章用链接列出来,方便用户和爬虫顺着点进去。
做搜索收录,重点是 XML 那份。HTML 版可有可无,栏目很多的网站做一个也不错。
小网站需不需要sitemap
很多人觉得网站就十几个页面,没必要做。页面少、导航清楚、内链都通的网站,确实不做也能被收录。但它几乎没有成本,建站系统大多能自动生成,做了只有好处。
下面几种情况,强烈建议做:
- 新站,外部链接少,爬虫不太会主动来;
- 文章、产品多,有些页面藏得深,从首页点三四层才到;
- 内容更新频繁,比如每天发新闻;
- 有多语言版本,需要让搜索引擎分别找到各语言页面。
sitemap怎么生成
建站系统自动生成
现在主流的建站系统和网站框架,基本都支持自动生成网站地图,发布新文章时文件跟着更新。我们给客户做的网站,默认都会开启这个功能,不用人工维护。
页面多了要拆分
按通行的协议规则,单个文件最多放五万个地址,文件也有大小上限。内容多的网站,可以按栏目拆成几个小文件,再用一个索引文件把它们串起来,比如 /sitemap-news.xml、/sitemap-products.xml 分开放。拆开以后,哪个栏目出了问题也更好查。
生成时要剔除的页面
只放你希望被收录、能正常打开的页面。后台登录页、搜索结果页、已经删除的 404 页面、跳转到别处的旧地址、设置了不让收录的页面,都不该出现在清单里。清单里垃圾地址多了,搜索引擎会降低对这份文件的信任。
网站地图提交到搜索引擎的步骤
生成好之后,要主动告诉搜索引擎它在哪:
- 在百度搜索资源平台验证网站所有权,进入资源提交里的普通收录,选择 sitemap 方式,填入网站地图地址;
- 其他搜索引擎的站长平台也有类似入口,验证网站后在对应位置提交即可;
- 在 /robots.txt 文件里加一行 Sitemap 指令,写上网站地图的完整地址,这样没提交过的搜索引擎也能找到。
提交后过几天回平台看状态,正常会显示抓取成功和地址数量。显示失败的,按提示的原因去改。
提交了还是不收录,常见原因有这些
这是被问得最多的问题。先说结论:提交网站地图只是告诉搜索引擎“这里有页面”,收不收录还要看页面本身。
我们排查过的情况,大致分两类。一类是文件本身的问题:打开报错、加载超时、格式不对、地址写错了域名,或者混进了大量打不开的链接。文件比较大时,用在线工具检查有时会误报,最好在服务器上直接请求一下确认状态。
另一类是页面的问题:内容太少或者大量重复、页面打开慢、手机端显示错乱,搜索引擎抓了也不一定收。这时候与其反复提交,不如花时间把页面内容做扎实。
还有一个小细节,最后更新时间别乱写。有的网站每次生成都把所有页面的时间改成当天,看着很勤快,搜索引擎发现内容根本没变,反而不再参考这个字段。
结论
网站sitemap就是给搜索引擎的页面清单,做起来不难:用建站系统自动生成,只放能正常打开、希望被收录的页面,页面多了按栏目拆分,然后提交到各搜索引擎的站长平台,并在 robots.txt 里声明。提交后要回头看抓取状态,收录慢就去查文件和页面本身。蔚岚科技做网站建设时会默认配置好网站地图和基础收录设置,需要帮忙检查可以打 18720919319。
常见问题
sitemap多久更新一次比较好?
跟着内容走。有新页面发布或旧页面删除时更新就行,建站系统自动生成的话不用操心这件事。
提交网站地图后多久能收录?
没有固定时间,新站一般会慢一些。提交只是加快发现,页面质量和网站权重才决定收录快慢。
一个网站可以有多个网站地图吗?
可以。按栏目或语言拆成多个文件,再用一个索引文件汇总,提交索引文件的地址即可。
网站地图里要放图片地址吗?
一般网站不需要单独放。图片多、靠图片获取流量的网站,可以考虑在清单里补充图片信息。
改版换了地址,旧的网站地图怎么办?
新地址生成新清单并重新提交,旧地址做好跳转,不要再出现在网站地图里,避免搜索引擎反复抓取失效页面。