站长不要忽视robots.txt的存在

 更新时间:2016年10月10日 08:43  点击:2004

认识了很多站长,大多数会使用robots.txt文件,只有40%左右的站长不知道robots.txt文件的重要性。当然了,如果你的网站完全没有让搜索引擎教程禁止的内容,可以不用robots.txt文件。

  到底robots.txt是何许人也?

  robots.txt是一个纯文本文件,它就像网站地图一样,给搜索引擎指明道路。。当搜索引擎蜘蛛爬取网站的时候,一般会确实你网站的目录下是否有robots.txt这个文件。如果有的话,会按照文件的内容来爬取该爬的网站内容。如果没有这个文件,蜘蛛就会跟着链接直接爬取。

  下面大家看看淘宝的robots.txt文件:

  

站长不要忽视robots.txt的存在

 

  可以看到,淘宝再一次屏弊了百度蜘蛛的爬取工作,我们再来看看下面这个收录图:

  

站长不要忽视robots.txt的存在

 

  只见二级域名或三级以后的页面了。

  robots.txt究竟有什么好处呢?

  1、可以禁止对私密文件的爬取工作。比如说你的网站后台、数据库教程,管理程序。如果没有配置好robots.txt文件,搜索引擎很有可能会索引那些所谓的“临时文件”。

  2、方便搜索引擎爬取工作。比如说你的网站很大,我看到过一个网站,整个网站有50多G,打开比腾讯还要慢。如果不配置好robots.txt文件,蜘蛛爬取工作就会很费力,另外,太多的蜘蛛访问,甚至会影响你网站的正常访问。

  3、减少带宽。robots.txt可以制止不必要爬取工作,如果你的是图片站或美女站的话,没设置好robots.txt文件,就会浪费大量的带宽了。]

  4、保证网站排名不受影响。这时主要说说网站内容重复性问题,可能这个问题不大,但一旦存在有重复内容,就会受到搜索引擎惩罚了,特别是百度。所以配置好robots.txt很重要!

 大小优化 适合才是最好的

  很多站长往往喜欢最大的广告图片,在选取广告时,常常会选择最大的广告投放,认为这样会有更高的点击率,但是实际情况却并非如此。不同的网站适合的广告位大小也不尽相同,需要根据网站本身的类型来定。

  一般来说,每个页面的广告位大小要在整个版面的二十分之一以内,但是对于有大量内容的页面,则可以根据实际情况进行修改。总而言之,网站广告的大小选择要以不能影响站点的浏览,不能过于突出广告而喧宾夺主为原则。

  内容形式 符合定位是关键

  确定了广告的大小后,接下来就是选择广告的内容形式,目前在各类广告联盟中有很多类型的广告,诸如图文点击类、引导注册类等,在选择广告时首先要以健康和积极向上为原则,并且最好不要投放诸如手机短信注册类型的SP广告。如果因为一时的利益而选择了包含一定欺诈内容的广告,对网站的发展是非常不利的。

  对于不同类型的站点来说,所选择的广告也不尽相同,对于小说、论文类型的站点来说,投放按PV(浏览量)计费的广告较好;而对于文章、新闻等类型的小型文章站来说,点击类别的广告是较好的选择。

  广告数量 并非越多越好

  现在很多个人网站的习惯,就是在页面上放上无数个各种形式的广告,文字、图片、弹窗等等,一些下载类型的网站,甚至还会设置必须点击广告后才能下载。对于这种类型的网站来说,对用户的影响可想而知,很多访客在访问了一次这样的网站之后,就不会再来第二次了。

  对于网站来说,用户的口碑是非常重要的,如果网站放置了太多的广告,只会让浏览者反感,更不可能在用户中口口相传了,这样下来,网站的流量势必会越来越少。

  一个网站上广告的数量一定不能过多,而且不能都是一种形式的广告。如果在一个页面搭配有图片、文字以及动画教程形式的广告,还可以很好地提升网页整体的美感。广告也需要有助于网站的整体搭配,可以与内容很好地融合而不至于显得突兀

1。如果页面可以div重构最好重构一下,这样可以保证打开的速度,让蜘蛛爬行的顺畅,如果实在不能div重构,我推荐如果是table结构,尽量不要多层table嵌套,这点很重要。

  2。就是大家说的内容为王了,一定要坚持每天都手动更新内容。百度都更新内容很看重的,一定要坚持每天更新个几十篇左右的内容,不要太多,也不要太少。而且标题改改,文章开头,结尾改改,做成伪原创。这里注意的是千万别直接复制别人的文章,这样不被百度认可,对于像我这样的语文学的不好的,就要自己研究一下伪原创了!

  3。写软文。软文的作用真的是巨大的。一篇好的软文,被N个站转载,就有N个外部链接阿。这些个链接权重还是可以的。我在快照回档的这段时间天天都要写一篇软文。虽然写的很困难,写的也不好,但是我坚持下来了。

  4。再一个就是多去几大博客发发信息,也就是发些软文,主要是带上自己的链接,引导百度来抓取更新我们的站点,如果是新站这点很重要,我们网站的PR值不好,换高质量的链接不大容易,这不失为一个有效的好方法,多做外部链接。快照回档了,好站是不和你链,坏站又不愿意链。所以做友情链接是行不通的了。只有靠写博客做外部链接了。去申请那些权重很高的博客,我个人选择新浪博客。然后每天COPY网站上的文章,发表在博客上,关键字上加网站的链接。这种方法做 外部链接还是挺有效果的。千万不要用群发软件到处留下链接,这样可能会适得其反。

优化一下自己的站,以前的问题是asp教程页面,另外页面是tabl结构的,而且百度抓取的也不频繁了,开始的时候对于网站建设教程的关键词排名还行,但是到了最近关键词的排名直接排不上了,针对这个问题,新年过后我对页面进行了div+css教程重构,另外进行了静态页面的生成,及关键词的重新优化,在网站改版后的第二天,网站快照一下子更新到了最新,而且主要的几个关键词像 青岛网站建设 青岛flash网站了都一下子优化到了第一页上而且都是前几位,心里那个高兴啊,下面就与大家分享一下自己的经验

本方法大家非常熟悉,我只是再把它拿出来复习一下。本人自己有很多博客,其中一个就是小农夫博客。这个博客建站教程教程时间是去年的11月份,在年底的时候升到了3,因为这个博客是百分百地原创,权重也算是比较高。在我没有用这招之前,每天的流量也就1000IP左右,有时候才七八百。我说这些主要是说明我的这个方法要满足的条件:第一,网站要有一定权重,最好是那种文章一发布,十来分钟就能让百度和GG收录的站。

  第二点:要有敏锐的眼光。大家要经常看谷歌热榜和百度中文搜索风云榜,还有搜狗排行榜。并且要勤。

  就拿这次来说,当我在谷歌热榜上发现兽兽门这个词的时候,我就觉得这必将是这几天的一大热点,于是,我马上在百度搜索相关文章,发现出现的文章并不多,再看新闻类的搜索,也才几小时前发布的。

  这个时候我马上做了以下几件事:用关键字查询工具,分析了几个相关的关键字,第二,以网民的思维分析出了几个关键字。就这样,我确定了兽兽整容前照片,兽兽照片写真,兽兽艳照门视频在线观看下载为标题分别写了三篇原创文章。发布大概五分钟后,百度和GG就收录了我的博客,结果我的网站马上流量就急剧上升,到了第二天我来看统计的时候,PV已经有15000多,而IP则有4000多。

百度不更新网站原因分析

今天我们来看一篇关于 哦,你是不是其它的之一呢,好了下面来看看各位站长总结了来百度不更新网页的原因吧。

一、首页的大flash图片。

  有的网站为了追求时尚,就给网站的首页布置了一个大的flash图片,看着是漂亮了,但是这个图片却不利于收录,因为搜索引擎教程对于图片不敏感,陈中平一般建议是修改图片,最好加上图片描述,使用ALT-代替属性,因为搜索引擎可以抓取到图片描述。

  二、网站很多图片。

  陈中平曾经看到过一个网站,首页从上到下,从左到又,整齐的布满了图片,就算你每天能发布10篇原创文章,你也只能在首页看见数十个文字在更新,如果同时网站又有插件的数字在首页显示,那么在首页几乎就看不到更新的内容,没有好的更新,不但搜索引擎不喜欢,游客也不会喜欢的。

  解决的办法,就是减少图片,多用文字,有的网站因为行业限制,内容更新有困难,那么就添加一个资讯频道,里面添加和网站相关的新闻等内容,满足了用户的需要,用户会认为你的网站很专业,客户体验度就好了,同时也会 搜索引擎的好感。

  三、网站的内容更新不及时

  这个问题不但是新站,有些老网站也存在。我有一次给一个2008年建立的网站做诊断,当去看他网站的时候,发现内容还是2009年11月的。内容2个月都不更新,还期望搜索引擎来更新你的网站,是很不现实的。还有一个问题,就是有的网站,内容也在更新,但是很不均匀,时多时少,这也是不可取的。更新内容,一定是要定时定量,不能忽多忽少,更不能什么内容都添加,要添加高质量的内容,这样才能满足搜索引擎的胃口。

  四、关键词的堆砌

  有个朋友的网站就很有趣,他添加内容的时候,不管是不是合适,就把自己网站的关键词添加进去,我问他为什么这样做,他说是看到别人的网站就是这么做的。这位老兄真是有才,没有去学习别人好的,倒是把坏的方法学习到了。

  做事情都是有度的,关键词添加多了,搜索引擎会反感的。一般标签的关键词是3个左右比较好。内容的关键词密度一般要控制在8%以下。

  五、链接的问题

  要想网站更新的快,就要蜘蛛多来爬行的,我们要用链接去吸引蜘蛛来。我看到过一个网站,一个链接也没有,网站的站长问我,为什么网站没有被搜索引擎收录,我就告诉他,蜘蛛就是想进来,也没有入口啊。

  链接常用的是友情链接,这个问题是有点棘手的。一般新站换友情链接有点困难,因为自己权重不高。这个时候,不能好高骛远,可以添加和自己网站相近的链接,这样的链接一样可以提高自己网站的权重的。换友情链接的时候,要看看对方快照更新的情况,最重要的是,对方网站的链接不能超过40个,超过40个的链接,意义就不大了。

  交换不到好的链接的时候,卢松松老师曾经说过,就去添加好的外链,效果也是有效的。添加外链的方法很多的,例如软文链接,留言链接,签名链接等等,但是不要违反别人的规定去链接,乱加的链接被管理人员删除以后,一点效果也没有了。外链最好去权重高的网站添加,有个朋友做过实验,他在推一把论坛添加的外链,2秒钟以后就可以在bd看到了。

  六、执行力的问题

  说到这个问题的时候,陈中平就想到推一把论坛的一个会员,她网站做的关键词是铸铁平台,有问题就来论坛发帖询问,论坛的朋友也给予了热情回复。她提问的频率很高的,一个问题可以反复提问。当时我感到有点奇怪,为什么会别人给她指点了怎么做,她还要问呢?我就做了观察,发现是执行力的问题,这位朋友是寄托与别人的回答来给她解决问题,殊不知,解决问题是要自己去努力做的。

[!--infotagslink--]

相关文章