百度取消referer关键词显示的技术细节分析

这段时间,关于百度全面取消referer关键词显示的消息在SEO圈子里热了起来,各大优化论坛都予以报道, 对SEO的影响这里不在阐述,本文重点分析百度取消referer关键词显示的原理和相关技术细节。

要明白这个问题,首先要明白一个概念,referer是由客户端的浏览器发送到服务器上,且在客户端可以通过document.referrer来获取,也就是说referer的发送实际上是一个浏览器行为,发送与否的决定权是在浏览器手里。虽然这样说,但是HTTP协议对什么情况下,浏览器该发送,什么情况下不该发送有着严格的规定1

http referer

下面几种情况下,可以控制浏览器是否发送referer:
1,当网站使用refresh字段进行跳转的时候,大多数浏览器不发送referer;
2,从用户从一个HTTPS的网站点击链接到另一个HTTP的网站时,不发送referer;
3,html5中,a标签的rel = “noreferrer”, 可以让浏览器不发送referer;
4,使用Data URI scheme链接的,浏览器也不发送referer;
5,使用Content Security Policy, 也可以让浏览器不发送referer;
6,在html头部中使用meta标签来控制不让浏览器发送referer;
…阅读更多>>

Googlebot: 您的网站已被分配了特殊的抓取率设置

最近在用Google管理员工具查看网站的时候,发现在谷歌管理员工具的“抓取速度”这一项中,有一些网站变成了“您的网站已被分配了特殊的抓取率设置。您将无法更改抓取率。”,查阅了相关的中文资料,发现没有关于这方面的解释。

对比了一下有这个显示和不这样显示的网站,发现了一个规律,凡是采用CDN加速的网站,抓取速度都不能改变,也就是说,有可能这个是Google专门针对CDN加速的网站采取的一项抓取速率控制措施。

…阅读更多>>

利用百度翻译API+火车头进行采集伪原创的想法

新年过来,工作依然面临较大的挑战,作为一个Seoer来说,伪原创永远是最令人头疼的问题,特别是针对外语的优化,对于一个程序猿来说,简直就是折磨。懒则生变,很久之前就想到了用Google翻译把中文翻译成英语发布到网站,但是一来手工操作实在是太慢,二来利用google翻译效果不明显,所以就没有实行下去。

今年过来感觉自己技术功底应该能够达到编写自动化工具的要求,所以就利用第三方的翻译API制作了一个网站系统,系统采用PHP,MVC模式开发,为了节省发开时间,没有采用数据库,网站数据以网页形式存放,整个系统的结构如下:

系统结构

系统结构

index.php作为全站的请求入口文件,需要服务器指定类似wordpress那样的伪静态(把服务器上不存在的请求都指向index.php)。
在这期间需要到的最大问题是,外部的API对翻译内容的长度有限制,如果是整篇翻译的话,很容易因为要求翻译的内容太长而导致出错,所以说对需要翻译的内容进行分词或者分段就比较重要,实验和测试了很长时间,找不到一个比较理想的解决方案,最终是用p标签对内容进行截取之后多次翻译然后合并到一块。
另外一个问题就是,有时候会有一些内容不需要翻译,如一些中文名称的图片,视频地址。这个系统中缺少这样的功能。下面博主把源码公布出来,欢迎进行改进。
百度翻译API+火车头进行采集工具

为什么Google分析统计到的搜索关键词越来越少了?

做谷歌优化的人可能注意到了,从2013年9月左右,从Google搜索来源的关键词出现很多Not provided(未提供),几乎是在一夜之间,在网站流量没有大变化的情况下,搜索关键词却大量不能被统计到,无论是用Google分析或者其它统计工具。是什么原因导致这个问题呢?细心的SEOer可能发现,Google很多国家的搜索引擎地址都由原来的HTTP转向了HTTPS, 本人去年的一则微博也提到了这个问题。

大致原因我们已经知晓了:是因为Google搜索升级为加密显示了,那么为什么谷歌一升级,包括Google分析在内的统计工具都统计不到搜索关键词了呢?这里就不得不说一下这些流量统计工具统计关键词的工作原理,我的之前的一篇博客中也有提到,这里主要来讲如何获取来源关键词。

…阅读更多>>

用Minify合并css和Javascript文件以减少HTTP请求

在web前端的优化中,一个网站的打开速度仍然是衡量网站质量的重要指标之一,而网页本身的HTML文件一般都是比较小的,所以影响网页的加载速度的最关键的一般都是资源的加载速度。一个网页中的请求太多,一般情况下会严重影响打开速度。为了提高网站速度和用户体验,我们不得不减少请求数量,一方面,一些先进的技术不断的应用到实际中,如利用css sprite技术合并网页背景图片来减少请求,另一方面随着网站体积和规模的不断扩大,我们不得不把一些东西分开,以便扩展和管理。

一个大型的网站,不论是css或者Javascript等其它文件,不可能只有一个,但是从提高前端的体验来说,我们希望请求越少越好。当矛盾出现的时候,一些新技术就应运而生,Minfy就是其中优秀的代表.
…阅读更多>>