2007年06月10日

盲测  [ 分类:科技 Tech ]

flypig-07-06-10.gif

  今天看到一个网站,域名叫做“谷歌百度比比看”。这个东西和前段时间那个百Google度有异曲同工之妙,但差别在于,“比比看”把两个搜索引擎的脸都给遮了起来,只让人说结果,用户并不知道哪个结果来自谷歌,哪个结果来自百度。
  我捣鼓了半天,发现总是谷歌的结果比较好。这并不出乎意料。百度依然更懂中文,因为他们在分词技术上依然领先。只是百度的结果都已经被广告搞得乱七八糟,而且搜索方面的整体技术实力,也无法轻松超过全球的行业领先者。
  这个“谷歌百度比比看”让我想起来最近很受关注的一个词,叫做“盲测”。我在初中的时候,第一次听说这个词。那时候随着DVD在国内的流行,千家万户都装上了5.1环绕声的家庭影院。当时的环绕声标准之争,很像现在中国的搜索引擎之争,行业里说的上话的就只有两个大佬。
  其中一个叫做Dolby Digital,也就是家喻户晓的“杜比环绕立体声”,几乎是所有家庭影院的标准配置。还有一个叫做DTS,声称信号不压缩,效果大大强于前者,但市场状况总是不如人意。为了证明各自的音效好,数不清的“民间”组织带着各自的动机组织了许许多多的盲测。音响的盲测大致如此:把人关进小黑屋,用不同的设备给你放同样的声音片段听,让你说哪个听起来更好。
  但在看过小山似的评测报告之后,你会发现,盲测结果要么受某家机构的影响而有失公正,要么就半斤八两、难分仲伯。就像那句老话说的:“世界上有三种谎言:谎言、操蛋的谎言、统计数据”。最后,两种环绕声的市场份额也没有因为谁的质量更好那么一点点而改变,因为决定销量的除了差别不大的质量高低,还有别的很多因素。
  最近,有机构推出了“中国2007年搜索引擎质量盲测评估报告”。“盲测”的正义声浪又开始从第三方机构席卷而来。这份报告的结果基本可以概括为:除了娱乐方面的关键词,谷歌的结果都比百度好,而且好得很不少。
  这份报告从技术上说,并没有什么经不起推敲的地方。而且吕伯望的“正望咨询”,相对于CNNIC这样官不官、民不民的机构而言,也不存在身份上难以界定的疑点。但问题在于,搜索结果的质量对于两家的市场份额能有多大影响。
  上周采访了百度贴吧的创始人俞军。此人除了因为那份求职简历而被蒙上的传奇色彩,更让我惊讶的是,他在进入百度做搜索产品经理的时候,其实基本不懂搜索的技术细节。他做产品设计的思路,完全是从一个“超级用户”的角度出发。这就是为什么,他会以搜索引擎为起点,做出MP3搜索、贴吧、知道这些带来了惊人访问量的产品。这就是为什么,谷歌的搜索结果即便比百度好得再多,也未必能够因此赢回多少份额。
  谷歌虽然拥有国内最好的一批工程师,但是产品经理的队伍中,却很少能看到类似俞军这样的“超级用户”。谷歌的产品经理虽然都是些拥有很强技术背景的精英,但给人的感觉却是,思考的出发点总是带着过于强烈的程序员色彩,而缺少对于用户行为和市场需求的细致观察。
  当然,在谷歌这样一个并不需要“真正”进入中国互联网市场进行厮杀、接受本土市场淘汰的跨国公司里,产品经理们并不需要像百度MP3那样打法律法规的擦边球。可问题在于,这种宽松的环境也让这些中国的Googler们难以像百度的员工在2000年的攻坚阶段那样,在办公室的沙发上没日没夜地奋斗,以致于拼命榨出脑汁里最后一滴精华,做出一些意料之外的产品创新。
  对于有点摸不着门道的谷歌来说,“现在有很多政策上的限制”,既是一个理由,也是一个借口。做不出能够抢占市场份额的产品,自然可以在现有产品的技术实力上多做文章,这也合情合理。但只怕为一些“伪命题”式的数据而雀跃,却一叶障目,继续朝着现在的思路往下走,离真正的成功越来越远。
  “盲测”和“瞎子摸象”有多大差别? 我知道你不知道我知道你不知道我知道你不知道到底知不知道。

由 flypig 发表于 2007年06月10日 14:04
本文Trackback地址
http://www.flypig.org/mt3/mt-tbtbtb.cgi/1128.
引用 Trackbacks

 

评论 Comments

可耻滴抢沙发
测了俩次都是百度好=_=

由 花花 发表于 2007年06月10日 15:05

同意。


BTW:强人“俞军2000年时的求职简历”

由 sandy 发表于 2007年06月10日 15:16

我去试了下这个盲测
不用猜都知道结果是google.cn更好

但百度的结果差点没把我给气死,都什么啊

我搜索的是"方军"和"思维的乐趣"两个词

方军 发表于 2007年06月10日 15:28

测了十几次都是谷歌结果好

Moses 发表于 2007年06月10日 16:27

我还是能看出来哪个是谷歌哪个是百度

Wishpearl 发表于 2007年06月10日 22:32

你闲得蛋痛啊?

由 韩寒 发表于 2007年06月11日 00:08

有点意思的网站。

书机破 发表于 2007年06月11日 01:15

没去看那个报告,
不知道里边有没有定义什么是搜索结果?
NDCG? precision? recall? user experience? freshness?

并且参与的用户样本是什么样的。。。
IT工作者多些还是学生多些?。。。

zhijun 发表于 2007年06月11日 23:46

www.baidoogle.com 两个搜索引擎一起用

baidoogle.com 发表于 2007年06月11日 23:57
发表评论









记住我的信息?