andystar blog 博客

关于搜索引擎的一些思考：
哪些往往非常希望在短时间内做大的公司（比如3721，中搜）都挂了，因为他们当中很多公司尤其是不少中国公司采用流氓手段进行自己搜索引擎的推广工作，常用的手段是浏览器劫持、恶意捆绑adware/spyware等等，自己认为用户都是傻瓜，其实自己才是傻瓜！反而是那些一开始并不急于做大，而是好好抓住用户需求的公司生存了下来，比如百度

目前已知的一些搜索引擎：
google，百度，雅虎搜索，搜狗搜索，中搜搜索，live search，有道，奇虎，天网

http://www.sowang.com/

http://seo.diffuse.cn/

=========================
From Yahoo Wiki:

搜索引擎的工作原理大致可以分为：

   1. 搜集信息：搜索引擎的信息搜集基本都是自动的。搜索引擎利用称为网络蜘蛛的自动搜索机器人程序来连上每一个网页上的超连结。机器人程序根据网页链到其他中的超链接，就象日常生活中所说的“一传十，十传百……”一样，从少数几个网页开始，连到数据库上所有到其他网页的链接。理论上，若网页上有适当的超连结，机器人便可以遍历绝大部分网页。
   2. 整理信息：搜索引擎整理信息的过程称为“建立索引”。搜索引擎不仅要保存搜集起来的信息，还要将它们按照一定的规则进行编排。这样，搜索引擎根本不用重新翻查它所有保存的信息而迅速找到所要的资料。想象一下，如果信息是不按任何规则地随意堆放在搜索引擎的数据库中，那么它每次找资料都得把整个资料库完全翻查一遍，如此一来再快的计算机系统也没有用。
   3. 接受查询：用户向搜索引擎发出查询，搜索引擎接受查询并向用户返回资料。搜索引擎每时每刻都要接到来自大量用户的几乎是同时发出的查询，它按照每个用户的要求检查自己的索引，在极短时间内找到用户需要的资料，并返回给用户。目前，搜索引擎返回主要是以网页链接的形式提供的，这些通过这些链接，用户便能到达含有自己所需资料的网页。通常搜索引擎会在这些链接下提供一小段来自这些网页的摘要信息以帮助用户判断此网页是否含有自己需要的内容。

搜索引擎的历史：
1990年初当时万维网还未出现，为了查询散布在各个分散的主机中的文件，曾有过Archie、Gopher等搜索工具，随着互联网的迅速发展，基于HTTP访问的web技术的迅速普及，他们就不再能适应用户的需要。在1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy（Tradewave Galaxy）上线，它还支持Gopher和Telnet搜索。同年4月，Yahoo目录诞生，随着访问量和收录链接数的增长，开始支持简单的数据库查询。这就是我们说的早期的目录导航系统，他们的缺点网站收录/更新都是要考人工维护，所以在信息量剧增的条件下，就不是非常受用了。

1994年7月，Lycos推出了基于robot的数据发现技术，并支持搜索结果相关性排序，并且他第一个开始在搜索结果中使用了网页自动摘要。Infoseek也是同时期的一个重要代表，他们是搜索引擎史上一个重要的进步。

1995年，一种新的搜索引擎工具出现了——元搜索引擎，第一个元搜索引擎是华盛顿大学的学生开发的Metacrawler。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。

1995年12月才登场亮相的AltaVista推出了大量的创新功能使它迅速到达当时搜索引擎的顶峰，它第一个支持自然语言搜索的搜索引擎，具备了基于网页内容分析，智能处理的能力，第一个实现高级搜索语法的搜索引擎（如AND、OR、NOT等），同时AltaVista还支持搜索新闻群组，搜索图片等具有划时代意义的功能。同时期还有inktomi、HotBot等搜索引擎。

1997年8月Northernlight 公司正式推出搜索引擎，它第一个支持对搜索结果进行简单的自动分类，也是当时拥有最大数据库的搜索引擎之一。

1998年10月，Google诞生。它是目前最流行的搜索引擎之一，具备很多独特而且优秀的功能，并且在界面等实现了革命性创新。

1999年5月，Fast（Alltheweb）公司发布了自己的搜索引擎AllTheWeb，它的网页搜索可利用ODP自动分类，支持Flash和pdf搜索，支持多语言搜索，还提供新闻搜索、图像搜索、视频、MP3、和FTP搜索，拥有极其强大的高级搜索功能。它曾经是最流行的搜索引擎之一，后在2003年2月被Overture收购。

在中文搜索引擎领域，1996年8月成立的搜狐公司是最早参与作网络信息分类导航的网站，曾一度有“出门找地图，上网找搜狐的”美誉。由于其人工分类提交的局限性，随着网络信息的暴增，逐渐被基于robot自动抓取智能分类的新一代信息技术取代。

台湾中正大学吴升教授所领导的GAIS实验室1998年1月创立了Openfind中文搜索引擎,是最早开发的中文智能搜索引擎，采用GAIS实验室推出多元排序(PolyRankTM)核心技术，截止2002年6月，宣布累计抓取网页35亿，开始进入英文搜索领域。

北大天网是教育网最流行的搜索引擎，它由北大计算机系网络与分布式系统研究室开发，于1997年10月29日正式在CERNET上提供服务, 2000年初成立天网搜索引擎新课题组，由国家973重点基础研究发展规划项目基金资助开发，收录网页约6000万，利用教育网优势，有强大的ftp搜索功能。

百度中文搜索由超链分析专利发明人、前Infoseek资深工程师李彦宏和好友徐勇2000年1月创建,目前支持网页信息检索，图片，Flash，音乐等多媒体信息的检索。并且百度在中文领域第一个开始使用ppc经营模式。

2002年开始很多公司受搜索市场前景和Google神话的吸引，积极进入搜索引擎市场，谋求一席之地。但是不幸的是他们当中很多公司尤其是不少中国公司采用流氓手段进行自己搜索引擎的推广工作，常用的手段是浏览器劫持、恶意捆绑adware/spyware等等，比较恶劣的典型公司是中搜、3721等等。中搜是由慧聪国际主持开发的，自称是搜索领域的后起之秀。目前处于起步阶段，但是采用流氓软件手段推广后，强占了不少用户的搜索引擎选择。2003年年底慧聪搜索改名为中国搜索，推出第三代智能搜索引擎。最近中国搜索主推桌面搜索–网络猪，是臭名昭著的流氓软件之一。

2003年11月，Yahoo全资收购3721公司。2005年8月，阿里巴巴和Yahoo达成战略合作，全资收购雅虎中国，并更名为阿里巴巴雅虎，并将其业务重点全面转向搜索领域。

=============================

From 163.com  Youdao.com ‘s recruit
网易：对于搜索引擎的划分为：

如果你在下列领域中有专长，那么我们将可以提供给你发挥专长的好机会：

 

机器学习和概率统计、Ranking算法。对于学习和Ranking感兴趣的工程师可以参与搜索质量团队的工作，通过分析大量用户搜索的行为，实验各种新的Ranking和文本分析的办法，来提高用户的搜索满意度。

 

中文自然语言处理。对于语言处理感兴趣的工程师可以解决各类有挑战的文本分析的问题，怎样更准确地切分词语和找出短语，怎样抽取出网页中有意义的实体名称等，通过这些保证我们提供最能理解中文的搜索服务。

 

文件系统、存储系统、数据压缩、数据库原理、分布式系统、并行计算、机群通信。对于系统感兴趣的工程师可以参与基础设施组的工作，这里是所有产品的存储空间和运算动力的提供中心，基础设施产品具有巨大的难度和影响力，将棘手的分布式存储、分布式计算、可靠性、失败恢复等问题集中解决，使得上层应用不需要再担心这些问题。

 

操作系统、系统管理、内核/应用性能优化、Profiling。对于操作系统特别是Linux感兴趣的工程师可以参与运维和系统管理方面的工作，用更好的更有效率的办法保证海量服务器的高效工作，部署和改进集中管理上千台服务器的集中管理系统，并保证在机群上运行的应用的可靠和性能优化。

 

实时拍卖和市场设计、经济学、互联网广告。对于产品货币化、经济和广告感兴趣的工程师可以参与广告组的工作，通过激励机制和各种定价策略的设计和工程化的实施，来系统化地提高广告系统的运行水平。同时分析需求，创造性地设计新的广告形式和定价模式，在用户体验和广告客户需求间找到好的结合点。

 

Web应用/Ajax、设计模式、服务器端Java应用。对于Web应用的设计和开发感兴趣的工程师可以参与各个Web产品的开发团队，开发面向千万用户的产品，并不断改进开发过程和方法，编写各种工具，提高代码质量和开发速度。

 

高性能C++服务器端程序开发。我们需要精通C/C++编程的工程师来参与各个核心服务的设计和开发，它们需要在实现复杂的算法、与各个远程和本地服务配合的情况下，完成海量的请求和应答。数据结构、多线程、数据压缩、TCP/IP编程等方面的经验会非常有帮助。

 

产品功能设计、用户需求分析、产品市场化、产品管理。对于产品设计感兴趣的工程师可以加入产品团队，与各产品的开发人员一起，编写开发各个阶段的策划和说明书，收集各阶段测试反馈，并与市场团队一起进行产品的市场推广。

 

Windows GUI应用、Windows底层编程。桌面应用是有道产品线的重要组成部分，对于Windows桌面开发有兴趣的工程师可以参与这些产品的定义和开发，“软件+服务”的模式是我们认为将日渐流行的模式。

 

测试和软件工程、编译器和程序分析。对于测试以及程序理解和分析感兴趣的工程师可以参与各项内部工具的创建和软件质量保证流程的开发和施行，开发的速度和质量是我们追求的根本目标，而自动化工具和软件开发流程则是保证这两点的手段，我们非常渴求在这些方面的专长的工程师和我们一起来推动这方面的工作。

 

数据挖掘和文本挖掘。对于数据挖掘感兴趣的工程师可以参与这方面的各项工作和产品，海量信息的理解和萃取可以产生各种有用的产品，把分散的信息集中，创造新的价值。我们希望推出更多象海量词典这样的融入挖掘技术的产品。

 

计算机安全。对于网络安全、以及客户端安全（病毒、木马）等问题有研究的工程师，我们有多个这方面的项目需要你的加入。

 

用户界面设计和用户体验工程。对UI设计、人机交互、用户体验、Web技术等感兴趣的工程师可以参与UI/UE组的工作，共同设计有道所有产品的用户体验的未来，上千万用户的使用更方便、快捷和赏心悦目。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝