Nutch
NutchNutch 是一个刚刚诞生开放源代码(open-source)的web搜索引擎. 尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然不利于广大Internet用户.
Nutch为我们提供了这样一个不同的选择. 相对于那些商用的搜索引擎, Nutch作为开放源代码搜索引擎将会更加透明, 从而更值得大家信赖. 现在所有主要的搜索引擎都采用私有的排序算法, 而不会解释为什么一个网页会排在一个特定的位置. 除此之外, 有的搜索引擎依照网站所付的费用, 而不是根据它们本身的价值进行排序. 与它们不同, Nucth没有什么需要隐瞒, 也没有动机去扭曲搜索的结果. Nutch将尽自己最大的努力为用户提供最好的搜索结果.
Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎. 为了完成这一宏伟的目标, Nutch必须能够做到:
* 每个月取几十亿网页
* 为这些网页维护一个索引
* 对索引文件进行每秒上千次的搜索
* 提供高质量的搜索结果
* 以最小的成本运作
Homepage: http://lucene.apache.org/nutch/
Nutch 初体验之二
前几天介绍了 Nutch 的基本信息 以及 如何使用 Nutch 进行 Intranet crawling。下面进行一下全网的爬行(Whole-web Crawling) 的操作测试。 Nutch 的数据包括两种类型: Web 数据库。包含所有Nutch可以辨别的页面，以及这些页面间的链接信息。 段(segment)集合. 每个 segment 是作为一个单元(unit)被获取并索引的页面集合。Segment 数据包括如下类...
试用nutch
今天看站点的log，发现有几个搜索nutch的反向链接过来。其实我只是在java编码规范一文提了一下这个词，这样的结果肯定让前来的朋友倍感失望。 下面将我对nutch的一些试用公布一下，供有兴趣的朋友参阅。需要说明的是，nutch现在没有稳定的release，还在不断地根据反馈进行修改，而且目前还不支持汉语的检索。总而言之，现在这个版本对中国用户而言还不实用...
Doug Cutting 访谈录 -- 关于搜索引擎的开发
作为Lucene和Nutch两 大Apach Open Source Project的始创人(其实还有Lucy, Lucene4C 和Hadoop等相关子项目)，Doug Cutting 一直为搜索引擎的开发人员所关注。他终于在为Yahoo以Contractor的身份工作4年后，于今年正式以Employee的身份加入Yahoo 下面是笔者在工作之余,翻译其一篇2年前的访谈录，原文(Doug Cutting Interview)在网上Google一下就容易找到。希...