首页 / 操作系统 / Linux / Nutch、Hadoop、Lucene、Solr 之间 的数据交互

Nutch1.4最近一段在研究Nutch、Solr，Nutch 把数据 存放在 HDFS 上，想探讨一下 Nutch 是怎么把数据存储到HDFS 上，查看源码分析。在看 Nutch 源码时，没有找到一点于 Lucene 关联的内容，Nutch 把所有的，都按自己的重新写了一遍，NutchDocument、NutchField ，都 实现 Hadoop的 Writable 接口。这样就很容易的写到了 HDFS 上。Nutch 可以 用 把数据传输给 Solrbin/nutch solrindex http://127.0.0.1:8983/solr/ crawldb -linkdb crawldb/linkdb crawldb/segments/*这个命令调用的是：org.apache.nutch.indexer.solr.SolrIndexer  在上面会 MapReduce 的配置 及启动。查看Reduce的实现，没有任何的 向Solr 写内容的代码，在初始化Job的时候NutchIndexWriterFactory.addClassToConf（job, SolrWriter.class）; 有一个这样的类，SolrWriter ，在这个里面可以找到相关与Solr交互的代码。而Solr 里，接收请求的是：BinaryUpdateRequestHandler ，会把 Nutch 传进来的 内容 转换成 Lucene 的索引。更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx？tid=13在CentOS 5.8下从源码安装xen-3.4.4.tar.gzBumblebee 3.0在Ubuntu 11.10上NVidia Optimus安装教程相关资讯      Hadoop 

云中巨象——作为一种服务的Hadoop  （05月16日） Hadoop/Spark生态圈里的新气象  （02月17日） 2分钟读懂大数据框架Hadoop和Spark  （12/16/2015 13:38:47）

一篇文看懂Hadoop：风雨十年，未来  （03月11日） Hadoop之父祝贺黄色小象的十岁生日  （01月30日） Spark和Hadoop，孰优孰劣？  （12/01/2015 12:40:40）

本文评论 查看全部评论 （0）

表情： 姓名： 匿名字数 </div> </div> <div class="copyright"> <div id="footbar"> 版权所有©石家庄振强科技有限公司2024 <a href="https://beian.miit.gov.cn" target="_blank">冀ICP备08103738号-5</a> <a href="/storage/sitemap.xml">网站地图</a> </div> </div> <script type="text/javascript" src="//cpro.baidustatic.com/cpro/ui/cm.js"></script> <script> var _mtj = _mtj || []; (function () { var mtj = document.createElement("script"); mtj.src = "https://node12.aizhantj.com:21233/tjjs/?k=p2tceukth5c"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(mtj, s); })(); </script> </body> </html>