倒排序索引的实现

一、项目倒排序索引的实现二、要求数据源:a.txt,b.txt,c.txta.txthellotomhellojerryhellotomhellojerryhellomikemiketomjerryhellomikehellotomjerryb.txthellomarryhellotomhelloj

Hadoop 之 NameNode 元数据原理

在对NameNode节点进行格式化时,调用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存储当前的元数据。Namenode主要维护两个文件,一个是fsimage,一个是editlog。fsimage:保存了最新的元数据检查点,包含了整个H

Ubuntu使用eclipse运行MapReduce程序

1、安装hadoop-eclipse-plugin插件eclipse运行Mapreduce程序需要一个hadoop-eclipse-plugin-2.7.6.jar插件,可以去资源界面下载。将此插件放到eclipse的安装目录的dropins目录下之后重启eclipse。2、确定Hadoop的安装目

基于Hadoop的Mapreduc的物品的推荐算法

1、余弦相似度【1】相似度:描述事物之间的相似程度。【2】余弦相似度2、基于物品的推荐算法1、用户行为与权重2、算法思想给用户推荐那些和他们之前喜欢的物品相似的物品。3、实例具体代码请去资源界面搜索:基于物品的推荐算法

MapReduce+DistributedCache实现矩阵相乘

MapReduce+DistributedCache实现矩阵相乘1、结果2、矩阵转置这样就可以直接使用左矩阵的行乘以右矩阵的行了。3、思路实现1、准备两个数据文件上传到hdfsmatrix1.txt上传到/user/matrix/step2_input/11_1,2_2,3_-2,4_021_3,2

UbuntuHadoop集群搭建过程

1、实验环境实验环境namnode1:192.168.80.90namnode2:datanode1:192.168.80.91datanode2:192.168.80.92datanode3:操作系统:ubuntu-16.04-x64hadoop版本:apache-hadoop-2.1.1jdk版