个人随笔
目录
Hadoop集群测试wordcount程序
2019-10-17 23:33:16

在博文最小化CentOS7系统安装完全分布式hadoop-2.8.5中我搭建好了完全分布式集群,现在可以用hadoop自带的程序测试下。

1、在如下目录下新建两个文件

file1.txt

  1. Hello java
  2. Hello world

file2.txt

  1. Hello hadoop
  2. Hello wordcount

2、在HDFS中创建一个input文件夹

  1. hdfs dfs -mkdir /input

3、把刚才两个文件上传到input目录下

  1. hdfs dfs -put ./*.txt /input

4、运行wordcount程序

先进入这个程序所在的目录下:

  1. cd /home/hadoop/hadoop-2.8.5/share/hadoop/mapreduce

然后执行程序

  1. hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/ /output/

注:output文件夹是不存在的,使用上述命令后自动创建的。如果此文件夹存在会报错如下错误:

若是配置不当也可能会报我这篇博文描述的错误:Container killed on request. Exit code is 143

运行正常的截图如下:

查看结果:

  1. hdfs dfs -cat /output/*

结束!

 411

啊!这个可能是世界上最丑的留言输入框功能~


当然,也是最丑的留言列表

有疑问发邮件到 : suibibk@qq.com 侵权立删
Copyright : 个人随笔   备案号 : 粤ICP备18099399号-2