博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[raspberry pi3] hadoop 编译搭建和配置
阅读量:6232 次
发布时间:2019-06-21

本文共 3014 字,大约阅读时间需要 10 分钟。

Causion:

只有一个raspberry pi3的就随便玩玩吧,瓶颈不在在cpu, 1 G的内存实在是太少了,跑个hadoop就很辛苦了

 

下面是瞎折腾的过程:

oracle的arm jdk的安装过程这边就直接略过了

 

1. 下载hadoop的源代码,

因为raspberry 虽然是 64bit的cpu但是实际上跑的是32 位系统, 没有能够直接使用的二进制,这边下载和编译下源代码, 以便提高下运行的效率,减少下需要的内存的量。

这边下载的版本是2.7.2, 下载完成之后解压

 

2. 安装下必要的软件,可以参照源代码目录下的BUILDING.txt

* Maven  $ sudo apt-get -y install maven* Native libraries  $ sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev* ProtocolBuffer 2.5.0 (required)  $ sudo apt-get -y install libprotobuf-dev protobuf-compilerOptional packages:* Snappy compression  $ sudo apt-get install snappy libsnappy-dev* Bzip2  $ sudo apt-get install bzip2 libbz2-dev* Jansson (C Library for JSON)  $ sudo apt-get install libjansson-dev* Linux FUSE  $ sudo apt-get install fuse libfuse-dev

 

3. 安装hadoop的maven插件

cd hadoop-maven-plugins/mvn install

 

4. 由于系统上使用的protobug的版本是2.6+所以这边需要修改下默认需要的protobuf的版本

不然会报如下的错误:

[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.7.2:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is 'libprotoc 2.6.1', expected version is '2.5.0' -> [Help 1]

修改文件:

hadoop-project/pom.xml

修改版本为

2.6.1

 

5. 打下arm hard-float的补丁, 不然编译native的code的时候会有soft float的编译问题

错误如下:

[exec] Soft-float JVM detected     [exec] -- Looking for exit     [exec] -- Looking for exit - not found     [exec] -- Configuring incomplete, errors occurred!     [exec] See also "/mnt/TimeMachine/hadoop/hadoop-2.7.2-src/hCMake Error at JNIFlags.cmake:59 (message):     [exec]   Soft-float dev libraries required (e.g.  'apt-get install libc6-dev-armel'     [exec]   on Deadoop-common-project/hadoop-common/target/native/CMakeFiles/CMakeOutput.log".     [exec] See also "/mnt/TimeMachine/hadoop/hadoop-2.7.2-srcbian/Ubuntu)

通过下面的命令打补丁

cd hadoop-common-project/hadoop-common/srcwget https://issues.apache.org/jira/secure/attachment/12570212/HADOOP-9320.patchpatch < HADOOP-9320.patch

 

6. 编译下源代码

mvn compile -Pnative

 

7.  编译ok后,打包, 不做其中的测试环节,内存少,玩不起

mvn  package -Pnative -Dtar -DskipTests

打包出来的包会被放在下面的位置,拷出来解压, 配置下就能够使用了

 

8. 接下来就是配置和启动环节了

check下native lib是不是都好了

bin/hadoop org.apache.hadoop.util.NativeLibraryChecker16/08/14 10:30:00 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native16/08/14 10:30:00 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib libraryNative library checking:hadoop:  true /mnt/TimeMachine/hadoop/hadoop-2.7.2/lib/native/libhadoop.so.1.0.0zlib:    true /lib/arm-linux-gnueabihf/libz.so.1snappy:  true /usr/lib/libsnappy.so.1lz4:     true revision:99bzip2:   true /lib/arm-linux-gnueabihf/libbz2.so.1openssl: true /usr/lib/arm-linux-gnueabihf/libcrypto.so

该有的native library 都有了

我也只有一台,所以也只能配个伪集群了, namenode和datanode都配在同一台pi上,接下来的运行和配置步骤都直接参照官网上说明的进行就可以了

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

 

posted on
2016-08-14 16:21 阅读(
...) 评论(
...)

转载于:https://www.cnblogs.com/zelos/p/5769067.html

你可能感兴趣的文章
昆山立讯电子工程师_中国内地首家iPhone代工厂诞生!立讯精密欲成富士康第二?...
查看>>
华为手机主界面的返回键怎么调出来_最全的华为手机摄影教程~最全的手机相机使用方法详解...
查看>>
codeforce能用万能头文件吗_知乎热议 | 嵌入式开发中C++好用吗?
查看>>
unity抠人像原理_不会抠图?保姆级抠图教程!手把手教你抠图(一)
查看>>
手机数字雨_你的手机真的防水吗?卢伟冰强行科普P2i,IP68防水防尘真有用?...
查看>>
tps协议和onvif协议_安全研究人员警告WS-Discovery协议被被用于大规模DDoS攻击
查看>>
扫地机器人半湿拖布_米家扫拖机器人评测:能扫能拖,一次性搞定
查看>>
量纲对回归结果的影响_周度专题 | 纯碱现货价格影响因素的统计分析(上)
查看>>
tensorflow模型保存后继续训练_Tensorflow笔记:模型保存、加载和Fine-tune
查看>>
估计一些物品的质量_大部分物流运输管理中心都会派送的物品里应用了rfid
查看>>
分数的大小比较优秀教案_20分钟如何写好教师资格证面试教案?
查看>>
纵向取模需要自己倒叙吗_婚后的女人需要努力吗?看完这四点,每个人都会有自己的答案...
查看>>
导入公用方法_销售明细导入开票模块的产品思考
查看>>
主从切换_SpringBoot 多数据源配置+动态数据源切换+多数据源事物配置实现主从数据库存储分离...
查看>>
变形 圆形_「Photoshop教程」使用变形工具和扭曲滤镜实现极坐标照片效果
查看>>
如何使用 mega unity_MEGA构建系统发育树,以及EvolView &amp; iTOL 的入门心得.
查看>>
华三交换机mode是什么意思_弱电工程师忘记了交换机和路由器的密码后如何处理?...
查看>>
2019 coling 论文列表_COLING2020-事件抽取/关系抽取/NER/少(零)样本 论文分类整理
查看>>
培养逻辑思维的app_数学逻辑思维app哪个好
查看>>
word加载外接程序出错_COM加载项的常见异常
查看>>