回答

收藏

【大数据hadoop】基于centos7搭建haoop与hive(大数据处理hadoop)

知识点 知识点 36 人阅读 | 0 人回复 | 2023-01-19

帖子摘要:一、前言  hadoop是大数据生态中的基础服务也是其他大数据框架的基础运行环境尤其是hdfs是其他大数据框架的基础存储载体因此系统学习和掌握hadoop对学习大数据很有必要  而Hive则是Hado......
/ |1 y. y& }2 `$ n% u
. J6 K% G# [) y/ e2 T8 h& w$ o大家好,欢迎来到Java吧(www.java8.com),交流、学习Java技术、获取Java资源无任何套路,今天说一说:“【大数据hadoop】基于centos7搭建haoop与hive”
2 V7 h( z9 V6 ?! n, k# p1 z4 B
- U" m- g# b, o1 R3 Q. x# t  j+ \
" h6 V% Q- h" j& w$ K$ [6 X
        
4 f9 F4 h/ Y! i& Q                ) ~( R5 r( {8 d) m$ A0 x
                    一、前言
( Z' Y9 ?, \9 n% M, G0 S. C% V. ^/ R. _! D% E& Q* D, }. `
hadoop是大数据生态中的基础服务也是其他大数据框架的基础运行环境尤其是hdfs是其他大数据框架的基础存储载体因此系统学习和掌握hadoop对学习大数据很有必要
0 I+ m/ F; O- }- c! g% s1 O1 R $ n' C- n4 m" G$ l! j* f2 w' c
3 }. w( }4 p& I! e& k
而Hive则是Hadop生态系统中必不可少的一个数据分析工具它可以将存储在HDES中的结构化数据映射为数据库中的一张表并提供了一种SQL方言对其进行查询。这些SQL语句最终会翻译成MapReduce程序执行。Hive的本质就是为了简化用户编写MapReduce程序而生成的一种框架它本身并不会存储和计算数据完全依赖于HDFS和MapReduce所以搭建hive的前提需要安装并启动hadoop服务
4 U/ E- D5 t8 ]; o1 [) W( [
6 W5 J3 c& @* U. }% M% z 8 F) s9 ~2 H  o+ u. y" O
本篇将基于阿里云服务器搭建一个hive的环境由于生产环境下hive的运行需要依赖hadoop的环境所以需要提前搭建好hadoop环境
2 M% q7 V9 B# h5 r  d% ]. M% n
! C/ r8 U! k/ D6 ^) y& W* c / E. F3 H: j. b+ n
二、安装包版本说明
- L. c' f4 P' R" K$ o
) Q' f, u8 O. a本文核心软件包主要包括下面几个请提前根据需需要准备好并上传值指定目录$ W+ l- I( h7 e& ]+ [0 S% V

2 S+ a' _8 f+ S3 R8 g9 [# i
. E3 @8 @, Z- [) v  U
名称
6 y: \3 ^3 _0 j9 i0 L
版本号1 @: ^* [4 J- s
备注9 B7 n. X  F& n- k5 W
jdk( S$ P& Z! s* b
3.1.3$ z/ D' |% K) U$ U
hadoop基础依赖9 _" Z- x; i7 D( |$ U, T
mysql+ Q- b- e# X0 k+ Y% ^+ E  j( W2 P
5.7
: `: A& K# T1 H  d) H) K$ E0 p
存储hive元数据  Q# A2 q; ?+ a$ l
hive
$ M7 C% E' b: M0 F  J
3.1.2) Q3 j7 |! v. ~' L5 t
注意这里的版本要与hadoop的版本进行匹配可以查询相关资料进行版本匹配的确认3 T6 a4 f6 W$ g+ S
hadoop5 P$ i. {6 K; O" h3 _
3.1.37 S1 x5 p. {* c6 @9 x5 }
  

3 `- c4 A: \" W; i
* e4 C+ b. C  j' v- s$ L三、服务器环境 ( @! I: h& o- E# G

3 E; u# u* r: o8 y4 ^5 e4 x
2 q7 {; h9 q. B& |3 d 基于cents7.x版本虚拟机或云服务器推荐4核8G至少2核4G
* _6 o) v$ X, t7 ~
7 n, M3 w; x( T* i# u
接下来将按照表中的安装包顺序依次进行安装配置0 r4 }( ]0 U3 T" _( U$ h
2 I1 r+ Y, [& A0 ^! g8 A

' q  ?. c4 d3 W0 m, H四、配置JDK环境
' S" v1 @0 Z7 S3 q' O3 E$ l# w
- y3 Z2 V. e5 F9 J- f上传安装包到当前目录
" X2 i( K# g: P8 }6 n7 a6 b
376bf286e0f147daaa777b7337dd8c07.png (16.64 KB, 下载次数: 0, 售价: 3 金钱)
分享到:
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则