hadoop大数据平台架构与实践——基础篇(慕课)


1.大数据技术的相关概念

2.Hadoop的架构和运行机制

3. Hadoop的安装和配置

4.Hadoop开发

注意:Hadoop是运行在Linux系统下的。

Hadoop的前世今生:

人们创造数据的越来越多样,从海量的数据中挖掘价值。如何对大数据进行计算?


Hadoop的组成:

包括两个核心组成:

HDFS:分布式文件系统,存储海量的数据。

MapReduce:并行处理框架,实现任务分解和调度。


Hadoop可以用来做什么?

搭建大型数据仓库,数据的存储,处理,分析,统计等业务。


Hadoop的优势:

高扩展,低成本,成熟的生态圈(各类辅助他的小工具)


Hadoop已经成为业界大数据平台的首选。

Hadoop的常见工具:

Hive:可以不要编写复杂的hadoop任务语句,Hive工具可以将你的sql语句转化为hadoop任务,从而降低使用Hadoop门槛。

Hbase:存储结构化的数据的分布式数据,与平常的关系型数据库相比,他放弃了事务的特性,从而追求更高的扩展性。

与HDFS相比,他提供了数据的随机读写和实时访问,实现对表数据的读写功能。

zookeeper:动物管理员,监控hadoop集群里面的状态


Hadoop的版本:1.x版本和2.x版本。






注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
© 2014-2019 ITdaan.com 粤ICP备14056181号  

赞助商广告