1.大数据技术的相关概念
2.Hadoop的架构和运行机制
3. Hadoop的安装和配置
4.Hadoop开发
注意:Hadoop是运行在Linux系统下的。
Hadoop的前世今生:
人们创造数据的越来越多样,从海量的数据中挖掘价值。如何对大数据进行计算?
Hadoop的组成:
包括两个核心组成:
HDFS:分布式文件系统,存储海量的数据。
MapReduce:并行处理框架,实现任务分解和调度。
Hadoop可以用来做什么?
搭建大型数据仓库,数据的存储,处理,分析,统计等业务。
Hadoop的优势:
高扩展,低成本,成熟的生态圈(各类辅助他的小工具)
Hadoop已经成为业界大数据平台的首选。
Hadoop的常见工具:
Hive:可以不要编写复杂的hadoop任务语句,Hive工具可以将你的sql语句转化为hadoop任务,从而降低使用Hadoop门槛。
Hbase:存储结构化的数据的分布式数据,与平常的关系型数据库相比,他放弃了事务的特性,从而追求更高的扩展性。
与HDFS相比,他提供了数据的随机读写和实时访问,实现对表数据的读写功能。
zookeeper:动物管理员,监控hadoop集群里面的状态
Hadoop的版本:1.x版本和2.x版本。
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。