信息谷 - ICITU

标题: 大数据技术介绍：01大数据概述 [打印本页]

作者: vgongye 时间: 2020-8-2 09:41
标题: 大数据技术介绍：01大数据概述
大数据技术介绍：01大数据概述
大数据技术框架：
(, 下载次数: 94)
Hadoop生态系统（1）
(, 下载次数: 105)
Hadoop生态系统（2）
(, 下载次数: 95)
Hadoop构成:Flume（非结构化数据收集）：
Cloudera开源的日志收集系统
用于非结构化数据收集
Flume特点
分布式
高可靠性
高容错性
易于定制与扩展
日志收集工具：flume
(, 下载次数: 95)
Hadoop构成:Sqoop（结构化数据收集）
(, 下载次数: 97)
Sqoop：SQL-to-Hadoop
连接传统关系型数据库和Hadoop 的桥梁
把关系型数据库的数据导入到Hadoop 系统( 如HDFS,HBase 和Hive) 中；
把数据从Hadoop 系统里抽取并导出到关系型数据库里。
利用MapReduce加快数据传输速度
批处理方式进行数据传输
Hadoop构成：HDFS（分布式文件系统）
源自于Google的GFS论文,发表于2003年10月
HDFS是GFS克隆版
HDFS特点:
良好的扩展性。
高容错性。
适合PB级以上海量数据的存储。
基本原理：
将文件切分成等大的数据块，存储到多台机器上
将数据切分、容错、负载均衡等功能透明化
可将HDFS看成一个容量巨大、具有高容错性的磁盘
应用场景：
海量数据的可靠性存储
数据归档
Hadoop构成：YARN（资源管理系统）
YARN是什么
Hadoop 2.0新增系统
负责集群的资源管理和调度
使得多种计算框架可以运行在一个集群中
YARN的特点
良好的扩展性、高可用性
对多种类型的应用程序进行统一管理和调度
自带了多种多用户调度器，适合共享集群环境
如下图：图1，图2
(, 下载次数: 106)
(, 下载次数: 98)
Hadoop构成：MapReduce（分布式计算框架）
源自于Google的MapReduce论文
发表于2004年12月
Hadoop MapReduce是Google MapReduce克隆版
MapReduce特点
良好的扩展性
高容错性
适合PB级以上海量数据的离线处理
(, 下载次数: 92)
Hadoop构成:Hive（基于MR的数据仓库）
由facebook开源，最初用于解决海量结构化的日志数据统计问题；
ETL（Extraction-Transformation-Loading）工具
构建在Hadoop之上的数据仓库；
数据计算使用MR，数据存储使用HDFS
Hive 定义了一种类SQL 查询语言——HQL；
类似SQL，但不完全相同
通常用于进行离线数据处理（采用MapReduce）；
可认为是一个HQL <—>MR的语言翻译器。
日志分析
统计网站一个时间段内的pv、uv
多维度数据分析
大部分互联网公司使用Hive进行日志分析，包括百度、淘宝等
其他场景
海量结构化数据离线分析
低成本进行数据分析（不直接编写MR）
Spark生态系统：
spark主要是面向计算的生态系统，而hadoop则是涉及数据收集、存储、
资源管理和计算等的综合大数据解决方案。
(, 下载次数: 85)
Flink生态系统：
(, 下载次数: 92)
典型企业级大数据架构：
(, 下载次数: 101)
Hadoop发行版介绍（开源版）
Apache Hadoop
推荐使用最新的2.x.x版本，比如2.7.3
下载地址：http://hadoop.apache.org/releases.html
SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/
CDH（Cloudera Distributed Hadoop）
推荐使用最新的CDH5版本，比如CDH5.8.0
下载地址： http://archive.clouder**/cdh5/cdh/
HDP（Hortonworks Data Platform）
推荐使用最新的HDP 2.x版本，比如HDP 2.6版本
下载地址：http://zh.hortonworks.com/hdp/downloads/
Hadoop版本选择
不同发行版兼容性
架构、部署和使用方法一致，不同之处仅在若干内部实现。
建议选择公司发行版，比如CDH或HDP
类比原生linux与Ubuntu/Red Hat关系
更易维护和升级
经过集成测试，不会面临版本兼容问题
Hadoop集群搭建
全人工搭建
自动化安装软件：Cloudera Manager，Ambari
Hadoop发行版CDH:如下图：
(, 下载次数: 96)
Hadoop发行版HDP:如下图
(, 下载次数: 89)
Hadoop全人工模式安装：常见错误
1.防火墙未关闭(所有节点都要关系)
Connection Refused…
2.配置文件抄错
core-site.xml
yarn-site.xml
hdfs-site.xml
以及mapredsite.xml
3.多次格式化HDFS
每次格式化后，均会导致HDFS启动失败，
解决方案：清空HDFS的各个数据目录，然后重启HDFS
格式化HDFS是非常危险的，会导致所有数据丢失！！！
Hadoop运行模式
本地模式：
一个节点，不会启动任何服务
伪分布式模式：
一个节点，所有服务均运行在该节点上
分布式模式：
多于一个节点
自动化安装：Ambari，如下图
(, 下载次数: 86)
自动化安装：Cloudera Manager
Coudera提供的Hadoop管理系统
软件免费，但代码不开源
迄今为止最好用的Hadoop管理系统
Hadoop自动化安装、部署和配置
Hadoop管理（一站式管理各种服务）
Hadoop监控与报警
Hadoop问题诊断
自动化安装：Cloudera Manager(主界面),如下图：
(, 下载次数: 99)
自动化安装：Cloudera Manager(节点管理),如下图：
(, 下载次数: 86)
自动化安装：Cloudera Manager(配置管理),如下图：
(, 下载次数: 85)
自动化安装：Cloudera Manager(搭建集群),如下图：
(, 下载次数: 82)
自动化安装：Cloudera Manager(审计),如下图：
(, 下载次数: 88)
学习大数据技术栈：
Linux虚拟机
Linux教程
http://www.92csz.com/study/linux/
集成开发环境：
Eclipse，intellij IDEA
【项目构建（包管理、编译、发布），maven】
maven教程：
https://yq.aliyun.com/articles/28591
http://www.yiibai.com/maven/
http://wenku.baidu.com/link?url=cceOGhtpf7xHs_KFbI2f_uh0B7uo915pSZhqbO2ymD2ouJ7qhcOZmlc1W9xB6VxHnqu9VPD_M9HloZ_Pt-wuL3uTJ6cfKCxuJm0Z_FSxCm
【Hadoop与Spark版本】
Scala 2.11.X(不能是2.10或2.12)，Java 1.8
Hadoop 2.7.3
http://hadoop.apache.org/releases.html
Hive 2.1.1
http://hive.apache.org/downloads.html
Hbase 1.2.4
http://www.apache.org/dyn/closer.cgi/hbase/
Flume 1.7.0
http://flume.apache.org/download.html
Sqoop1.99.7
http://mirror.cc.columbia.edu/pub/software/apache/sqoop/1.99.7/sqoop-1.99.7-binhadoop200.tar.gz
Presto 0.166
https://prestodb.io/docs/current/installation/deployment.html
Spark 2.1.0
http://spark.apache.org/downloads.html
Kafka 0.9.0
http://kafka.apache.org/downloads
Zookeeper 3.4.9
http://zookeeper.apache.org/releases.html#download
====================================
【End:2019-02-02 10:21】

欢迎光临信息谷 - ICITU (https://icitu.com/)