计算机
类型
可以朗读
语音朗读
254千字
字数
2018-12-01
发行日期
展开全部
主编推荐语
掌握Hadoop生态圈技术与实际应用案例
内容简介
本书介绍了企业流行的大数据处理技术Hadoop生态圈技术,从实际应用出发,内容包括Hadoop的核心组成HDFS、MapReduce的架构,结合实际案例演示大数据的处理方法,介绍实用的Hadoop生态圈技术YARN(资源调度)、ZooKeeper(资源协调管理)、HBase(分布式数据库)、Oozie(作业调度)的技术架构,结合实际的应用案例介绍了技术的使用场景。
目录
- 扉页
- 版权页
- 目录
- 内容提要
- 序言
- 前言
- 智慧教材使用方法
- 第1章 Hadoop入门
- 任务1 了解大数据现状
- 1.1.1 大数据基本概念和特征
- 1.1.2 大数据带来的机遇和挑战
- 任务2 了解Hadoop基础
- 1.2.1 Hadoop概述
- 1.2.2 Hadoop生态圈
- 1.2.3 Hadoop应用案例
- 任务3 搭建移动通信业务的Hadoop处理平台
- 1.3.1 安装虚拟机
- 1.3.2 安装Linux操作系统
- 1.3.3 搭建移动通信业务的Hadoop处理平台
- 1.3.4 大数据集群管理平台
- 1.3.5 技能实训
- 本章总结
- 本章作业
- 第2章 Hadoop分布式文件系统HDFS
- 任务1 了解HDFS
- 2.1.1 认识HDFS
- 2.1.2 HDFS架构
- 任务2 使用HDFS处理移动通信数据文件
- 2.2.1 使用HDFS shell操作完成移动通信数据的管理
- 2.2.2 使用Java API操作完成移动通信数据的管理
- 2.2.3 技能实训
- 任务3 了解HDFS运行原理
- 2.3.1 HDFS读写流程
- 2.3.2 HDFS副本机制
- 2.3.3 HDFS负载均衡
- 2.3.4 HDFS机架感知
- 任务4 实现移动通信数据的行文件方式存储
- 2.4.1 Hadoop序列化机制
- 2.4.2 文件格式
- 2.4.3 技能实训
- 本章总结
- 本章作业
- 第3章 Hadoop分布式计算框架MapReduce
- 任务1 使用MapReduce完成词频统计功能
- 3.1.1 MapReduce基础
- 3.1.2 MapReduce编程模型
- 3.1.3 MapReduce词频统计编程实例
- 3.1.4 技能实训
- 任务2 按号段统计手机号码
- 3.2.1 MapReduce输入/输出格式
- 3.2.2 Combiner类
- 3.2.3 Partitioner类
- 3.2.4 Shuffle阶段
- 3.2.5 自定义RecordReader
- 3.2.6 技能实训
- 任务3 使用MapReduce编写应用案例
- 3.3.1 使用MapReduce实现join操作
- 3.3.2 使用MapReduce实现排序功能
- 3.3.3 使用MapReduce实现二次排序功能
- 3.3.4 技能实训
- 本章总结
- 本章作业
- 第4章 Hadoop YARN
- 任务1 在YARN集群上运行MapReduce作业
- 4.1.1 YARN的产生背景
- 4.1.2 YARN简介
- 4.1.3 YARN架构设计
- 4.1.4 技能实训
- 任务2 配置YARN容错
- 4.2.1 ResourceManager自动重启
- 4.2.2 ResourceManager高可用
- 本章总结
- 本章作业
- 第5章 ZooKeeper简介及安装
- 任务1 了解ZooKeeper
- 5.1.1 ZooKeeper概念
- 5.1.2 ZooKeeper的作用及优势
- 5.1.3 ZooKeeper架构
- 5.1.4 ZooKeeper的应用案例
- 任务2 搭建ZooKeeper单机环境
- 5.2.1 ZooKeeper下载安装
- 5.2.2 ZooKeeper配置
- 5.2.3 启动ZooKeeper
- 5.2.4 技能实训
- 任务3 实现分布式系统服务器上下线的动态感知
- 5.3.1 ZooKeeper Client命令行操作
- 5.3.2 Java API操作ZooKeeper
- 5.3.3 技能实训
- 本章总结
- 本章作业
- 第6章 HBase基础
- 任务1 了解HBase
- 6.1.1 HBase是什么
- 6.1.2 HBase发展历史
- 6.1.3 HBase使用案例
- 任务2 理解HBase体系架构
- 6.2.1 架构简介
- 6.2.2 HMaster
- 6.2.3 HRegion
- 6.2.4 HRegionServer
- 6.2.5 ZooKeeper
- 任务3 理解HBase数据模型
- 6.3.1 数据模型
- 6.3.2 概念视图
- 6.3.3 物理视图
- 任务4 搭建HBase环境
- 6.4.1 HBase安装包下载
- 6.4.2 HBase解压安装
- 6.4.3 HBase伪分布式环境搭建
- 6.4.4 技能实训
- 本章总结
- 本章作业
- 第7章 HBase操作
- 任务1 使用HBase Shell完成《王者荣耀》游戏玩家信息管理操作
- 7.1.1 DDL操作
- 7.1.2 DML操作
- 7.1.3 技能实训
- 任务2 使用HBase Java API完成《王者荣耀》游戏玩家信息管理操作
- 7.2.1 开发环境搭建
- 7.2.2 核心API
- 7.2.3 技能实训
- 任务3 使用HBase Rest API访问《王者荣耀》游戏玩家信息表
- 7.3.1 启动/停止Rest服务命令
- 7.3.2 访问方式
- 7.3.3 技能实训
- 本章总结
- 本章作业
- 第8章 HBase应用
- 任务1 使用表空间管理《王者荣耀》游戏玩家信息表
- 8.1.1 HBase名字空间简介
- 8.1.2 名字空间操作
- 8.1.3 技能训练
- 任务2 对《王者荣耀》游戏玩家信息表进行权限管理
- 8.2.1 授予权限GRANT
- 8.2.2 查看权限USER_PERMISSION
- 8.2.3 收回权限REVOKE
- 8.2.4 技能实训
- 任务3 理解HRegion切分
- 8.3.1 HRegion切分概念
- 8.3.2 切分策略
- 任务4 了解HBase中的Compaction过程
- 8.4.1 Compaction概念
- 8.4.2 Compaction实现方式
- 8.4.3 Compaction参数
- 本章总结
- 本章作业
- 第9章 工作流调度框架Oozie
- 任务1 理解Apache Oozie架构
- 9.1.1 Oozie简介
- 9.1.2 Oozie架构
- 任务2 搭建Oozie环境
- 9.2.1 Oozie下载安装
- 9.2.2 Oozie配置
- 9.2.3 Oozie启动
- 9.2.4 技能实训
- 任务3 实现游戏玩家搜索功能
- 9.3.1 Shell Action
- 9.3.2 Java Action
- 9.3.3 MapReduce Action
- 9.3.4 实现游戏玩家搜索功能
- 9.3.5 技能实训
- 本章总结
- 本章作业
- 第10章 项目实训——《王者荣耀》游戏英雄排行榜
- 10.1 项目需求
- 10.2 项目环境准备
- 10.3 项目覆盖的技能点
- 10.4 难点分析
- 10.5 项目实现思路
- 本章总结
- 本章作业
展开全部
出版方
人民邮电出版社
人民邮电出版社是工业和信息化部主管的大型专业出版社,成立于1953年10月1日。人民邮电出版社坚持“立足信息产业、面向现代社会、传播科学知识、服务科教兴国”,致力于通信、计算机、电子技术、教材、少儿、经管、摄影、集邮、旅游、心理学等领域的专业图书出版。