大数据离线分析

本书基于开源Hadoop大数据生态圈的主流离线分析工具Hive和Pig,通过技术讲解和案例实战相结合的方式,介绍了海量数据离线分析的技术方法。本书内容主要包括Hive数据库表、基于HiveQL的常规操作、视图、索引和Pig等数据处理分析和基础工具知识,Hive函数、Pig Latin编程、ETL工具Sqoop和工作流引擎Oozie等相关高级技术,以及实际项目案例。本书既可供学习大数据离线分析技术的本科和高职高专学生作为教材,也可供从事数据分析相关工作的技术人员作为参考资料。 封面 1 扉页 2 内容简介 3 版权页 3 丛书编委会 4 前言 6 目录 8 绪论 13 第1章 走进Hive 15 1.1 Hive简介 15 1.2 Hive的安装部署 17 1.3 Hive命令 21 1.4 数据类型和文件格式 26 本章小结 30 习题 30 第2章 HiveQL数据定义 32 2.1 数据库的创建与查询 32 2.2 数据库的修改与删除 33 2.3 创建表 34 2.4 修改表 37 2.5 删除表 38 2.6 分区表 39 2.7 桶表 43 本章小结 44 习题 45 第3章 HiveQL数据操作 46 3.1 数据加载与导出 46 3.2 数据查询 49 3.3 抽样查询 60 本章小结 63 习题 63 第4章 HiveQL视图和索引 64 4.1 视图 64 4.2 索引 66 本章小结 69 习题 69 第5章 Hive的函数 70 5.1 函数简介 70 5.2 用户自定义函数UDF 80 5.3 用户自定义聚合函数UDAF 84 5.4 用户自定义表生成函数UDTF 86 5.5 UDF的标注 87 本章小结 88 习题 89 第6章 认识Pig 90 6.1 初识Pig 90 6.2 安装、运行Pig 92 本章小结 94 习题 94 第7章 Pig基础 96 7.1 命令行工具Grunt 96 7.2 Pig数据类型 100 本章小结 104 习题 104 第8章 Pig Latin编程 105 8.1 Pig Latin介绍 105 8.2 关系操作 107 8.3 用户自定义函数UDF 113 8.4 开发工具 116 本章小结 125 习题 125 第9章 数据ETL工具Sqoop 127 9.1 安装Sqoop 127 9.2 数据导入 129 9.3 数据导出 133 本章小结 135 习题 136 第10章 Hadoop工作流引擎Oozie 137 10.1 Oozie是什么 137 10.2 Oozie的安装 137 10.3 Oozie的编写与运行 143 10.4 Oozie控制台 148 10.5 Oozie的高级特性 151 本章小结 155 习题 155 第11章 离线计算实例 157 11.1 微博历史数据分析 157 11.2 电商销售数据分析 172 本章小结 181 正文结束 181 参考文献 182 本书基于开源Hadoop大数据生态圈的主流离线分析工具Hive和Pig,通过技术讲解和案例实战相结合的方式,介绍了海量数据离线分析的技术方法。全书内容主要包括Hive数据库表、基于HiveQL的常规操作、视图、索引和Pig等数据处理分析和基础工具知识,Hive函数、Pig Latin编程、ETL工具Sqoop和工作流引擎Oozie等相关高级技术,以及实际项目案例 本书内容包括大数据离线分析概述, Hive数据库表, 基于HiveQL的常规操作, 视图, 索引和Pig等数据处理分析等基础工具知识, 还有Hive函数, Pig Latin编程, ETL工具Sqoop和工作流引擎Oozie等相关高级技术