大数据基础编程、实验和案例教程

本书以大数据分析全流程为主线,介绍了数据采集、数据存储与管理、数据处理与分析、数据可视化等环节典型软件的安装、使用和基础编程方法。本书内容涵盖操作系统(Linux和Windows)、开发工具(Eclipse)以及大数据相关技术、软件(Sqoop、Kafka、Flume、Hadoop、HDFS、MapReduce、HBase、Hive、Spark、MySQL、MongoDB、Redis、R、Easel.ly、D3、魔镜、ECharts、Tableau)等。同时,本书还提供了丰富的课程实验和综合案例,以及大量免费的在线教学资源,可以较好地满足高等院校大数据教学实际需求。本书是《大数据技术原理与应用——概念、存储、处理、分析与应用》的“姊妹篇”,可以作为高等院校计算机、信息管理等相关专业的大数据课程辅助教材,用于指导大数据编程实践;也可供相关技术人员参考。 封面 1 扉页 2 内容简介 3 版权页 3 作者介绍 4 前言 6 目录 8 第1章 大数据技术概述 16 1.1 大数据时代 16 1.2 大数据关键技术 17 1.3 大数据软件 18 1.4 内容安排 22 1.5 在线资源 23 1.6 本章小结 27 第2章 Linux系统的安装和使用 28 2.1 Linux系统简介 28 2.2 Linux系统安装 28 2.3 Linux系统及相关软件的基本使用方法 53 2.4 关于本书内容的一些约定 64 2.5 本章小结 65 第3章 Hadoop的安装和使用 66 3.1 Hadoop简介 66 3.2 安装Hadoop前的准备工作 67 3.3 安装Hadoop 70 3.4 本章小结 102 第4章 HDFS操作方法和基础编程 103 4.1 HDFS操作常用Shell命令 103 4.2 利用HDFS的Web管理界面 107 4.3 HDFS编程实践 107 4.4 本章小结 117 第5章 HBase的安装和基础编程 118 5.1 安装HBase 118 5.2 HBase的配置 120 5.3 HBase常用Shell命令 124 5.4 HBase编程实践 128 5.5 本章小结 139 第6章 典型NoSQL数据库的安装和使用 140 6.1 Redis安装和使用 140 6.2 MongoDB的安装和使用 143 6.3 本章小结 154 第7章 MapReduce基础编程 155 7.1 词频统计任务要求 155 7.2 MapReduce程序编写方法 156 7.3 编译打包程序 159 7.4 运行程序 169 7.5 本章小结 171 第8章 数据仓库Hive的安装和使用 172 8.1 Hive的安装 172 8.2 Hive的数据类型 176 8.3 Hive基本操作 177 8.4 Hive应用实例:WordCount 182 8.5 Hive编程的优势 182 8.6 本章小结 183 第9章 Spark的安装和基础编程 184 9.1 基础环境 184 9.2 安装Spark 184 9.3 使用Spark Shell编写代码 186 9.4 编写Spark独立应用程序 189 9.5 本章小结 197 第10章 典型的可视化工具的使用方法 198 10.1 Easel.ly信息图制作方法 198 10.2 D3可视化库的使用方法 201 10.3 可视化工具Tableau使用方法 209 10.4 使用“魔镜”制作图表 217 10.5 使用ECharts制作图表 221 10.6 本章小结 232 第11章 数据采集工具的安装和使用 233 11.1 Flume 233 11.2 Kafka 240 11.3 Sqoop 242 11.4 实例:编写Spark程序使用Kafka数据源 245 11.5 本章小结 254 第12章 大数据课程综合实验案例 256 12.1 案例简介 256 12.2 实验环境搭建 258 12.3 实验步骤概述 259 12.4 本地数据集上传到数据仓库Hive 260 12.5 Hive数据分析 268 12.6 Hive、MySQL、HBase数据互导 275 12.7 利用R进行数据可视化分析 290 12.8 本章小结 298 第13章 实验 299 13.1 实验一:熟悉常用的Linux操作和Hadoop操作 299 13.2 实验二:熟悉常用的HDFS操作 301 13.3 实验三:熟悉常用的HBase操作 303 13.4 实验四:No SQL和关系数据库的操作比较 305 13.5 实验五:Map Reduce初级编程实践 309 正文结束 312 附录A 大数据课程实验答案 313 A.1 实验一:熟悉常用的Linux操作和Hadoop操作 313 A.2 实验二:熟悉常用的HDFS操作 318 A.3 实验三:熟悉常用的HBase操作 338 A.4 实验四:NoSQL和关系数据库的操作比较 346 A.5 实验五:Map Reduce初级编程实践 364 附录B Linux系统中的MySQL安装及常用操作 375 B.1 安装MySQL 375 B.2 MySQL常用操作 378 参考文献 382