大数据 : 从基础理论到最佳实践 = Big data

本书侧重于大数据的实践性技术,系统地介绍了主流大数据平台及工具的安装部署、管理维护和应用开发。平台和工具的选择均为当前业界主流的开源产品,因此,对于读者来说,有很强的可操作性。本书涉及的开源技术包括:HDFS、MapReduce、YARN、Zookeeper、HBase、Hive、Sqoop、Storm、Kafka、Flume等。除介绍一般性的背景知识、安装部署、管理维护和应用开发技术外,还特别注重案例实践,重要的技术点以实际工作场景或案例为依托,使读者能快速入门,参考案例动手实践,通过具体深入的实践,体会大数据的技术本质特征,领略大数据技术带来的创新理念,更好地理解和把握信息技术的发展趋势。本书主要内容包括以下几大部分。大数据存储篇:以HDFS为基础,介绍分布式文件系统的原理、安装、fs命令的使用、编程,介绍如何用HDFS实现,并通过HTTP调用。 大数据计算篇:以MapReduce、YARN为基础,介绍分布式计算的原理、部署,以及编程案例。 非关系型数据库篇:以HBase为基础,重点介绍非关系型数据库的优势、原理、部署,以及命令行使用,编程案例,与Sqoop配合使用等。 大数据仓库篇:以Hive、数据仓库等为基础,重点介绍数据的抽取、原理、部署、分析与编程。大数据实时计算篇:以Storm、Kafka为基础,介绍实时计算的架构、组成、使用与开发。本书非常适合从事大数据技术开发与使用的初学者,以及从事大数据技术研发的企事业单位工程师学习和参考,也适合高校计算机相关专业的专科生、本科生和研究生学习使用。 封面 1 扉页 2 内容简介 3 版权页 3 前言 4 目录 6 大数据存储篇 11 第1章 概述 11 第2章 HDFS文件系统 23 第3章 HDFS操作实践 59 大数据计算篇 91 第4章 YARN 91 第5章 MapReduce 119 非关系型数据库篇 147 第6章 使用HBase 147 第7章 HBase编程开发 199 大数据仓库篇 245 第8章 数据仓库概论 245 第9章 Hive 273 大数据实时计算篇 313 第10章 Storm实时系统 313 正文结束 341 参考文献 342 本書定位于企業級大數據平臺的規劃、實施與運維體系建設。系統化地介紹國內外大數據進展和云化服務的演變趨勢,以及實現大數據關鍵技術并配合實踐用例。核心內容包括:HDFS、MapReduce、YARN、Zookeeper、HBase、Hive、Sqoop、ETL、實時處理等。本書采用的均是當前業界主流開源技術,設計的大量案例均來自于一線實踐產品,可有效幫助讀者快速獲得相關經驗。