前言第1章Hadoop简介11.1什么是Hadoop21.1.1Hadoop概述21.1.2Hadoop的历史21.1.3Hadoop的功能与作用21.1.4Hadoop的优势31.1.5Hadoop应用现状和发展趋势31.2Hadoop项目及其结构31.3Hadoop体系结构61.4Hadoop与分布式开发71.5Hadoop计算模型—MapReduce101.6Hadoop数据管理101.6.1HDFS的数据管理101.6.2HBase的数据管理121.6.3Hive的数据管理131.7Hadoop集群安全策略151.8本章小结17第2章Hadoop的安装与配置192.1在Linux上安装与配置Hadoop202.1.1安装JDK1.6202.1.2配置SSH免密码登录212.1.3安装并运行Hadoop222.2在MacOSX上安装与配置Hadoop242.2.1安装Homebrew242.2.2使用Homebrew安装Hadoop252.2.3配置SSH和使用Hadoop252.3在Windows上安装与配置Hadoop252.3.1安装JDK1.6或更高版本252.3.2安装Cygwin252.3.3配置环境变量262.3.4安装sshd服务262.3.5启动sshd服务262.3.6配置SSH免密码登录262.3.7安装并运行Hadoop262.4安装和配置Hadoop集群272.4.1网络拓扑272.4.2定义集群拓扑272.4.3建立和安装Cluster282.5日志分析及几个小技巧342.6本章小结35第3章MapReduce计算模型363.1为什么要用MapReduce373.2MapReduce计算模型383.2.1MapReduceJob383.2.2Hadoop中的HelloWorld程序383.2.3MapReduce的数据流和控制流463.3MapReduce任务的优化473.4Hadoop流493.4.1Hadoop流的工作原理503.4.2Hadoop流的命令513.4.3两个例子523.5HadoopPipes543.6本章小结56第4章开发MapReduce应用程序574.1系统参数的配置584.2配置开发环境604.3编写MapReduce程序604.3.1Map处理604.3.2Reduce处理614.4本地测试624.5运行MapReduce程序624.5.1打包644.5.2在本地模式下运行644.5.3在集群上运行644.6网络用户界面654.6.1JobTracker页面654.6.2工作页面654.6.3返回结果664.6.4任务页面674.6.5任务细节页面674.7性能调优684.7.1输入采用大文件684.7.2压缩文件684.7.3过滤数据694.7.4修改作业属性714.8MapReduce工作流724.8.1复杂的Map和Reduce函数724.8.2MapReduceJob中全局共享数据744.8.3链接MapReduceJob754.9本章小结77第5章MapReduce应用案例795.1单词计数805.1.1实例描述805.1.2设计思路805.1.3程序代码815.1.4代码解读825.1.5程序执行835.1.6代码结果835.1.7代码数据流845.2数据去重855.2.1实例描述855.2.2设计思路865.2.3程序代码865.3排序875.3.1实例描述875.3.2设计思路885.3.3程序代码895.4单表关联915.4.1实例描述915.4.2设计思路925.4.3程序代码925.5多表关联955.5.1实例描述955.5.2设计思路965.5.3程序代码965.6本章小结98第6章MapReduce工作机制996.1MapReduce作业的执行流程1006.1.1MapReduce任务执行总流程1006.1.2提交作业1016.1.3初始化作业1036.1.4分配任务1046.1.5执行任务1066.1.6更新任务执行进度和状态1076.1.7完成作业1086.2错误处理机制1086.2.1硬件故障1096.2.2任务失败1096.3作业调度机制1106.4Shuffle和排序1116.4.1Map端1116.4.2Reduce端1136.4.3shuffle过程的优化1146.5任务执行1146.5.1推测式执行1146.5.2任务JVM重用1156.5.3跳过坏记录1156.5.4任务执行环境1166.6本章小结117第7章HadoopIO操作1187.1IO操作中的数据检查1197.2数据的压缩1267.2.1Hadoop对压缩工具的选择1267.2.2压缩分割和输入分割1277.2.3在MapReduce程序中使用压缩1277.3数据的IO中序列化操作1287.3.1Writable类1287.3.2实现自己的Hadoop数据类型1377.4针对Mapreduce的文件类1397.4.1SequenceFile类1397.4.2MapFile类1447.4.3ArrayFile、SetFile和BloomMapFile1467.5本章小结148第8章下一代MapReduce：YARN1498.1MapReduceV2设计需求1508.2MapReduceV2主要思想和架构1518.3MapReduceV2设计细节1538.4MapReduceV2优势1568.5本章小结156第9章HDFS详解1579.1Hadoop的文件系统1589.2HDFS简介1609.3HDFS体系结构1619.3.1HDFS的相关概念1619.3.2HDFS的体系结构1629.4HDFS的基本操作1649.4.1HDFS的命令行操作1649.4.2HDFS的Web界面1659.5HDFS常用JavaAPI详解1669.5.1使用HadoopURL读取数据1669.5.2使用FileSystemAPI读取数据1679.5.3创建目录1699.5.4写数据1699.5.5删除数据1719.5.6文件系统查询1719.6HDFS中的读写数据流1759.6.1文件的读取1759.6.2文件的写入1769.6.3一致性模型1789.7HDFS命令详解1799.7.1通过distcp进行并行复制1799.7.2HDFS的平衡1809.7.3使用Hadoop归档文件1809.7.4其他命令1839.8WebHDFS1869.8.1WebHDFS的配置1869.8.2WebHDFS命令1869.9本章小结190第10章Hadoop的管理19110.1HDFS文件结构19210.2Hadoop的状态监视和管理工具19610.2.1审计日志19610.2.2监控日志19610.2.3Metrics19710.2.4Java管理扩展19910.2.5Ganglia20010.2.6Hadoop管理命令20210.3Hadoop集群的维护20610.3.1安全模式20610.3.2Hadoop的备份20710.3.3Hadoop的节点管理20810.3.4系统升级21010.4本章小结212第11章Hive详解21311.1Hive简介21411.1.1Hive的数据存储21411.1.2Hive的元数据存储21611.2Hive的基本操作21611.2.1在集群上安装Hive21611.2.2配置MySQL存储Hive元数据21811.2.3配置Hive22011.3HiveQL详解22111.3.1数据定义（DDL）操作22111.3.2数据操作（DML）23111.3.3SQL操作23311.3.4HiveQL使用实例23511.4Hive网络（WebUI）接口23711.4.1Hive网络接口配置23711.4.2Hive网络接口操作实例23811.5Hive的JDBC接口24111.5.1Eclipse环境配置24111.5.2程序实例24111.6Hive的优化24411.7本章小结246第12章HBase详解24712.1HBase简介24812.2HBase的基本操作24912.2.1HBase的安装24912.2.2运行HBase25312.2.3HBaseShell25512.2.4HBase配置25812.3HBase体系结构26012.3.1HRegion26012.3.2HRegion服务器26112.3.3HBaseMaster服务器26212.3.4ROOT表和META表26212.3.5ZooKeeper26312.4HBase数据模型26312.4.1数据模型26312.4.2概念视图26412.4.3物理视图26412.5HBase与RDBMS26512.6HBase与HDFS26612.7HBase客户端26612.8JavaAPI26712.9HBase编程27312.9.1使用Eclipse开发HBase应用程序27312.9.2HBase编程27512.9.3HBase与MapReduce27812.10模式设计28012.10.1模式设计应遵循的原则28012.10.2学生表28112.10.3事件表28212.11本章小结283第13章Mahout详解28413.1Mahout简介28513.2Mahout的安装和配置28513.3MahoutAPI简介28813.4Mahout中的频繁模式挖掘29013.4.1什么是频繁模式挖掘29013.4.2Mahout中的频繁模式挖掘29013.5Mahout中的聚类和分类29213.5.1什么是聚类和分类292
评论