Hadoop集群与安全作 者: (美)扎伯瑞福斯基(Danil Zburivsky),(美)娜拉燕南(Sudheesh Narayana)著; 刘杰,沈鑫 译出版时间:2014丛编项: 大数据技术丛书内容简介 Hadoop自动化安装和配置的问题在于隐藏了许多Hadoop组件协同工作的重要细节,《大数据技术丛书:Hadoop集群与安全》介绍如何手动安装和配置主要的Hadoop组件,以便高效使用Hadoop平台。通过设置一个完全可运行的集群,可对Hadoop内部的运行机制产生更深入的了解,并且有助于你调试任何可能发生的问题。《大数据技术丛书:Hadoop集群与安全》还介绍了保障基于Hadoop的大数据平台安全的实现方案和最佳实践,覆盖Kerberos安全协议和Hadoop安全机制的设计,并包括在企业内部来确保Hadoop及其生态系统相关组件安全的详细方案。通过阅读《Hadoop集群与安全》,你将了解:·如何手动配置主要的Hadoop组件,以及Hadoop生态系统。·如何在云端使用Hadoop,包括ElasticMapReduce和Whirr的应用。·如何配置Kerberos并建立安全的Hadoop集群。·如何保护Hadoop生态系统中的敏感数据。目录译者序作者简介审校者简介前言第1章 构建Hadoop集群1.1 选择Hadoop集群硬件1.1.1 选择DataNode硬件1.1.2 低存储密度集群1.1.3 高存储密度集群1.1.4 NameNode和JobTracker硬件配置1.1.5 网关和其他辅助服务1.1.6 网络配置1.1.7 Hadoop硬件总结1.2 Hadoop发行版1.2.1 Hadoop版本1.2.2 选择Hadoop发行版1.2.3 Cloudera Hadoop 发行版1.2.4 Hortonworks Hadoop发行版1.2.5 MapR1.3 为Hadoop集群选择操作系统1.4 小结第2章 安装和配置Hadoop2.1 在Hadoop集群中配置操作系统2.1.1 选择和设置文件系统2.1.2 设置Java开发包2.1.3 其他操作系统设定2.1.4 设置CDH存储库2.2 设置NameNode2.2.1 JournalNode节点、ZooKeeper以及故障转移控制器2.2.2Hadoop配置文件2.2.3 NameNode高可用方案配置2.2.4 JobTracker配置2.2.5DataNode配置2.3 小结第3章 配置Hadoop生态系统3.1托管Hadoop生态项目3.2 Sqoop3.2.1安装和配置Sqoop3.2.2 Sqoop导入示例3.2.3 Sqoop导出示例3.3 Hive3.3.1Hive架构3.3.2安装Hive Metastore3.3.3 安装Hive客户端3.3.4 安装Hive Server3.4Impala3.4.1 Impala架构3.4.2 安装Impala state store3.4.3 安装Impala server3.5 小结第4章 Hadoop安全4.1 Hadoop安全概述4.2 Hadoop分布式文件系统安全4.3 MapReduce安全4.4 Hadoop服务级别验证4.5 Hadoop和Kerberos4.5.1 Kerberos概述4.5.2 Hadoop中的Kerberos4.6 小结第5章 监控Hadoop集群5.1 监控策略介绍5.2 Hadoop参数5.2.1 JMX参数5.2.2 使用Nagios监控Hadoop5.2.3 监控Hadoop分布式文件系统5.2.4 NameNode校验5.2.5 JournalNode检查5.2.6 ZooKeeper检查5.3 监控MapReduce5.4 使用Ganglia监控Hadoop5.5 小结第6章 在云端使用Hadoop6.1 Amazon Elastic MapReduce6.1.1 安装EMR命令行接口6.1.2 选择Hadoop版本6.1.3 启动EMR集群6.2 使用Whirr6.3 小结第7章 Hadoop平台安全概述7.1 为什么需要保障Hadoop生态系统的安全7.2 确保Hadoop生态系统安全面临的挑战7.3 关键安全因素7.4 小结第8章 Hadoop安全体系设计8.1 什么是Kerberos8.1.1 Kerberos关键术语8.1.2 Kerberos如何工作8.1.3 Kerberos 的优点8.2 不采用Kerberos的Hadoop默认安全模型8.3 Hadoop Kerberos 安全模型实现8.3.1 用户层次的访问控制8.3.2 服务层次的访问控制8.3.3 用户和服务认证8.3.4 授权令牌8.3.5 作业令牌8.3.6 数据块访问令牌8.4 小结第9章 配置一个安全Hadoop集群9.1 前提条件9.2 设置Kerberos9.3 配置Hadoop使用Kerberos认证9.3.1 在所有Hadoop节点设置Kerberos客户端9.3.2 配置Hadoop服务标识9.4 Hadoop用户设置9.5 安全Hadoop自动部署9.6 小结第10章 Hadoop生态系统安全保障10.1 为Hadoop生态系统组件配置Kerberos10.1.1 Hive安全设置10.1.2 Oozie安全设置10.1.3 Flume安全设置10.1.4 HBase安全设置10.1.5 Sqoop安全设置10.1.6 Pig安全设置10.2 Hadoop生态系统组件安全保障最佳实践10.3 小结第11章 集成Hadoop与企业安全系统11.1 集成EIM系统11.1.1 配置EIM与Hadoop集成11.1.2 集成基于Active Directory的EIM系统与Hadoop生态系统11.2 从企业网络访问安全Hadoop集群11.2.1 HttpFS11.2.2 HUE11.2.3 Knox Gateway Server11.3 小结第12章 Hadoop中敏感数据安全保护12.1 Hadoop中敏感数据及保护方法12.2 小结第13章 安全事件与审计日志13.1 Hadoop集群安全事故和事件监控13.2 Hadoop集群审计日志设置13.3 小结附录 Hadoop安全机制解决方案 上一篇: 智能信息处理导论 下一篇: 数据挖掘原理、算法及应用