Hive小结

首先需要搭建Hadoop，为了Hive能够使用HDFS，过程省略

Hive的搭建过程

1

$ tar -zxvf hive-x.y.z.tar.gz

设置环境变量：

1
2

export HIVE_HOME=/to/the/hive/path
export PATH=$HIVE_HOME/bin:$PATH

Hive配置：

• hive-default.xml使用默认模板即可
• hive-env.sh使用默认模板，其中修改一下HADOOP_HOME的目录
• hive-log4j2.properties使用默认模板即可
• 重点配置hive-site.xml（注释很详细，不再赘述）

Raft

1. 基本介绍

• Raft算法解决Log Duplicate问题。
• Raft选举使用随机时间等待来防止进入多候选人选票瓜分的情况。
• Raft只有过半原则决策保持了与Paxos一致，过半原则在日志复制和Leader宕机后，根据entry是否被提交，起到相当关键的作用。在Leader宕机之后的选举中，entry是否被提交，对新Leader的产生起到了关键性的影响。
• Raft算法对Leader宕机或连续宕机时的安全性（正确性）、集群成员变化时的过渡机制、日志快照，进行了特别的算法解释。

2. 具体的解释

• Election 正确性的保证？时间要求

1

广播时间（broadcastTime） << 选举超时时间（electionTimeout） << 平均故障间隔时间（MTBF）

（一）散点：

• 三态：成功、失败、超时。
• ACID/CAP/BASE
• Lamppost论文：
  • The Part-Time Parliament
  • Time, Clocks, and the Ordering of Events in a Distributed System

（二）Chubby：

• 编号：实例编号、文件内容编号、锁编号、ACL编号。
• Chubby的Paxos实现：
  • 最底层容错日志系统
  • 日志层之上是Key-Value类型的容错数据库
  • 存储层之上是Chubby对外提供的分布式LockService和小文件存储服务
• 优化：
  • Prepare—>Promise—>Propose—>Accept过程中选举得到Master后转态为Propose—>Accept。失去Master再转换为PPPA。

Issue1: 代码中spark报序列化问题。

原因: spark是需要通过master分发计算的，序列化问题是因为代码中还有不能序列化的变量或函数。
解决方案: 变量需要能够序列化，像pool等不可序列化的对象，可建立类去专门包装，实现Serializable接口，在分发后分别worker运行任务时再完成构造对象。尽量少使用transient等关键字。

Issue2: 代码运行时，提交spark://master:7077，报类找不到类的问题。

原因: spark是需要通过master分发计算的,如果是spark-submit提交任务，只要jar包代码序列化正确则没什么问题，但IDE执行，需要sparkContext启动前调用setJar()设置任务jar包。
解决方案: 程序测试用，可以把mvn生成的jar设置到程序中运行。一般都会使用spark-submit去提交任务。

Spark环境搭建文档（可不依赖hadoop，1.6.2版本Spark）:

Spark环境依赖于Java和Scala。其中Java安装不再赘述，需要JRE 1.7+。

Scala下载：

Spark需要scala环境，http://www.scala-lang.org/download/2.10.6.html
选择2.10.6版本安装。Spark 1.6.2需要Scala 2.10版本的支持，不兼容2.11+。
解压下载包到指定路径:

1

$ tar -zxvf scala-2.10.6.tgz /to/the/scala_path