ZooKeeper介绍、安装与使用教程

一、ZooKeeper简介

ZooKeeper 是一种分布式协调服务，主要为分布式应用提供一致性管理。它通常用于处理分布式系统中的数据同步、配置管理、命名服务以及分布式锁。通过使用 ZooKeeper，开发者可以将复杂的分布式系统逻辑抽象出来，从而简化开发难度。

ZooKeeper 具有以下特点：

• 高可用性：通过多节点部署，保证服务的可用性。
• 一致性：所有的节点都拥有相同的数据视图。
• 顺序性：事务有序执行，保证分布式环境中的操作具有顺序性。
• 原子性：所有的事务操作都是原子性的，要么成功要么失败。

二、ZooKeeper架构

1. 节点角色

• Leader：负责处理所有写请求，并同步数据到 Follower。
• Follower：负责处理读请求，并将写请求转发给 Leader。
• Observer：只参与数据同步，但不参与投票，不影响系统吞吐量，用于扩展读性能。

2. ZNode数据模型

ZooKeeper 中的数据节点称为 ZNode。ZNode 类似于一个文件系统中的文件，支持分层树结构，每个 ZNode 都有一个路径，并可以存储少量的数据。

ZNode有以下类型：

• 持久节点：创建后除非被显式删除，否则永久存在。
• 临时节点：与客户端会话相关联，客户端断开连接后节点自动删除。
• 顺序节点：在创建时 ZooKeeper 会自动为节点添加一个单调递增的序号。

3. 会话与客户端

客户端与 ZooKeeper 服务器建立会话，维持心跳检测。如果客户端长时间没有响应，ZooKeeper 将会断开会话，清除临时节点等相关资源。

4. 一致性协议 (ZAB协议)

ZooKeeper 通过 ZAB协议（ZooKeeper Atomic Broadcast）来保证数据一致性。ZAB 主要用于以下两种场景：

• 崩溃恢复：在某个节点崩溃时，系统通过 ZAB 来确保数据一致性。
• 消息广播：Leader 负责将所有写操作广播给 Follower，保证数据同步。

三、ZooKeeper安装教程

1. 环境要求

• 操作系统：Linux/Windows
• JDK：ZooKeeper 依赖于 Java 环境，需要安装 JDK 1.8 及以上版本。

2. 下载与安装

下载 ZooKeeper： 访问 ZooKeeper 官网，下载最新版的稳定版 ZooKeeper。

解压安装包：

tar -xzf zookeeper-3.8.0.tar.gz
cd zookeeper-3.8.0

配置文件： ZooKeeper 的配置文件位于 conf 目录下，名为 zoo_sample.cfg。将其复制并重命名为 zoo.cfg。

cp conf/zoo_sample.cfg conf/zoo.cfg

修改 zoo.cfg 文件： 在 zoo.cfg 文件中，找到以下配置项，并根据自己的环境进行修改：

# 数据存储路径
dataDir=/var/lib/zookeeper
# 服务端口
clientPort=2181

3. 启动ZooKeeper

使用以下命令启动 ZooKeeper 服务：

bin/zkServer.sh start

如果安装在 Windows 上，则使用：

zkServer.cmd

4. 检查ZooKeeper状态

启动成功后，可以通过以下命令查看 ZooKeeper 的状态：

bin/zkServer.sh status

四、ZooKeeper使用教程

1. 连接ZooKeeper客户端

启动 ZooKeeper 后，可以通过 ZooKeeper 客户端进行连接：

bin/zkCli.sh -server 127.0.0.1:2181

连接成功后，进入命令行界面。

2. 基本操作

进入客户端后，可以对 ZooKeeper 的 ZNode 进行基本操作，包括创建、查询、修改、删除等。

创建ZNode：

create /my_node "my_data"

创建一个名为 /my_node 的节点，并写入数据 “my_data”。

读取ZNode：

get /my_node

读取 /my_node 节点的数据。

修改ZNode：

set /my_node "new_data"

修改 /my_node 节点的数据为 “new_data”。

删除ZNode：

delete /my_node

删除 /my_node 节点。

3. 监控节点变化

ZooKeeper 提供了 Watch机制，允许客户端对某个 ZNode 设置 Watcher，当节点发生变化时客户端会收到通知。

get /my_node true

当 /my_node 发生数据变化或被删除时，客户端将收到事件通知。

4. 分布式锁实现

ZooKeeper 可以用来实现分布式锁机制。具体步骤如下：

1. 每个客户端尝试创建一个顺序节点。
2. ZooKeeper 会为每个客户端分配一个唯一的顺序号。
3. 拥有最小序号的客户端获得锁。
4. 当客户端释放锁时，删除该节点，其他客户端监控到变化，尝试获取锁。

示例代码：

import org.apache.zookeeper.*;
import java.util.Collections;
import java.util.List;

public class DistributedLock {
    private ZooKeeper zk;
    private String lockBasePath = "/locks";
    private String lockName;
    private String currentLock;

    public DistributedLock(ZooKeeper zk, String lockName) {
        this.zk = zk;
        this.lockName = lockName;
    }

    public void acquireLock() throws Exception {
        String lockPath = lockBasePath + "/" + lockName;
        // 创建顺序节点
        currentLock = zk.create(lockPath, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        // 获取所有子节点并排序
        List<String> lockNodes = zk.getChildren(lockBasePath, false);
        Collections.sort(lockNodes);
        if (currentLock.endsWith(lockNodes.get(0))) {
            // 获取锁
            System.out.println("Acquired lock: " + currentLock);
        } else {
            // 等待锁释放
            String previousLock = lockNodes.get(lockNodes.indexOf(currentLock) - 1);
            zk.exists(lockBasePath + "/" + previousLock, watchedEvent -> {
                if (watchedEvent.getType() == Watcher.Event.EventType.NodeDeleted) {
                    try {
                        acquireLock();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
            });
        }
    }

    public void releaseLock() throws Exception {
        // 释放锁
        zk.delete(currentLock, -1);
        System.out.println("Released lock: " + currentLock);
    }
}

5. 集群模式

在生产环境中，ZooKeeper 通常部署为集群模式，以提高高可用性和容错性。配置集群需要将 zoo.cfg 文件中的 server 配置进行修改，例如：

server.1=192.168.1.1:2888:3888
server.2=192.168.1.2:2888:3888
server.3=192.168.1.3:2888:3888

其中，2888 为集群内部通信端口，3888 为 Leader 选举端口。

五、ZooKeeper应用场景

1. 分布式锁：通过顺序节点机制，ZooKeeper 可以实现分布式锁，解决并发操作的问题。
2. 配置管理：ZooKeeper 允许集中管理分布式系统的配置，动态更新配置并同步到所有节点。
3. 分布式协调：在复杂的分布式系统中，ZooKeeper 通过心跳检测、数据一致性等机制实现分布式协调。

六、ZooKeeper注意事项

1. 数据量限制：ZooKeeper 设计为轻量级协调服务，ZNode 不能存储过大的数据，通常不超过 1MB。
2. 高可用配置：为了提高服务的高可用性，建议 ZooKeeper 部署奇数个节点，且至少 3 个节点，以保证出现故障时系统仍能正常运行。
3. 网络隔离处理：在分布式系统中，ZooKeeper 对网络分区的处理需要特别注意，避免出现脑裂等问题。

七、总结

ZooKeeper 是一个强大的分布式协调服务，适用于分布式锁、服务注册与发现、配置管理等场景。通过 ZAB 协议和 Watcher 机制，ZooKeeper 能够提供强一致性和高可用性。在使用时，建议根据业务场景合理部署，并做好性能调优和监控。