CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

栏目: 软件资讯 · 发布时间: 3年前

内容简介：CosId 通用、灵活、高性能的分布式 ID 生成器更新内容（1.1.8） :tada: :tada: :tada: 优化：新增抽象 IdSegmentinterface。增强：优化 DefaultSegmentId防御性校验后端发号器持久层号段丢失、回滚。增强：增强...

开源软件供应链点亮计划，等你来！>>> CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

CosId 通用、灵活、高性能的分布式 ID 生成器

更新内容（1.1.8） ???? ???? ????

优化：新增抽象 IdSegmentinterface。
增强：优化 DefaultSegmentId防御性校验后端发号器持久层号段丢失、回滚。
增强：增强 IdSegmentDistributor支持批量获取号段，降低网络ID请求频次，进一步提升性能。
优化：优化 SegmentChainId (lock-free)性能，合理配置的情况下可达到 AtomicLong性能级别（10272W+/s JMH 基准测试）。
新增：添加 IdSegmentDistributor.Mock，模拟发号器网络IO请求，方便测试。
增强：支持通过 spring-boot 配置开启 SegmentChainId 模式（spring-boot-starter-cosid）。
新增：添加 LifecycleSegmentChainId优雅关闭 PrefetchWorker 。

介绍

CosId 旨在提供通用、灵活、高性能的分布式 ID 生成器。目前提供了三类 ID 生成器：

SnowflakeId : 单机 TPS 性能：409W/s JMH 基准测试 , 主要解决 时钟回拨问题 、* 机器号分配问题* 并且提供更加友好、灵活的使用体验。
SegmentId : RedisIdSegmentDistributor 单机 TPS 性能(步长 1000) ：2950W+/s JMH 基准测试 , 每次获取一段(Step) ID，来降低号段分发器的网络IO请求频次提升性能。
SegmentChainId : SegmentChainId (lock-free) 是对 SegmentId 的增强，设计图如下。PrefetchWorker 维护安全距离(safeDistance), 使得 SegmentChainId 达到近似 AtomicLong 的 TPS 性能(步长 1000): 10272W+/s JMH 基准测试。

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

SnowflakeId

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

SnowflakeId 使用 Long （64 bits）位分区来生成 ID 的一种分布式 ID 算法。通用的位分配方案为：timestamp (41 bits) + machineId (10 bits) + sequence (12 bits) = 63 bits 。

41 位 timestamp = (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳，即可以使用的绝对时间为 EPOCH + 69 年，一般我们需要自定义 EPOCH 为产品开发时间，另外还可以通过压缩其他区域的分配位数，来增加时间戳位数来延长可用时间。
10 位 machineId = (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分，这里直接沿用 Kubernetes 的定义) 实例，一般情况下没有必要使用这么多位，所以会根据部署规模需要重新定义。
12 位 sequence = (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID，全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。

从 SnowflakeId 设计上可以看出:

timestamp 在高位，所以 SnowflakeId 是本机单调递增的，受全局时钟同步影响 SnowflakeId 是全局趋势递增的。
SnowflakeId 不对任何第三方中间件有强依赖关系，并且性能也非常高。
位分配方案可以按照业务系统需要灵活配置，来达到最优使用效果。
强依赖本机时钟，潜在的时钟回拨问题会导致 ID 重复。
machineId 需要手动设置，实际部署时如果采用手动分配 machineId，会非常低效。

CosId-SnowflakeId 主要解决 SnowflakeId 俩大问题：机器号分配问题、时钟回拨问题。并且提供更加友好、灵活的使用体验。

MachineIdDistributor (MachineId 分配器)

目前 CosId 提供了以下三种 MachineId 分配器。

ManualMachineIdDistributor

cosid:
  snowflake:
    machine:
      distributor:
        type: manual
        manual:
          machine-id: 0

手动分配 MachineId。

StatefulSetMachineIdDistributor

cosid:
  snowflake:
    machine:
      distributor:
        type: stateful_set

使用 Kubernetes 的 StatefulSet 提供的稳定的标识 ID 作为机器号。

RedisMachineIdDistributor

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

cosid:
  snowflake:
    machine:
      distributor:
        type: redis

使用 Redis 作为机器号的分发存储。

ClockBackwardsSynchronizer (时钟回拨同步器)

cosid:
  snowflake:
    clock-backwards:
      spin-threshold: 10
      broken-threshold: 2000

默认提供的 DefaultClockBackwardsSynchronizer 时钟回拨同步器使用主动等待同步策略，spinThreshold(默认值 10 毫秒) 用于设置自旋等待阈值，当大于spinThreshold 时使用线程休眠等待时钟同步，如果超过brokenThreshold(默认值 2 秒)时会直接抛出ClockTooManyBackwardsException异常。

MachineStateStorage (机器状态存储)

public class MachineState {
    public static final MachineState NOT_FOUND = of(-1, -1);
    private final int machineId;
    private final long lastTimeStamp;

    public MachineState(int machineId, long lastTimeStamp) {
        this.machineId = machineId;
        this.lastTimeStamp = lastTimeStamp;
    }

    public int getMachineId() {
        return machineId;
    }

    public long getLastTimeStamp() {
        return lastTimeStamp;
    }

    public static MachineState of(int machineId, long lastStamp) {
        return new MachineState(machineId, lastStamp);
    }
}

cosid:
  snowflake:
    machine:
      state-storage:
        local:
          state-location: ./cosid-machine-state/

默认提供的 LocalMachineStateStorage 本地机器状态存储，使用本地文件存储机器号、最近一次时间戳，用作 MachineState 缓存。

ClockSyncSnowflakeId (主动时钟同步 `SnowflakeId`)

cosid:
  snowflake:
    share:
      clock-sync: true

默认 SnowflakeId 当发生时钟回拨时会直接抛出 ClockBackwardsException 异常，而使用 ClockSyncSnowflakeId 会使用 ClockBackwardsSynchronizer 主动等待时钟同步来重新生成 ID，提供更加友好的使用体验。

SafeJavaScriptSnowflakeId (`JavaScript` 安全的 `SnowflakeId`)

SnowflakeId snowflakeId=SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScript 的 Number.MAX_SAFE_INTEGER 只有 53 位，如果直接将 63 位的 SnowflakeId 返回给前端，那么会值溢出的情况，通常我们可以将SnowflakeId 转换为 String 类型或者自定义 SnowflakeId 位分配来缩短 SnowflakeId 的位数使 ID 提供给前端时不溢出。

SnowflakeFriendlyId (可以将 `SnowflakeId` 解析成可读性更好的 `SnowflakeIdState` )

cosid:
  snowflake:
    share:
      friendly: true

public class SnowflakeIdState {

    private final long id;

    private final int machineId;

    private final long sequence;

    private final LocalDateTime timestamp;
    /**
     * {@link #timestamp}-{@link #machineId}-{@link #sequence}
     */
    private final String friendlyId;
}

public interface SnowflakeFriendlyId extends SnowflakeId {

    SnowflakeIdState friendlyId(long id);

    SnowflakeIdState ofFriendlyId(String friendlyId);

    default SnowflakeIdState friendlyId() {
        long id = generate();
        return friendlyId(id);
    }
}

        SnowflakeFriendlyId snowflakeFriendlyId=new DefaultSnowflakeFriendlyId(snowflakeId);
        SnowflakeIdState idState=snowflakeFriendlyId.friendlyId();
        idState.getFriendlyId(); //20210623131730192-1-0

SegmentId (号段模式)

RedisIdSegmentDistributor (使用`Redis`作为号段分发后端存储)

cosid:
  segment:
    enabled: true
    distributor:
      type: redis
    share:
      offset: 0
      step: 100
    provider:
      bizC:
        offset: 10000
        step: 100
      bizD:
        offset: 10000
        step: 100

RedisIdSegmentDistributor 步长设置为 1 时（每次生成ID都需要执行一次 Redis 网络 IO 请求）TPS 性能约为 21W/s (JMH 基准测试 )，如果在部分场景下我们对 ID 生成的 TPS 性能有更高的要求，那么可以选择使用增加每次ID分发步长来降低网络 IO 请求频次，提高 IdGenerator 性能（比如增加步长为 1000，性能可提升到 3545W+/s JMH 基准测试）。

SegmentChainId (号段链模式)

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

cosid:
  segment:
    enabled: true
    mode: chain
    chain:
      safe-distance: 100
      prefetch-period: 4000ns
    distributor:
      type: redis
    share:
      offset: 0
      step: 100
    provider:
      bizC:
        offset: 10000
        step: 100
      bizD:
        offset: 10000
        step: 100

IdGeneratorProvider

cosid:
  snowflake:
    provider:
      bizA:
        #      epoch:
        #      timestamp-bit:
        sequence-bit: 12
      bizB:
        #      epoch:
        #      timestamp-bit:
        sequence-bit: 12

IdGenerator idGenerator=idGeneratorProvider.get("bizA");

在实际使用中我们一般不会所有业务服务使用同一个 IdGenerator ，而是不同的业务使用不同的 IdGenerator，那么 IdGeneratorProvider 就是为了解决这个问题而存在的，他是 IdGenerator 的容器，可以通过业务名来获取相应的 IdGenerator。

Examples

CosId-Examples

安装

Gradle

Kotlin DSL

    val cosidVersion = "1.1.8";
    implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")

Maven

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>
    <artifactId>demo</artifactId>
    <properties>
        <cosid.version>1.1.8</cosid.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>me.ahoo.cosid</groupId>
            <artifactId>spring-boot-starter-cosid</artifactId>
            <version>${cosid.version}</version>
        </dependency>
    </dependencies>

</project>

application.yaml

cosid:
  namespace: ${spring.application.name}
  snowflake:
    enabled: true
    #    epoch: 1577203200000
    clock-backwards:
      spin-threshold: 10
      broken-threshold: 2000
    machine:
      #      stable: true
      #      machine-bit: 10
      #      instance-id: ${HOSTNAME}
      distributor:
        type: redis
      #        manual:
      #          machine-id: 0
      state-storage:
        local:
          state-location: ./cosid-machine-state/
    share:
      clock-sync: true
      friendly: true
    provider:
      bizA:
        #        timestamp-bit:
        sequence-bit: 12
      bizB:
        #        timestamp-bit:
        sequence-bit: 12
  segment:
    enabled: true
    mode: chain
    chain:
      safe-distance: 100
      prefetch-period: 4000ns
    distributor:
      type: redis
    share:
      offset: 0
      step: 100
    provider:
      bizC:
        offset: 10000
        step: 100
      bizD:
        offset: 10000
        step: 100

JMH-Benchmark

基准测试运行环境：笔记本开发机 ( MacBook Pro (M1) )
所有基准测试都在开发笔记本上执行。
Redis 部署环境也在该笔记本开发机上。

SnowflakeId

gradle cosid-core:jmh
# or
java -jar cosid-core/build/libs/cosid-core-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1

Benchmark                                                    Mode  Cnt        Score   Error  Units
SnowflakeIdBenchmark.millisecondSnowflakeId_friendlyId      thrpt       4020311.665          ops/s
SnowflakeIdBenchmark.millisecondSnowflakeId_generate        thrpt       4095403.859          ops/s
SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate  thrpt        511654.048          ops/s
SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate       thrpt        539818.563          ops/s
SnowflakeIdBenchmark.secondSnowflakeId_generate             thrpt       4206843.941          ops/s

RedisIdBenchmark

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

gradle cosid-redis:jmh
# or
java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1 RedisIdBenchmark

Benchmark                    Mode  Cnt         Score         Error  Units
RedisIdBenchmark.step_1     thrpt    5    207470.850 ±   11832.936  ops/s
RedisIdBenchmark.step_100   thrpt    5   3868126.197 ±  258008.896  ops/s
RedisIdBenchmark.step_1000  thrpt    5  29506073.112 ± 2502253.182  ops/s

RedisChainIdBenchmark

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

gradle cosid-redis:jmh
# or
java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1 RedisChainIdBenchmark

Benchmark                                   Mode  Cnt          Score         Error  Units
RedisChainIdBenchmark.atomicLong_baseline  thrpt    5  143740421.831 ± 1142477.957  ops/s
RedisChainIdBenchmark.step_1               thrpt    5     301874.926 ±   10340.941  ops/s
RedisChainIdBenchmark.step_100             thrpt    5   25746336.165 ±  433565.840  ops/s
RedisChainIdBenchmark.step_1000            thrpt    5  102722840.616 ± 2368562.637  ops/s

RedisIdBenchmark VS RedisChainIdBenchmark TPS (ops/s)

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

RedisIdBenchmark VS RedisChainIdBenchmark Sample (us/op)

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm sample -wi 1 -rf json -f 1 -tu us step_1000

Benchmark                                            Mode      Cnt    Score   Error  Units
RedisChainIdBenchmark.step_1000                    sample  1062954    0.056 ± 0.002  us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.00    sample               ≈ 0          us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.50    sample             0.042          us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.90    sample             0.083          us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.95    sample             0.084          us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.99    sample             0.125          us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.999   sample             3.000          us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.9999  sample             8.818          us/op
RedisChainIdBenchmark.step_1000:step_1000·p1.00    sample           290.304          us/op
RedisIdBenchmark.step_1000                         sample  1374946    0.064 ± 0.003  us/op
RedisIdBenchmark.step_1000:step_1000·p0.00         sample               ≈ 0          us/op
RedisIdBenchmark.step_1000:step_1000·p0.50         sample             0.042          us/op
RedisIdBenchmark.step_1000:step_1000·p0.90         sample             0.042          us/op
RedisIdBenchmark.step_1000:step_1000·p0.95         sample             0.042          us/op
RedisIdBenchmark.step_1000:step_1000·p0.99         sample             0.083          us/op
RedisIdBenchmark.step_1000:step_1000·p0.999        sample             0.291          us/op
RedisIdBenchmark.step_1000:step_1000·p0.9999       sample            46.624          us/op
RedisIdBenchmark.step_1000:step_1000·p1.00         sample           483.840          us/op

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

Linux内核设计与实现(原书第3版)

Robert Love / 陈莉君、康华 / 机械工业出版社华章公司 / 2011-4-30 / 69.00元

《Linux内核设计与实现(原书第3版)》详细描述了Linux内核的设计与实现。内核代码的编写者、开发者以及程序开发人员都可以通过阅读本书受益，他们可以更好理解操作系统原理，并将其应用在自己的编码中以提高效率和生产率。《Linux内核设计与实现(原书第3版)》详细描述了Linux内核的主要子系统和特点，包括Linux内核的设计、实现和接口。从理论到实践涵盖了Linux内核的方方面面，可以满......一起来看看《Linux内核设计与实现(原书第3版)》这本书的介绍吧!

码农工具

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

CosId 通用、灵活、高性能的分布式 ID 生成器

更新内容（1.1.8） ???? ???? ????

介绍

SnowflakeId

MachineIdDistributor (MachineId 分配器)

ManualMachineIdDistributor

StatefulSetMachineIdDistributor

RedisMachineIdDistributor

ClockBackwardsSynchronizer (时钟回拨同步器)

MachineStateStorage (机器状态存储)

ClockSyncSnowflakeId (主动时钟同步 `SnowflakeId`)

SafeJavaScriptSnowflakeId (`JavaScript` 安全的 `SnowflakeId`)

SnowflakeFriendlyId (可以将 `SnowflakeId` 解析成可读性更好的 `SnowflakeIdState` )

SegmentId (号段模式)

RedisIdSegmentDistributor (使用`Redis`作为号段分发后端存储)

SegmentChainId (号段链模式)

IdGeneratorProvider

Examples

安装

Gradle

Maven

application.yaml

JMH-Benchmark

SnowflakeId

RedisIdBenchmark

RedisChainIdBenchmark

RedisIdBenchmark VS RedisChainIdBenchmark TPS (ops/s)

RedisIdBenchmark VS RedisChainIdBenchmark Sample (us/op)

Linux内核设计与实现(原书第3版)

HTML 压缩/解压工具

URL 编码/解码

UNIX 时间戳转换

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

CosId 通用、灵活、高性能的分布式 ID 生成器

更新内容（1.1.8） ???? ???? ????

介绍

SnowflakeId

MachineIdDistributor (MachineId 分配器)

ManualMachineIdDistributor

StatefulSetMachineIdDistributor

RedisMachineIdDistributor

ClockBackwardsSynchronizer (时钟回拨同步器)

MachineStateStorage (机器状态存储)

ClockSyncSnowflakeId (主动时钟同步 SnowflakeId)

SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)

SnowflakeFriendlyId (可以将 SnowflakeId 解析成可读性更好的 SnowflakeIdState )

SegmentId (号段模式)

RedisIdSegmentDistributor (使用Redis作为号段分发后端存储)

SegmentChainId (号段链模式)

IdGeneratorProvider

Examples

安装

Gradle

Maven

application.yaml

JMH-Benchmark

SnowflakeId

RedisIdBenchmark

RedisChainIdBenchmark

RedisIdBenchmark VS RedisChainIdBenchmark TPS (ops/s)

RedisIdBenchmark VS RedisChainIdBenchmark Sample (us/op)

Linux内核设计与实现(原书第3版)

HTML 压缩/解压工具

URL 编码/解码

UNIX 时间戳转换

ClockSyncSnowflakeId (主动时钟同步 `SnowflakeId`)

SafeJavaScriptSnowflakeId (`JavaScript` 安全的 `SnowflakeId`)

SnowflakeFriendlyId (可以将 `SnowflakeId` 解析成可读性更好的 `SnowflakeIdState` )

RedisIdSegmentDistributor (使用`Redis`作为号段分发后端存储)