2021年7月1日星期四

CosId 1.0.3 发布，通用、灵活、高性能的分布式 ID 生成器

CosId 通用、灵活、高性能的分布式 ID 生成器

介绍

CosId 旨在提供通用、灵活、高性能的分布式系统 ID 生成器。 目前提供了俩大类 ID 生成器：SnowflakeId （单机 TPS 性能：409W/s JMH 基准测试）、RedisIdGenerator (单机 TPS 性能(步长 1000)：3687W+/s JMH 基准测试)。

更新内容（1.0.3） 🎉 🎉 🎉

  • 变更：修改 cosid-redis 为可选依赖（spring-boot-starter-cosid）。
  • 修复：导出 MachineId 实例失败（spring-boot-starter-cosid）。
  • 增强：RedisMachineIdDistributor/RedisIdGenerator 支持 Redis-Cluster 模式。

SnowflakeId

Snowflake

SnowflakeId 使用 Long （64 bits） 位分区来生成 ID 的一种分布式 ID 算法。
通用的位分配方案为：timestamp (41 bits) + machineId (10 bits) + sequence (12 bits) = 63 bits 。

  • 41 位 timestamp = (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳，即可以使用的绝对时间为 EPOCH + 69 年，一般我们需要自定义 EPOCH 为产品开发时间，另外还可以通过压缩其他区域的分配位数，来增加时间戳位数来延长可用时间。
  • 10 位 machineId = (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分，这里直接沿用 Kubernetes 的定义) 实例，一般情况下没有必要使用这么多位，所以会根据部署规模需要重新定义。
  • 12 位 sequence = (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID，全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。

从 SnowflakeId 设计上可以看出:

  • 👍 timestamp 在高位，所以 SnowflakeId 是本机单调递增的，受全局时钟同步影响 SnowflakeId 是全局趋势递增的。
  • 👍 SnowflakeId 不对任何第三方中间件有强依赖关系，并且性能也非常高。
  • 👍 位分配方案可以按照业务系统需要灵活配置，来达到最优使用效果。
  • 👎 强依赖本机时钟，潜在的时钟回拨问题会导致 ID 重复。
  • 👎 machineId 需要手动设置，实际部署时如果采用手动分配 machineId，会非常低效。

CosId-SnowflakeId 主要解决 SnowflakeId 俩大问题：机器号分配问题、时钟回拨问题。 并且提供更加友好、灵活的使用体验。

MachineIdDistributor (MachineId 分配器)

目前 CosId 提供了以下三种 MachineId 分配器。

ManualMachineIdDistributor

cosid: snowflake: machine:  distributor:  type: manual  manual:   machine-id: 0

手动分配 MachineId

StatefulSetMachineIdDistributor

cosid: snowflake: machine:  distributor:  type: stateful_set

使用 Kubernetes 的 StatefulSet 提供的稳定的标识 ID 作为机器号。

RedisMachineIdDistributor

cosid: snowflake: machine:  distributor:  type: redis

使用 Redis 作为机器号的分发存储。

ClockBackwardsSynchronizer (时钟回拨同步器)

cosid: snowflake: clock-backwards:  spin-threshold: 10  broken-threshold: 2000

默认提供的 DefaultClockBackwardsSynchronizer 时钟回拨同步器使用主动等待同步策略，spinThreshold(默认值 10 毫秒) 用于设置自旋等待阈值， 当大于spinThreshold 时使用线程休眠等待时钟同步，如果超过brokenThreshold(默认值 2 秒)时会直接抛出ClockTooManyBackwardsException异常。

MachineStateStorage (机器状态存储)

public class MachineState { public static final MachineState NOT_FOUND = of(-1, -1); private final int machineId; private final long lastTimeStamp; public MachineState(int machineId, long lastTimeStamp) {  this.machineId = machineId;  this.lastTimeStamp = lastTimeStamp; } public int getMachineId() {  return machineId; } public long getLastTimeStamp() {  return lastTimeStamp; } public static MachineState of(int machineId, long lastStamp) {  return new MachineState(machineId, lastStamp); }}
cosid: snowflake: machine:  state-storage:  local:   state-location: ./cosid-machine-state/

默认提供的 LocalMachineStateStorage 本地机器状态存储，使用本地文件存储机器号、最近一次时间戳，用作 MachineState 缓存。

ClockSyncSnowflakeId (主动时钟同步 SnowflakeId)

cosid: snowflake: share:  clock-sync: true

默认 SnowflakeId 当发生时钟回拨时会直接抛出 ClockBackwardsException 异常，而使用 ClockSyncSnowflakeId 会使用 ClockBackwardsSynchronizer 主动等待时钟同步来重新生成 ID，提供更加友好的使用体验。

SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)

SnowflakeId snowflakeId=SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScript 的 Number.MAX_SAFE_INTEGER 只有 53 位，如果直接将 63 位的 SnowflakeId 返回给前端，那么会值溢出的情况，通常我们可以将SnowflakeId转换为 String 类型或者自定义 SnowflakeId 位分配来缩短 SnowflakeId 的位数 使 ID 提供给前端时不溢出。

SnowflakeFriendlyId (可以将 SnowflakeId 解析成可读性更好的 SnowflakeIdState )

cosid: snowflake: share:  friendly: true
public class SnowflakeIdState { private final long id; private final int machineId; private final long sequence; private final LocalDateTime timestamp; /**  * {@link #timestamp}-{@link #machineId}-{@link #sequence}  */ private final String friendlyId;}
public interface SnowflakeFriendlyId extends SnowflakeId { SnowflakeIdState friendlyId(long id); SnowflakeIdState ofFriendlyId(String friendlyId); default SnowflakeIdState friendlyId() { long id = generate(); return friendlyId(id); }}
  SnowflakeFriendlyId snowflakeFriendlyId = new DefaultSnowflakeFriendlyId(snowflakeId);  SnowflakeIdState idState = snowflakeFriendlyId.friendlyId();  idState.getFriendlyId(); //20210623131730192-1-0

RedisIdGenerator

cosid: redis: enabled: true share:  offset: 0  step: 100 provider:  bizA:  offset: 10000  step: 100  bizB:  offset: 10000  step: 100

RedisIdGenerator 步长设置为 1 时（每次生成ID都需要执行一次 Redis 网络 IO 请求）TPS 性能约为 21W/s (JMH 基准测试)，如果在部分场景下我们对 ID 生成的 TPS 性能有更高的要求，那么可以选择使用增加每次ID分发步长来降低网络 IO 请求频次，提高 IdGenerator 性能（比如增加步长为 1000，性能可提升到 3545W+/s JMH 基准测试）。

IdGeneratorProvider

cosid: snowflake: provider:  bizA:  #  epoch:  #  timestamp-bit:  sequence-bit: 12  bizB:  #  epoch:  #  timestamp-bit:  sequence-bit: 12
IdGenerator idGenerator = idGeneratorProvider.get("bizA");
原文转载：http://www.shaoqun.com/a/839139.html

跨境电商：https://www.ikjzd.com/

大森林：https://www.ikjzd.com/w/2268

聚贸：https://www.ikjzd.com/w/1305

出口易：https://www.ikjzd.com/w/1317


CosId通用、灵活、高性能的分布式ID生成器介绍CosId旨在提供通用、灵活、高性能的分布式系统ID生成器。目前提供了俩大类ID生成器：SnowflakeId（单机TPS性能：409W/sJMH基准测试）、RedisIdGenerator(单机TPS性能(步长1000)：3687W+/sJMH基准测试)。更新内容（1.0.3）🎉🎉🎉变更：修改cosid-redis为可选依赖（spring-
亚马逊选品的判断标准有哪些？：https://www.ikjzd.com/articles/106670
以色列站上线倒计时，亚马逊要求卖家做好准备 ：https://www.ikjzd.com/articles/106674
What！外媒眼中的亚马逊竟是一个假货横行的"跳蚤市场"！：https://www.ikjzd.com/articles/106675
刷脸支付out了？亚马逊刷手支付只需0.3秒！：https://www.ikjzd.com/articles/106676
七八个男人填满了我下面 我被几个男的整的好爽爽：http://lady.shaoqun.com/m/a/248382.html
撞击旗袍丝袜老师 小坏蛋你太厉害了我受不了了：http://lady.shaoqun.com/m/a/247953.html
老板叫我穿少一点去他办公室 上司撕开我的裙子和乳罩：http://lady.shaoqun.com/m/a/248401.html
老外又粗又长一晚做五次 被做爽了的细节过程：http://www.30bags.com/m/a/249710.html
2021年，夫妻双方都结婚了。婚内强奸违法吗？：http://lady.shaoqun.com/a/394608.html
腐女对美女CP凶，直男普遍恐同。为什么两性对同性恋的态度不同：http://lady.shaoqun.com/a/394609.html
985大一新生性别比堪忧，校长喊脱单，男生家长坐不住：http://lady.shaoqun.com/a/394610.html
什么样的女人最好泡，不用说自己来：http://lady.shaoqun.com/a/394611.html
发帖者 时间：