重复

最近在论坛看到有人问，如何快速生成100万不重复的8位编号，对于这个问题，有几点是需要注意的：

1．    如何生成8位随机数，生成的数越随机，重复的可能性当然越小

2．    控制不重复

3．    考虑性能

针对这个问题，我写了如下的示例来解决，希望能为有这类需求的人提供指导

生成100万条8位不重复数据的示例

USE tempdb

GO

-- 创建测试表

CREATE TABLE tb(id char(8))

-- 创建用于自动过滤重复值的唯一索引

CREATE UNIQUE INDEX IX_tb ON tb(id)

WITH IGNORE_DUP_KEY

GO

-- 测试数据插入的处理时间, 记录开始处理的时间点

DECLARE dt datetime

SET dt = GETDATE()

-- 插入随机数据

SET NOCOUNT ON

DECLARE row int

SET row = 1000000  -- 设置总记录数

WHILE row >0

BEGIN

    -- 显示提示信息, 表示还需要插入多行数据

    RAISERROR('need %d rows', 10, 1, row) WITH NOWAIT

    -- 插入随机的位编码数据

    SET ROWCOUNT row

    INSERT tb SELECT

        id = RIGHT(100000000 + CONVERT(bigint, ABS(CHECKSUM(NEWID()))), 8)

    FROM syscolumns c1, syscolumns c2

    SET row = row - ROWCOUNT

END

-- 显示插入数据使用的时间

SELECT BeginDate = dt, EndDate = GETDATE(),

    Second = DATEDIFF(Second, dt, GETDATE()),

GO

-- 显示最终的结果记录是否正确

SELECT COUNT(*) FROM tb

GO

-- 删除测试

DROP TABLE tb

解决中用到的技巧：

1．    控制产生的数据不重复，直接使用唯一索引中的 IGNORE_DUP_KEY 选项，使插入数据中的重复值自动过滤，避免手工处理重复

2．    使用 CHECKSUM 配合 NEWID() 函数，使生成的数据尽量随机，一般生成随机数会考虑使用 RAND() 函数，但这个函数是产生伪随机值，用下面的语句测试一下，会发现产生的数据全部是一样的，这不适用于想批量生成多个随机数，而NEWID() 函数生成的是GUID，基本上不会有重复的，再通过CHECKSUM将其转化成数字，这样产生重复的可能性会比较小

SELECT TOP 10

    RAND()

FROM sysobjects

3．    在效率控制，使用循环+批量生成的方式，而不是传统的逐个生成。在SQL Server中，每个插入语句都会有一个内部的事务处理，如果逐条插入，则事务的开销太大，效率势必非常低；不考虑一次性生成100万数据，一则因为生成的数据可能有重复的，去掉重复就没有100万了，二则一次性生成100万数据，消耗的内存和CPU资源也很高，一般的电脑可能承受不住