Redis 批量删除指定前缀Key的几种方式及坑

[原创] Redis 批量删除指定前缀Key的几种方式及坑

仧尐 2018/11/22 29 redis

# Redis 批量删除指定前缀Key的几种方式及坑

我们知道redis中有删除单条数据的命令DEL，但是没有批量删除的命令，尤其是针对约定前缀的key进行删除。那么有哪些方法支持这种批量删除呢？

### 第一种方式：

```shell
redis-cli -h yourhost -p yourport -a youpassword keys 'yourpre:*' | xargs  redis-cli -h yourhost -p yourport -a youpassword del
```

注释：这种方式有一个坏处就是每次都需要建立一个连接，量小的话还可以接受，量大的话，效率不行。

### 第二种方式：

```shell
redis-cli -h yourhost -p yourport -a youpassword EVAL "return redis.call('del', unpack(redis.call('keys', ARGV[1])))" 0 'youpre:*'
```

注释：这样的方式通过内置的Lua解释器，可以使用EVAL命令对 Lua 脚本但这种处理方式，量大的情况下，lua函数unpack会出现问题，会报错误。

```shell
'''
(error) ERR Error running script (call to f_e177a091510d969af3b388ee986dbe6658df6b57): @user_script:1: user_script:1: too many results to unpack
'''
```

优化后的第二种方式

```shell
redis-cli -h yourhost -p yourport -a youpassword EVAL "local keys = redis.call('keys', ARGV[1]) for i=1,#keys,5000 do redis.call('del', unpack(keys, i, math.min(i+4999, #keys))) end return #keys" 0 'yourpre:*'
```

注释：实际上是对第二种方式的改进，一次性unpack太多会出问题，那就干脆一次5000吧，这样就不会有问题了!这段脚本的意思，首先定义一个数组 keys，里面存储了模式匹配的所有的以 ‘Volume：’的key，然后for循环，每次处理5000个key，也就是说每次del 5000个key。
注意：KEYS操作在线上是禁止使用的!Redis是单线程的，如果量很大的话，keys是遍历key的，会导致阻塞，这样其他的客户端就没法连接了!

### 第三种方式：

##### 自从redis2.8以后就开始支持scan命令，模式匹配可以采取下面的形式来批删除大量的key

```shell
redis-cli -h yourhost -p yourport -a youpassowrd --scan --pattern "yourpre:*" | xargs -L 5000 redis-cli -h yourhost -p yourport -a youpassowrd DEL
#结果
'''
(integer) 5000
(integer) 5000
(integer) 5000
(integer) 5000
(integer) 5000
(integer) 5000
(integer) 5000
...
'''
```

##### BUT：上面的方法只能针对单节点的Redis进行操作，如果是Redis集群，那么会因为批量操作而报错：

```shell
(error) CROSSSLOT Keys in request don't hash to the same slot
(error) CROSSSLOT Keys in request don't hash to the same slot
(error) CROSSSLOT Keys in request don't hash to the same slot
(error) CROSSSLOT Keys in request don't hash to the same slot
(error) CROSSSLOT Keys in request don't hash to the same slot
(error) CROSSSLOT Keys in request don't hash to the same slot
(error) CROSSSLOT Keys in request don't hash to the same slot
(error) CROSSSLOT Keys in request don't hash to the same slot
... ...
```

那么怎么删除呢？

##### 第一步：使用scan导出所有前缀的Key

```shell
#将每个实例的key导入到不同的文件
for i in {yourportstart..yourportend};do redis-cli -h yourhost -p $i --scan --pattern "pn:*"  > keys_$i.txt; done
```

##### 第二步：写代码读取文件来批量删除(Java版)

```java
		RedisClient redisclient = RedisClient.getInstance("yourhost", "yourpwd");		
		BufferedReader reader = null;
		try {
			reader = new BufferedReader(new FileReader(yourKeysFile));
			String str = "";
			List list = new ArrayList<>();
			int i = 0;
			while((str = reader.readLine()) != null) {
				str = str.replace("\r", "").replace("\n", "");
				i++;
				list.add(str);
				List l = list;
				if(i%1000 == 0) {
					System.out.println("已处理："+i);
					ThreadExecuteUtil.submitTaskBlock(ThreadExecuteUtil.DB_WRITE_EXECUTOR, new Runnable() {
						
						@Override
						public void run() {
							if(l.size() > 0) {
								for(String s : l) {
									redisclient.del(s);
								}
							}
						}
					}, 1000);
					list = new ArrayList<>();
				}
			}
			
			if(list.size() > 0) {
				for(String s : list) {
					redisclient.del(s);
				}
			}
		}catch(Exception ex) {
			ex.printStackTrace();
		}finally {
			try {
				reader.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}		
		
	}
```

至此，批量删除Redis中的Key的问题解决了。

注意！

本站用户原创文章，版权为本站用户，转摘请注明本文地址：http://www.silva-art.net/blog/2018/11/22/853f0f0d28c5b85eb768333be70ca84c.html。

猜您在找

redis cluster 模式如何批量删除指定前缀的key ServiceStack.Redis删除指定前缀的key shell 脚本批量删除redis中wwww前缀的key值 redis 批量删除key Redis批量删除key