标签的字符串压缩方式及规则

[原创] 标签的字符串压缩方式及规则

仧尐 2018/11/30 29 标签

# 标签的字符串压缩方式及规则

目前需要推送数亿量级的标签数据到redis中，日益增长的标签数量，使得redis的资源消耗非常快，尤其是内存资源。目前，使用了两台物理机搭建redis集群，redis可以使用的内存约120g。最近有需求需要推送30天内的带数值频繁更变的标签，标签的数量维度达到几万，导出的文件有69g！根据存进redis按照1.5倍内存的占用率，需要使用105g的内存！ 而目前redis的剩余仅剩余70g了。所以，遇到这个问题的时候，需要想办法减少redis的内存使用。

### 压缩标签字符串

1. ##### 带数值型的标签压缩

背景：标签在redis中使用hash的存储，eg：userid ={"a1000":123,"a1002":234,"a10001":345,"a4000":456...."b1000":123.....}

目前标签的特点是：标签值的最大值为2000，标签的索引会随着时间的增长越来越大，目前已经达到2万多；

思路：将标签的前缀a,b...提取出来，标签的索引值1000,1002,10001...使用32进制表示，标签的值也使用32进制来表示。然后得到压缩后的字符串为：a=v8:3r,va:7a,9oh:e8,3t0:e8...#b=v8:3r....。再使用string方式存储该用户的带数值的标签。

结论：使用这种方式压缩后文件大小变成了30多g，足足压缩了一半！同时也减少了内存的使用。

2. ##### 不带数值型的标签压缩

背景：不带数值型的标签使用string存储，eg: userid = a1000,a1002,a10001,a4000....b1000....，目前标签的        特点是标签有数值下标，但没有数值。随着标签的数目越来越多，相同下标的标签会越来越多。

思路：和带数值的标签压缩基本相同。将标签的前缀a,b...提取出来，标签的索引值1000,1002,10001...使用32进制表示，然后得到压缩后的字符串为：a=v8,va,9oh,3t0...#b=v8...

结论：使用这种方式压缩后文件大小压缩了1/3，也减少了不少内存的使用。

#### 最后，压缩的思路主要是利用了标签的一些规律，很多标签都带有相同的前缀，另外下标越来越大，完全可以使用32进制来表示。

另外，数值也可用使用62进制来表示，这样会更节省内存。

十万条数据原大小：2.63g
32进制 1.50g
62进制 1.36g

使用32进制的压缩比：57% 
使用62进制的压缩比：51%

10万条记录62进制比32进制节省了140m的内存 100万1.4g  1000万是14g。也是比较可观的。

#### 62进制java版实现

```java
	/**
	 * 初始化 62 进制数据，索引位置代表字符的数值，比如 a代表10，Z代表61等
	 */
	private static String chars = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ";
	private static int scale = 62;

/**
	 * 将数字转为62进制
	 * @param num Long 型数字
	 * @return 62进制字符串
	 */
	public static String encode(long num) {
		StringBuilder sb = new StringBuilder();
		int remainder = 0;
		while (num > scale - 1) {
			remainder = Long.valueOf(num % scale).intValue();
			sb.append(chars.charAt(remainder));
			num = num / scale;
		}
		sb.append(chars.charAt(Long.valueOf(num).intValue()));
		return sb.reverse().toString();
	}

/**
	 * 62进制字符串转为数字
	 * @param str 编码后的62进制字符串
	 * @return 解码后的 10 进制字符串
	 */
	public static long decode(String str) {
		long num = 0;
		int index = 0;
		for (int i = 0; i < str.length(); i++) {
			index = chars.indexOf(str.charAt(i));
			num += (long) (index * (Math.pow(scale, str.length() - i - 1)));
		}
		return num;
	}

public static void main(String[] args) {
		System.out.println("62进制：" + encode(112354));
		System.out.println("10进制：" + decode("tea"));
		System.out.println("32进制：" + Integer.toUnsignedString(112354, 32));
	}
```

智能推荐

注意！

本站用户原创文章，版权为本站用户，转摘请注明本文地址：http://www.silva-art.net/blog/2018/11/30/1e1094d4db16bad873aa59c211e47f8d.html。

猜您在找

trim标签：可以自定义字符串的截取规则字符串的压缩如何压缩字符串？压缩字符串为数字字符串压缩问题

智能推荐

[原创] 标签的字符串压缩方式及规则

注意！

赞助商广告