怎么向redis导入大量数据

怎么向redis导入大量数据

具体实现步骤如下：1.新建一个文本文件，包含redis命令SETKey0Value0SETKey1Value1SETKeyNValueN如果有了原始数据，其实构造这个文件并不难，譬如shell，python都可以2.将这些命令转化成RedisProtocol。因为Redis管道功能支持的是RedisProtocol，而不是直接的Redis命令。如何转化，可参考后面的脚本。3.利用管道插入catdata.txt|redis-cli--pipeShellVSRedispipe下面通过测试来具体看看Shell批量导入和Redispipe之间的效率。测试思路：分别通过shell脚本和Redispipe向数据库中插入10万相同数据，查看各自所花费的时间。Shell脚本如下：#!/bin/bashfor((i=0;i>redis.logdone每次插入的值都是helloworld，但键不同，name0，name1name99999。RedispipeRedispipe会稍微麻烦一点1>首先构造redis命令的文本文件在这里，我选用了python#!/usr/bin/pythonforiinrange(100000):print'setname'+str(i),'helloworld'#python1.py>redis_commands.txt#head-2redis_commands.txtsetname0helloworldsetname1helloworld2>将这些命令转化成RedisProtocol在这里，我利用了github上一个shell脚本，#!/bin/bashwhilereadCMD;do#eachcommandbeginswith*{numberargumentsincommand}\r\nXS=($CMD);printf"*${#XS[@]}\r\n"#foreachargument,weappend${length}\r\n{argument}\r\nforXin$CMD;doprintf"\$${#X}\r\n$X\r\n";donedoneredis_data.txt#head-7redis_data.txt*3$3set$5name0$10helloworld至此，数据构造完毕。测试结果