降低PHP Redis内存占用

1、降低redis内存占用的优点

　1、有助于减少创建快照和加载快照所用的时间

　2、提升载入AOF文件和重写AOF文件时的效率

　3、缩短从服务器进行同步所需的时间

　4、无需添加额外的硬件就可以让redis存贮更多的数据

2、短结构

Redis为列表、集合、散列、有序集合提供了一组配置选项，这些选项可以让redis以更节约的方式存储较短的结构。

2.1、ziplist压缩列表（列表、散列、有续集和）

通常情况下使用的存储方式

当列表、散列、有序集合的长度较短或者体积较小的时候，redis将会采用一种名为ziplist的紧凑存储方式来存储这些结构。

ziplist是列表、散列、有序集合这三种不同类型的对象的一种非结构化表示，它会以序列化的方式存储数据，这些序列化的数据每次被读取的时候都需要进行解码，每次写入的时候也要进行编码。

双向列表与压缩列表的区别：

为了了解压缩列表比其他数据结构更加节约内存，我们以列表结构为例进行深入研究。

典型的双向列表

在典型双向列表里面，每个值都都会有一个节点表示。每个节点都会带有指向链表前一个节点和后一个节点的指针，以及一个指向节点包含的字符串值的指针。

每个节点包含的字符串值都会分为三部分进行存储。包括字符串长度、字符串值中剩余可用字节数量、以空字符结尾的字符串本身。

例子：

假若一个某个节点存储了’abc’字符串，在32位的平台下保守估计需要21个字节的额外开销（三个指针+两个int+空字符即：3*4+2*4+1=21）

由例子可知存储一个3字节字符串就需要付出至少21个字节的额外开销。

ziplist

压缩列表是由节点组成的序列，每个节点包含两个长度和一个字符串。第一个长度记录前一个节点的长度（用于对压缩列表从后向前遍历）；第二个长度是记录本当前点的长度；被存储的字符串。

例子：

存储字符串’abc’，两个长度都可以用1字节来存储，因此所带来的额外开销为2字节（两个长度即1+1=2）

结论：

压缩列表是通过避免存储额外的指针和元数据，从而达到降低额外的开销。

配置：

#list
list-max-ziplist-entries 512 #表示允许包含的最大元素数量
list-max-ziplist-value 64  #表示压缩节点允许存储的最大体积
#hash         #当超过任一限制后，将不会使用ziplist方式进行存储
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
#zset
zset-max-ziplist-entries 128
zset-max-ziplist-value 64

测试list：

1、建立test.php文件

#test.php
<?php
$redis=new Redis();
$redis->connect('192.168.95.11','6379');
for ($i=0; $i<512 ; $i++) 
{ 
  $redis->lpush('test-list',$i.'-test-list'); #往test-list推入512条数据
}
?>

此时的test-list中含有512条数据，没有超除配置文件中的限制

2、往test-list中再推入一条数据

此时test-list含有513条数据，大于配置文件中限制的512条，索引将放弃ziplist存储方式，采用其原来的linkedlist存储方式

散列与有序集合同理。

2.2、intset整数集合（集合）

前提条件，集合中包含的所有member都可以被解析为十进制整数。

以有序数组的方式存储集合不仅可以降低内存消耗，还可以提升集合操作的执行速度。

配置：

set-max-intset-entries  512   #限制集合中member个数，超出则不采取intset存储

测试：

建立test.php文件

#test.php
<?php
$redis=new Redis();
$redis->connect('192.168.95.11','6379');
for ($i=0; $i<512 ; $i++) 
{ 
  $redis->sadd('test-set',$i);  #给集合test-set插入512个member
}
?>

2.3、性能问题

不管列表、散列、有序集合、集合，当超出限制的条件后，就会转换为更为典型的底层结构类型。因为随着紧凑结构的体积不断变大，操作这些结构的速度将会变得越来越慢。

测试：

#将采用list进行代表性测试

测试思路：

1、在默认配置下往test-list推入50000条数据，查看所需时间；接着在使用rpoplpush将test-list数据全部推入到新列表list-new中，查看所需时间

2、修改配置，list-max-ziplist-entries 100000，再执行上面的同样操作

3、对比时间，得出结论

默认配置下测试：

1、数据，查看时间

#test1.php
<?php
header("content-type: text/html;charset=utf8;");
$redis=new Redis();
$redis->connect('192.168.95.11','6379');
$start=time();
for ($i=0; $i<50000 ; $i++) 
{ 
  $redis->lpush('test-list',$i.'-aaaassssssddddddkkk');
}
$end=time();
echo "插入耗时为：".($end-$start).'s';
?>

结果耗时4秒

2、执行相应命令，查看耗时

#test2.php
<?php
header("content-type: text/html;charset=utf8;");
$redis=new Redis();
$redis->connect('192.168.95.11','6379');
$start=time();
$num=0;
while($redis->rpoplpush('test-list','test-new'))
{
  $num+=1;
}
echo '执行次数为：'.$num."<br/>";
$end=time();
echo "耗时为：".($end-$start).'s';
?>

更改配置文件下测试　　

1、先修改配置文件

list-max-ziplist-entries 100000  #将这个值修改大一点，可以更好的凸显对性能的影响

list-max-ziplist-value 64    #此值可不做修改

2、数据

执行test1.php

结果为：耗时12s

3、执行相应命令，查看耗时

执行test2.php

结果为：执行次数：50000，耗时12s

结论：

在本机中执行测试50000条数据就相差8s，若在高并发下，长压缩列表和大整数集合将起不到任何的优化，反而使得性能降低。

3、片结构

分片的本质就是基于简单的规则将数据划分为更小的部分，然后根据数据所属的部分来决定将数据发送到哪个位置上。很多数据库使用这种技术来扩展存储空间，并提高自己所能处理的负载量。

结合前面讲到的，我们不难发现分片结构对于redis的重要意义。因此我们需要在配置文件中关于ziplist以及intset的相关配置做出适当的调整。

3.1、分片式散列

#ShardHash.class.php

<?php
class ShardHash
{
  private $redis=''; #存储redis对象
  /**
  * @desc 构造函数
  * 
  * @param $host string | redis主机
  * @param $port int  | 端口
  */
  public function __construct($host,$port=6379)
  {
    $this->redis=new Redis();
    $this->redis->connect($host,$port);
  } 
  /**
  * @desc 计算某key的分片ID
  *
  * @param $base string | 基础散列
  * @param $key  string | 要存储到分片散列里的键名
  * @param $total int  | 预计非数字分片总数
  * 
  * @return string | 返回分片键key
  */
  public function shardKey ($base,$key,$total)
  {
    if(is_numeric($key))
    {
      $shard_id=decbin(substr(bindec($key),0,5)); #取$key二进制高五位的十进制值
    }
    else
    {
      $shard_id=crc32($key)%$shards; #求余取模
    }
    return $base.'_'.$shard_id;
  }
  /**
  * @desc 分片式散列hset操作
  *
  * @param $base string | 基础散列
  * @param $key  string | 要存储到分片散列里的键名
  * @param $total int  | 预计元素总数
  * @param $value string/int | 值
  *
  * @return bool | 是否hset成功
  */
  public function shardHset($base,$key,$total,$value)
  {
    $shardKey=$this->shardKey($base,$key,$total);
    return $this->redis->hset($shardKey,$key,$value);
  }
  /**
  * @desc 分片式散列hget操作
  *
  * @param $base string | 基础散列
  * @param $key  string | 要存储到分片散列里的键名
  * @param $total int  | 预计元素总数
  *
  * @return string/false | 成功返回value
  */
  public function shardHget($base,$key,$total)
  {
    $shardKey=$this->shardKey($base,$key,$total);
    return $this->redis->hget($shardKey,$key);
  }
} 
$obj=new ShardHash('192.168.95.11');
echo $obj->shardHget('hash-','key',500);
?>

散列分片主要是根据基础键以及散列包含的键计算出分片键ID，然后再与基础键拼接成一个完整的分片键。在执行hset与hget以及大部分hash命令时，都需要先将key（field）通过shardKey方法处理，得到分片键才能够进行下一步操作。

3.2、分片式集合

如何构造分片式集合才能够让它更节省内存，性能更加强大呢？主要的思路就是，将集合里面的存储的数据尽量在不改变其原有功能的情况下转换成可以被解析为十进制的数据。根据前面所讲到的，当集合中的所有成员都能够被解析为十进制数据时，将会采用intset存储方式，这不仅能够节省内存，而且还可以提高响应的性能。

例子：

假若要某个大型网站需要存储每一天的唯一用户访问量。那么就可以使用将用户的唯一标识符转化成十进制数字，再存入分片式set中。

#ShardSet.class.php

<?php
class ShardSet
{
  private $redis=''; #存储redis对象
  /**
  * @desc 构造函数
  * 
  * @param $host string | redis主机
  * @param $port int  | 端口
  */
  public function __construct($host,$port=6379)
  {
    $this->redis=new Redis();
    $this->redis->connect($host,$port);
  } 
  /**
  * @desc 根据基础键以及散列包含的键计算出分片键
  *
  * @param $base string | 基础散列
  * @param $key  string | 要存储到分片散列里的键名
  * @param $total int  | 预计分片总数
  * 
  * @return string | 返回分片键key
  */
  public function shardKey ($base,$member,$total=512)
  {
    $shard_id=crc32($member)%$shards; #求余取模
    return $base.'_'.$shard_id;
  }
  /**
  * @desc 计算唯一用户日访问量
  * 
  * @param $member int | 用户唯一标识符
  *
  * @return string | ok表示count加1 false表示用户今天已经访问过不加1
  */
  public function count($member)
  {
    $shardKey=$this->shardKey('count',$member,$total=10); #$totla调小一点用于测试
    $exists=$this->redis->sismember($shardKey,$member); 
    if(!$exists)  #判断member今天是否访问过
    {
      $this->redis->sadd($shardKey,$member);
      $this->redis->incr('count');
      $ttl1=$this->redis->ttl('count');
      if($ttl1===-1)
        $this->redis->expireat('count',strtotime(date('Y-m-d 23:59:59'))); #设置过期时间
      $ttl2=$this->redis->ttl($shardKey);
      if($ttl2===-1)
      {
        $this->redis->expireat("$shardKey",strtotime(date('Y-m-d 23:59:59'))); #设置过期时间
        #echo $shardKey; #测试使用
      }
      #echo $shardKey;  #测试使用
      return 'ok';
    }
    return 'false';
  }
}
$str=substr(md5(uniqid()), 0, 8);  #取出前八位
#将$str作为客户的唯一标识符
$str=hexdec($str);   #将16进制转换为十进制
$obj=new ShardSet('192.168.95.11');
$obj->count($str);
?>

4、将信息打包转换成存储字节

结合前面所讲的分片技术，采用string分片结构为大量连续的ID用户存储信息。

使用定长字符串，为每一个ID分配n个字节进行存储相应的信息。

接下来我们将采用存储用户国家、省份的例子进行讲解：

假若某个用户需要存储中国、广东省这两个信息，采用utf8字符集，那么至少需要消耗5*3=15个字节。如果网站的用户量大的话，这样的做法将会占用很多资源。接下来我们采用的方法每个用户仅仅只需要占用两个字节就可以完成存储信息。

具体思路步骤：

1、首先我们为国家、以及各国家的省份信息建立相应的’信息表格’

2、将’信息表格’建好后，也意味着每个国家，省份都有相应的索引号

3、看到这里大家应该都想到了吧，对就是使用两个索引作为用户存储的信息，不过需要注意的是我们还需要对这两个索引进行相应的处理

4、将索引当做ASCII码，将其转换为对应ASCII(0~255)所指定的字符

5、使用前面所讲的分片技术，定长分片string结构，将用户的存储位置找出来（redis中一个string不能超过512M）

6、实现信息的写入以及取出（getrange、setrange）

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持！

# redis 降低内存占用  # redis 内存占用  # redis占用内存过大  # 分片  # 将会  # 片式  # 配置文件  # 所需  # 定长  # 转换为  # 就可以  # 还可以  # 键名  # 这两个  # 字符串值  # 转换成  # 才能够  # 讲到  # 计算出  # 较短  # 所讲  # 的是  # 情况下 

相关文章： 长春网站建设制作公司,长春的网络公司怎么样主要是能做网站的？  公司网站的制作公司,企业网站制作基本流程有哪些？  如何访问已购建站主机并解决登录问题？  宝塔建站无法访问？如何排查配置与端口问题？  如何批量查询域名的建站时间记录？  XML的“混合内容”是什么 怎么用DTD或XSD定义  C++ static_cast和dynamic_cast区别_C++静态转换与动态类型安全转换  免费公司网站制作软件,如何申请免费主页空间做自己的网站？  购物网站制作费用多少,开办网上购物网站，需要办理哪些手续？  如何在新浪SAE免费搭建个人博客？  如何使用Golang table-driven基准测试_多组数据测量函数效率  网站制作培训多少钱一个月,网站优化seo培训课程有哪些？  建站之星后台管理系统如何操作？  建站之星代理费用多少？最新价格详情介绍  西安专业网站制作公司有哪些,陕西省建行官方网站？  小型网站制作HTML,*游戏网站怎么搭建？  c# await 一个已经完成的Task会发生什么  哈尔滨网站建设策划,哈尔滨电工证查询网站？  广州网站设计制作一条龙,广州巨网网络科技有限公司是干什么的？  公司网站设计制作厂家,怎么创建自己的一个网站？  如何制作一个表白网站视频,关于勇敢表白的小标题？  高性能网站服务器配置指南：安全稳定与高效建站核心方案  制作网站哪家好,cc、.co、.cm哪个域名更适合做网站？  建站之星会员如何解锁更多建站功能？  如何选择高效响应式自助建站源码系统？  建站主机是什么？如何选择适合的建站主机？  魔毅自助建站系统：模板定制与SEO优化一键生成指南  Android滚轮选择时间控件使用详解  怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm，可以有哪些措施降低舍内氨气水平？  网站制作费用多少钱,一个网站的运营，需要哪些费用？  h5在线制作网站电脑版下载,h5网页制作软件？  建站主机如何选？性能与价格怎样平衡？  家具网站制作软件,家具厂怎么跑业务？  b2c电商网站制作流程,b2c水平综合的电商平台？  上海网站制作网页,上海本地的生活网站有哪些？最好包括生活的各个方面的？  香港代理服务器配置指南：高匿IP选择、跨境加速与SEO优化技巧  如何快速搭建自助建站会员专属系统？  如何快速搭建虚拟主机网站？新手必看指南  网站制作价目表怎么做,珍爱网婚介费用多少？  大连 网站制作,大连天途有线官网？  建站之星展会模板：智能建站与自助搭建高效解决方案  移动端手机网站制作软件,掌上时代，移动端网站的谷歌SEO该如何做？  定制建站价位费用解析与套餐推荐全攻略  教学网站制作软件,学习*后期制作的网站有哪些？  如何续费美橙建站之星域名及服务？  清除minerd进程的简单方法  如何快速搭建支持数据库操作的智能建站平台？  如何在自有机房高效搭建专业网站？  如何在阿里云虚拟服务器快速搭建网站？  香港服务器租用费用高吗？如何避免常见误区？