精选文章 redis——内存概述

redis——内存概述

作者:RabbitMQ!!! 时间: 2019-11-05 04:12:51
RabbitMQ!!! 2019-11-05 04:12:51

Redis通过自己的方法管理内存,,主要方法有zmalloc(),zrealloc(), zcalloc()和zfree(), 分别对应C中的malloc(), realloc()、
calloc()和free()。相关代码在zmalloc.h和zmalloc.c中。
Redis自己管理内存的好处主要有两个:可以利用内存池等手段提高内存分配的性能;可以掌握更多的内存信息,以便于Redis虚拟内存(VM)等功能中,决定何时将数据swap到磁盘。
先回忆各个系统中常见的内存分配函数:
malloc()分配一块指定大小的内存区域,并返回指向区域开头的指针,若分配失败,则返回NULL。
calloc()与malloc()一样,分配一块指定大小的内存区域,成功时返回区域头指针,失败返回NULL。

区别在于, calloc()的输入参数为count和size,即分配的项的数
目,及每一项的大小。

calloc()在成功分配内存空间后,会将空间内所有值置0。
realloc()修改已分配的内存块的大小。若已分配的内存块后没有足够的空间用于扩展内存块,则重新申请一块满足需要的内存块,并将旧的数据拷贝到新位置,释放旧的内存块,返回指向新的内存块的指针;否则直接扩展原有的内存块。若分配失败,返回NULL。
free()释放已分配的内存块。
内存分配
在Redis中,如果系统中包含TCMALLOC,则会使用tc_malloc()等TCMALLOC中的方法代替malloc()等原有的分配内存方法。 TCmalloc是google perftools中的一个组件。

#if defined(USE_TCMALLOC)
#define malloc(size) tc_malloc(size)

首先看zmalloc()和zfree()两个最常用的方法。 Redis在申请内存时,除了申请需要的size外,还会多申请一块定长(PREFIX_SIZE)的区域用于记录所申请的内存块的长度。如果申请成功, Redis会使用宏函数(Redis中为性能考虑,大量使用宏函数)
update_zmalloc_stat_alloc(size+PREFIX_SIZE, size)记录申请的内存块的相关信息,以便监控内存使用状况;当内存块被zfree()释放时,根据头部的信息可以快速地获知被释放的内存区域的长度,然后通过宏函数update_zmalloc_stat_free()标记释放。源代码中,若系统支持malloc_size()方法,则会使用它返回指针所指向的内存块的大小(Mac OS X 10.4以上支持该方法[3])。 有疑惑的是,在支持malloc_size()的系统中,为何还要多申请PREFIX_SIZE的内存?
 

void *zmalloc(size_t size) {
    void *ptr = malloc(size+PREFIX_SIZE);
    if (!ptr) zmalloc_oom(size);
#ifdef HAVE_MALLOC_SIZE
    update_zmalloc_stat_alloc(redis_malloc_size(ptr),size);
    return ptr;
#else
    *((size_t*)ptr) = size; // 在头部记录内存块的长度
    update_zmalloc_stat_alloc(size+PREFIX_SIZE,size);
    return (char*)ptr+PREFIX_SIZE;
#endif
}

宏update_zmalloc_stat_alloc()中,首先将要分配的空间与内存对齐,然后会根据宏zmalloc_thread_safe判断是否需要对内存信息记录表的相关操作加锁。虽然Redis在大部分场景中是单线程读写的,即thread_safe的,但启用虚拟内存(VM),或持久化dump到磁盘等操作时会启动多线程,因此在多线程模式中,需要对部分操作加锁。内存监控
used_memory记录了Redis使用的内存总数。而多线程下malloc()是线程安全的。
zmalloc_allocations[]记录了各个size分配的内存块的数目,大于256个字节的按256算。应用程序可以通过zmalloc_allocations_for_size(size)获得对应size的
内存块的分配数目;也可以通过zmalloc_used_memory()获得Redis占用的总内存。这些监控类的方法在Redis的日志系统中被用到。
zcalloc(size)、 zrealloc()与zmalloc()的处理策略类似,不再详述。
在部分操作系统中, Redis可以通过zmalloc_get_rss()方法获得自己的进程占用
的内存信息。该信息通过操作系统提供,往往比Redis自己记录的used_memory更准确,
但其获取速度也较慢。这些信息也是用于虚拟内存功能。
除了内存相关的操作外, Redis在此还提供了一个复制字符串的方法zstrdup(char
*),该方法将申请一块与源字符串长度相同的内存区域,并用memcpy()拷贝字符串的内
容。
 

勿删,copyright占位
分享文章到微博
分享文章到朋友圈

上一篇:netty源码解析(4.0)-28 ByteBuf内存池:PooledByteBufAllocator-把一切组装起来

下一篇:Fraction to Recurring Decimal

您可能感兴趣

  • 不停机还能替换代码?6年的 Java程序员表示不可思议

    相信很多人都有这样一种感受,自己写的代码在开发、测试环境跑的稳得一笔,可一到线上就抽风,不是缺这个就是少那个反正就是一顿报错,而线上调试代码又很麻烦,让人头疼得很。不过, 阿里巴巴出了一款名叫Arthas的工具,可以在线分析诊断Java代码,让人眼前一亮。 ❞ Arthas 是什么? Arthas(阿尔萨斯) 是阿里开源的一个Java在线分析诊断工具。 Arthas 能解决啥问题? 在日常开...

  • 源码包管理 任务计划——at cron

    一、文件管理 1、源码包管理 (1)概述 Source Code 源代码经过GCC、C++编译环境编译才能运行 可以设定个人设置,开关功能 (2)源码包管理 获取源码包——官网下载到真机,然后 rz 命令上传到虚拟机 ——在网上找到软件包的下载链接,直接 “ wget 链接 ” 就可以下载了 (3)示例——部署 Tengine 下载源码包的命令 [root@localhost ~]# wge...

  • 前端路 - Webpack

    概述 本质 JavaScript 应用程序的静态模块打包器 核心 加载器(Loader)机制 工作流程 配置初始化 webpack 会首先读取配置文件,执行默认配置 编译前准备 webpack 会实例化 compiler,注册 plugins、resolverFactory、hooks。 reslove 前准备 webpack 实例化 compilation、NormalModuleFact...

  • Java异常面试题(2020最新版)

    文章目录 Java异常架构与异常关键字 Java异常简介 Java异常架构 1. Throwable 2. Error(错误) 3. Exception(异常) 运行时异常 编译时异常 4. 受检异常与非受检异常 受检异常 非受检异常 Java异常关键字 Java异常处理 声明异常 抛出异常 捕获异常 如何选择异常类型 常见异常处理方式 直接抛出异常 封装异常再抛出 捕获异常 自定义异常 t...

  • 数据结构(53) 顺序查找、二分查找、分块查找(索引顺序查找)

    目录 1、顺序查找 1.1、一般线性表的顺序查找 1.2、有序表的顺序查找 2、折半查找 3、分块查找 1、顺序查找 顺序查找又称线性查找,主要用于在线性表中进行查找。顺序查找通常分为对一般的无序线性表的顺序查找和对按关键字有序的顺序表的顺序查找。下面分别进行讨论。 1.1、一般线性表的顺序查找 作为一种最直观的查找方法,其基本思想是从线性表的一端开始,逐个检查关键字是否满足给定的条件。若查...

  • 爱了,3174页实战pdf集锦:Redis+多线程+Dubbo+JVM+kafka+MySQL

    写在前面 作为一名Java开发者,在现在这个信息化时代很快的时代,很少会有人停下脚步去思考以及去总结,忽略了很重要的一个步骤,没有反思和总结,只会用原来固有的想法去做事情,所以还是需要隔一段时间去总结。LZ今天总结了自己在平时会用到的一些: 01—Redis实战 在Redis诞生数年之后的今天,这个项目已经发生了显著的变化:我们现在拥有了一个更为健壮的系统,并且随着Redis 2.6的发布,...

  • 单位脉冲信号与单位冲激信号的区别

    以下内容来自自己回答的zhihu,zhihu已经注销,所以记录到本博客中进行备份。 @湛蓝的定义与教科书中写得非常一致,分别是来自: 《信号与系统》-上册-第三版-郑君里 《自动控制原理》-第四版-胡寿松 从定义来看,这两个出处的定义确实不同,并且所在领域也不同 先来看 《信号与系统》-第三版-上册-郑君里-P18的定义: 《信号与系统》-第三版-上册-郑君里-P20的定义: 《信号与系统》...

  • 字节跳动三面拿offer:网络+IO+redis+JVM+GC+红黑树+数据结构

    5G的到来证明了互联网行业发展一如既往的快,作为一名开发人员(Java岗)梦想自然是互联网行业的大厂,这次有幸获得面试字节跳动的机会,为此我也做出了准备在面试前一个月就开始做准备了,也很荣幸的拿到了字节跳动的offer,这里分享一份字节跳动三面过程! 字节一面: hashmap,怎么扩容,怎么处理数据冲突?怎么高效率的实现数据迁移? Linux的共享内存如何实现,大概说了一下。 socket...

华为云40多款云服务产品0元试用活动

免费套餐,马上领取!
CSDN

CSDN

中国开发者社区CSDN (Chinese Software Developer Network) 创立于1999年,致力为中国开发者提供知识传播、在线学习、职业发展等全生命周期服务。