百度工程师带你探秘C++内存管理(理论篇)

在互联网的服务中,C++常用于搭建高性能、高并发、大流量、低延时的后端服务。如何合理的分配内存满足系统高性能需求是一个高频且重要的话题,而且因为内存自身的特点和实际问题的复杂,组合出了诸多难题。

我们可以对内存进行多种类型的划分,从内存申请大小来看

  1. 小对象分配:小于4倍内存页大小的内存分配,在4KiB页大小情况下,<16KiB算作小对象分配;

  2. 大对象分配:大于等于4倍内存页大小的内存分配,在4KiB页大小情况下,>=16KiB算作大对象分配。

从一块内存的被持有时长来看

  1. 后端一次请求内甚至更短时间申请和释放

  2. 任意时间窗口内内存持有和更新

  3. 几乎与应用进程等长的内存持有和更新

  4. 某个进程消亡后一段时间内,由该进程申请的仍具有意义的内存持有和释放

当然还可以按照内存申请释放频率、读写频率进行进一步的分类。

内存管理服务于应用系统,目的是协助系统更好的解决瓶颈问题,比如对于『如何降低后端响应的延迟和提高稳定性』内存管理可能要考虑的是:

  1. 处理内存读写并发(读频繁or写频繁)降低响应时间和CPU消耗

  2. 应用层的内存的池化复用

  3. 底层内存向系统申请的内存块大小及内存碎片化

每一个问题展开可能都是一个比较大的话题,本文作为系列文章《探秘C++内存管理》的开篇,先介绍Linux C++程序内存管理的理论基础。后续会继续解密C++程序常用的内存管理库的实现原理,包括ptmalloc,jemalloc,tcmalloc等,介绍当前业界流行的内存分配器如何管理C++程序的内存。了解内存分配器原理,更有助于工程师在实践中降低处理内存使用问题的成本,根据系统量身打造应用层的内存管理体系。


一、Linux内存管理

GEEK TALK

Linux自底向上大致可以被划分为:

  • 硬件(Physical Hardware)

  • 内核层(Kernel Space)

  • 用户层(User Space)

640_21.png

△图1:Linux结构

内核模块在内核空间中运行,应用程序在用户空间中运行,二者的内存地址空间不重叠。这种方法确保在用户空间中运行的应用程序具有一致的硬件视图,而与硬件平台无关。用户空间通过使用系统调用以可控的方式使内核服务,如:陷入内核态,处理缺页中断。

Linux的内存管理系统自底向上大致可以被划分为:

  • 内核层内存管理 : 在 Linux 内核中 , 通过内存分配函数管理内存:

    • kmalloc()/__get_free_pages():申请较小内存(kmalloc()以字节为单位,__get_free_pages()以一页128K为单位),申请的内存位于物理内存的映射区域,而且在物理上也是连续的,它们与真实的物理地址只有一个固定的偏移。

    • vmalloc():申请较大内存,虚拟内存空间给出一块连续的内存区,但不保证物理内存连续,开销远大于__get_free_pages(),需要建立新的页表。

  • 用户层内存管理:通过调用系统调用函数(brk、mmap等),实现常用的内存管理接口(malloc, free, realloc, calloc)管理内存;经典内存管理库ptmalloc2、tcmalloc、jemalloc。

  • 应用程序通过内存管理库或直接调用系统内存管理函数分配内存,根据应用程序本身的程序特性进行使用,如:单个变量内存申请和释放、内存池化复用等。

至此单个进程可以使用Linux提供的内存划分顺利的运行,从用户程序来看Linux进程的内存模型大致如下所示: