526互联

【无为原创】万字图文详解java的堆内存及OOM的解决方案，看完还不懂，从此绝笔不写了！

发布时间 2023-11-20 17:14:43作者: 沧海一滴

 

 

目录如下:

什么是JVM的堆
    是不是所有的Java对象都放在堆上?
    线程和堆的关系
堆的内部结构
    面试题
    新生代与老年代
如何设置堆的大小?
    新生代与老年代的比例
    设置Eden、幸存者的比例
    常用参数
对象分配
    金句：
    分配过程
        内存分配策略（或对象提升(promotion)规则):
    对象分配原则
Minor GC 、Major GC、Full GC
    Minor GC触发机制
    老年代GC（Major GC/Full GC）触发机制：
    Full GC触发机制：
OOM如何解决
为什么需要把Java堆分代？不分代就不能正常工作了吗？
    什么是TLAB(快速分配策略)？
    为什么有TLAB（Thread Local Allocation Buffer）快速分配策略？
    什么是TLAB？
    TLAB的说明：

什么是JVM的堆

  • 一个JVM实例只存在一个堆内存，堆也是Java内存管理的核心区域。
  • Java 堆区在JVM启动的时候即被创建，其空间大小也就确定了。是JVM管理的最大一块内存空间。
  • 堆内存的大小是可以调节的。
  • 《Java虚拟机规范》规定，堆可以处于物理上不连续的内存空间中，但在逻辑上它应该被视为连续的。
  • 堆，是GC ( Garbage Collection，垃圾收集器）执行垃圾回收的重点区域。
  • 在方法结束后，堆中的对象不会马上被移除，仅仅在垃圾收集的时候才会被移除。

是不是所有的Java对象都放在堆上?

《Java虚拟机规范》中对Java堆的描述是：所有的对象实例以及数组都应当在运行时分配在堆上。（The heap is the run-time data area from which memory for all class instances and arrays is allocated ) 数组和对象可能永远不会存储在栈上，因为栈帧中保存引用，这个引用指向对象或者数组在堆中的位置。

我要说的是：“几乎”所有的对象实例都在这里分配内存。——从实际使用角度看的。

举例：

public class SimpleHeap {
    private int id;

    public SimpleHeap(int id) {
        this.id = id;
    }

    public void show() {
        System.out.println("My ID is " + id);
    }

    public static void main(String[] args) {
        SimpleHeap sl = new SimpleHeap(1);
        SimpleHeap s2 = new SimpleHeap(2);
    }
}

 

 

线程和堆的关系

所有的线程共享Java堆，在这里还可以划分线程私有的缓冲区（Thread Local Allocation Buffer, TLAB)。

堆的内部结构

现代垃圾收集器大部分都基于分代收集理论设计，堆空间细分为：

 

  • Java 7及之前堆内存逻辑上分为三部分：新生区+养老区+永久区
    • Young Generation Space 新生区 Young/New
      • 又被划分为Eden区和Survivor区
  • Tenure generation space 养老区 Old/Tenure
  • Permanent Space 永久区 Perm

 

 

  • Java 8及之后堆内存逻辑上分为三部分：新生区+养老区+元空间
    • Young Generation Space 新生区 Young/New
      • 又被划分为Eden区和Survivor区
    • Tenure generation space 养老区 Old/Tenure
    • Meta Space 元空间 Meta

约定： 新生区<=>新生代<=>年轻代
养老区<=>老年区<=>老年代
永久区<=>永久代

面试题

  • Java 堆的结构是什么样子的？（猎聘）
  • JVM内存为什么要分成新生代，老年代，持久代。新生代中为什么要分为Eden和Survivor（字节跳动）
  • 堆里面的分区：Eden，survival （from+ to），老年代，各自的特点。（京东-物流）
  • 堆的结构？为什么两个survivor区？ (蚂蚁金服)
  • Eden和Survior的比例分配 (蚂蚁金服)
  • JVM内存分区，为什么要有新生代和老年代 (小米)
  • JVM的内存结构，Eden和Survivor比例。 (京东)
  • JVM内存为什么要分成新生代，老年代，持久代。新生代中为什么要分为Eden和Survivor。 (京东)
  • JVM内存分区，为什么要有新生代和老年代？ (美团)
  • JVM的内存结构，Eden和Survivor比例。 (京东)

新生代与老年代

  • 存储在JVM中的Java对象可以被划分为两类：
    • 一类是生命周期较短的瞬时对象，这类对象的创建和消亡都非常迅速
    • 另外一类对象的生命周期却非常长，在某些极端的情况下还能够与JVM的生命周期保持一致。
  • Java堆区进一步细分的话，可以划分为年轻代（YoungGen）和老年代（OldGen）
  • 其中年轻代又可以划分为Eden空间、Survivor0空间和Survivor1空间（有时也叫做from区、to区）。

 

 

几乎所有的Java对象都是在Eden区被new出来的。 绝大部分的Java对象的销毁都在新生代进行了。 IBM 公司的专门研究表明，新生代中 80% 的对象都是“朝生夕死”的。

如何设置堆的大小?

新生代与老年代的比例

 

 

  • 配置新生代与老年代在堆结构的占比。
    • 默认-XX:NewRatio=2，表示新生代占1，老年代占2，新生代占整个堆的1/3
    • 可以修改-XX:NewRatio=4，表示新生代占1，老年代占4，新生代占整个堆的1/5
  • 可以使用选项”-Xmn”设置新生代最大内存大小 这个参数一般使用默认值就可以了。

设置Eden、幸存者的比例

  • 在HotSpot中，Eden空间和另外两个Survivor空间缺省所占的比例是8:1:1
  • 当然开发人员可以通过选项“-XX:SurvivorRatio”调整这个空间比例。比如-XX:SurvivorRatio=8

常用参数

堆空间大小的设置： 
-Xms:初始内存 （默认为物理内存的1/64）；
-Xmx:最大内存（默认为物理内存的1/4）；

设置新生代的大小。(初始值及最大值)
-Xmn
通常默认即可。

配置新生代与老年代在堆结构的占比。赋的值即为老年代的占比，剩下的1给新生代
默认-XX:NewRatio=2，表示新生代占1，老年代占2，新生代占整个堆的1/3
-XX:NewRatio=4，表示新生代占1，老年代占4，新生代占整个堆的1/5

在HotSpot中，Eden空间和另外两个Survivor空间缺省所占的比例是8：1
开发人员可以通过选项“-XX:SurvivorRatio”调整这个空间比例。比如-XX:SurvivorRatio=8

设置新生代垃圾的最大年龄。超过此值，仍未被回收的话，则进入老年代。
默认值为15
-XX:MaxTenuringThreshold=0：表示年轻代对象不经过Survivor区，直接进入老年代。对于老年代比较多的应用，可以提高效率。
如果将此值设置为一个较大值，则年轻代对象会在Survivor区进行多次复制，这样可以增加对象在年轻代的存活时间，增加在年轻代即被回收的概率。

输出详细的GC处理日志
-XX:+PrintGcDetail

-XX:HandlePromotionFailure
在发生Minor GC之前，虚拟机会检查老年代最大可用的连续空间是否大于新生代所有对象的总空间，
 如果大于，则此次Minor GC是安全的
 如果小于，则虚拟机会查看-XX:HandlePromotionFailure设置值是否允许担保失败。
如果HandlePromotionFailure=true，那么会继续检查老年代最大可用连续空间是否大于历次晋升到老年代的对象的平均大小，如果大于，则尝试进行一次Minor GC，但这次Minor GC依然是有风险的；如果小于或者HandlePromotionFailure=false，则改为进行一次Full GC。
----------------------------
在JDK 6 Update 24之后，HandlePromotionFailure参数不会再影响到虚拟机的空间分配担保策略，观察OpenJDK中的源码变化，虽然源码中还定义了HandlePromotionFailure参数，但是在代码中已经不会再使用它。JDK 6 Update 24之后的规则变为只要老年代的连续空间大于新生代对象总大小或者历次晋升的平均大小就会进行Minor GC，否则将进行Full GC。

-XX:+PrintFlagsFinal  ：查看所有的参数的最终值（可能会存在修改，不再是初始值）
具体查看某个参数的指令：  jps：查看当前运行中的进程
                      jinfo -flag SurvivorRatio 进程id

对象分配

为新对象分配内存是一件非常严谨和复杂的任务，JVM的设计者们不仅需要考虑内存如何分配、在哪里分配等问题，并且由于内存分配算法与内存回收算法密切相关，所以还需要考虑GC执行完内存回收后是否会在内存空间中产生内存碎片。

金句：

针对幸存者s0,s1区的总结：复制之后有交换，谁空谁是to. 关于垃圾回收： 频繁在新生区收集 很少在养老区收集 几乎不在永久区/元空间收集

 

 

分配过程

1.new的对象先放伊甸园区。此区有大小限制。

2.当伊甸园的空间填满时，程序又需要创建对象，JVM的垃圾回收器将对伊甸园区进行垃圾回收(Minor GC/YGC)，将伊甸园区中的不再被其他对象所引用的对象进行销毁。再加载新的对象放到伊甸园区

3.然后将伊甸园中的剩余对象移动到幸存者0区。

4.如果再次触发垃圾回收，此时上次幸存下来的放到幸存者0区的，如果没有回收，就会放到幸存者1区。

5.如果再次经历垃圾回收，此时会重新放回幸存者0区，接着再去幸存者1区。

6.啥时候能去养老区呢？可以设置次数。默认是15次。

可以设置参数：-XX:MaxTenuringThreshold= 设置对象晋升老年代的年龄阈值。 7.在养老区，相对悠闲。当养老区内存不足时，再次触发GC：Major GC，进行养老区的内存清理。

8.若养老区执行了Major GC之后发现依然无法进行对象的保存，就会产生OOM异常

java.lang.OutOfMemoryError: Java heap space

 

内存分配策略（或对象提升(promotion)规则):

如果对象在Eden 出生并经过第一次MinorGC 后仍然存活，并且能被Survivor 容纳的话，将被移动到Survivor 空间中，并将对象年龄设为1 。对象在Survivor 区中每熬过一次MinorGC ， 年龄就增加1岁，当它的年龄增加到一定程度（默认为15 岁，其实每个JVM、每个GC都有所不同）时，就会被晋升到老年代中。

对象分配原则

针对不同年龄段的对象分配原则如下所示：

  • 优先分配到Eden
  • 大对象直接分配到老年代
    • 尽量避免程序中出现过多的大对象
  • 长期存活的对象分配到老年代
  • 动态对象年龄判断
    • 如果Survivor 区中相同年龄的所有对象大小的总和大于Survivor空间的一半，年龄大于或等于该年龄的对象可以直接进入老年代，无须等到 MaxTenuringThreshold 中要求的年龄。
  • 空间分配担保
    • -XX:HandlePromotionFailure
/** 测试：大对象直接进入老年代
 * -Xms60m -Xmx60m -XX:NewRatio=2 -XX:SurvivorRatio=8 -XX:+PrintGCDetails
 */
public class YoungOldAreaTest {
    public static void main(String[] args) {
        byte[] buffer = new byte[1024 * 1024 * 20];//20m

    }
}

 

 

Minor GC 、Major GC、Full GC

JVM在进行GC时，并非每次都对上面三个内存(新生代、老年代；方法区)区域一起回收的，大部分时候回收的都是指新生代。

针对HotSpot VM的实现，它里面的GC按照回收区域又分为两大种类型：

  • 一种是部分收集（Partial GC）
  • 一种是整堆收集（Full GC）

部分收集：不是完整收集整个Java堆的垃圾收集。 其中又分为：

  • 新生代收集（Minor GC / Young GC）：只是新生代（Eden\S0,S1）的垃圾收集
  • 老年代收集（Major GC / Old GC）：只是老年代的垃圾收集。

目前，只有CMS GC会有单独收集老年代的行为。 注意，很多时候Major GC会和Full GC混淆使用，需要具体分辨是老年代回收还是整堆回收。 混合收集（Mixed GC)：收集整个新生代以及部分老年代的垃圾收集。 目前，只有G1 GC会有这种行为 整堆收集（Full GC)：收集整个java堆和方法区的垃圾收集。

Minor GC触发机制

  • 当年轻代空间不足时，就会触发Minor GC。这里的年轻代满指的是Eden区满，Survivor满不会引发GC。（每次 Minor GC 会清理年轻代的内存。)
  • 因为 Java 对象大多都具备朝生夕灭的特性，所以 Minor GC 非常频繁，一般回收速度也比较快。这一定义既清晰又易于理解。
  • Minor GC会引发STW，暂停其它用户的线程，等垃圾回收结束，用户线程才恢复运行。

 

 

老年代GC（Major GC/Full GC）触发机制：

  • 指发生在老年代的GC，对象从老年代消失时，我们说“Major GC”或“Full GC”发生了。

    • 出现了Major GC，经常会伴随至少一次的Minor GC（但非绝对的，在Parallel Scavenge收集器的收集策略里就有直接进行Major GC的策略选择过程）。
    • 也就是在老年代空间不足时，会先尝试触发Minor GC。如果之后空间还不足，则触发Major GC

  • Major GC的速度一般会比Minor GC慢10倍以上，STW的时间更长。

  • 如果Major GC 后，内存还不足，就报OOM了。

    Full GC触发机制：

    触发Full GC 执行的情况有如下五种：

（1）调用System.gc()时，系统建议执行Full GC，但是不必然执行

（2）老年代空间不足

（3）方法区空间不足

（4）通过Minor GC后进入老年代的平均大小大于老年代的可用内存

（5）由Eden区、survivor space0（From Space）区向survivor space1（To Space）区复制时，对象大小大于To Space可用内存，则把该对象转存到老年代，且老年代的可用内存小于该对象大小

说明：full gc是开发或调优中尽量要避免的。这样暂时时间会短一些。

public class OOMTest {
    public static void main(String[] args) {
        String str = "www.atguigu.com";
        //将参数调整的小一些，这样问题会出现的比较早。
        // -Xms8m -Xmx8m -XX:+PrintGCDetails
        while(true){
            str += str + new Random().nextInt(88888888) +
                    new Random().nextInt(999999999);
        }
    }
}
/**

 * 测试MinorGC 、 MajorGC、FullGC
 * -Xms10m -Xmx10m -XX:+PrintGCDetails
 */
public class GCTest {
    public static void main(String[] args) {
        int i = 0;
        try {
            List<String> list = new ArrayList<>();
            String a = "atguigu.com";
            while (true) {
                list.add(a);
                a = a + a;
                i++;
            }
        } catch (Throwable t) {
            t.printStackTrace();
            System.out.println("遍历次数为：" + i);
        }
    }
}

OOM如何解决

1、要解决OOM异常或heap space的异常，一般的手段是首先通过内存映像分析工具（如Eclipse Memory Analyzer）对dump 出来的堆转储快照进行分析，重点是确认内存中的对象是否是必要的，也就是要先分清楚到底是出现了内存泄漏（Memory Leak）还是内存溢出（Memory Overflow）。

2、如果是内存泄漏，可进一步通过工具查看泄漏对象到GC Roots 的引用链。于是就能找到泄漏对象是通过怎样的路径与GC Roots 相关联并导致垃圾收集器无法自动回收它们的。掌握了泄漏对象的类型信息，以及GC Roots 引用链的信息，就可以比较准确地定位出泄漏代码的位置。

3、如果不存在内存泄漏，换句话说就是内存中的对象确实都还必须存活着，那就应当检查虚拟机的堆参数（-Xmx 与-Xms），与机器物理内存对比看是否还可以调大，从代码上检查是否存在某些对象生命周期过长、持有状态时间过长的情况，尝试减少程序运行期的内存消耗。

为什么需要把Java堆分代？不分代就不能正常工作了吗？

其实不分代完全可以，分代的唯一理由就是优化GC性能。如果没有分代，那所有的对象都在一块，就如同把一个学校的人都关在一个教室。GC的时候要找到哪些对象没用，这样就会对堆的所有区域进行扫描。而很多对象都是朝生夕死的，如果分代的话，把新创建的对象放到某一地方，当GC 的时候先把这块存储“朝生夕死”对象的区域进行回收，这样就会腾出很大的空间出来。

什么是TLAB(快速分配策略)？

为什么有TLAB（Thread Local Allocation Buffer）快速分配策略？

  • 堆区是线程共享区域，任何线程都可以访问到堆区中的共享数据
  • 由于对象实例的创建在JVM中非常频繁，因此在并发环境下从堆区中划分内存空间是线程不安全的
  • 为避免多个线程操作同一地址，需要使用加锁等机制，进而影响分配速度。

所以，多线程同时分配内存时，使用TLAB可以避免一系列的非线程安全问题，同时还能够提升内存分配的吞吐量，因此我们可以将这种内存分配方式称之为快速分配策略。

什么是TLAB？

从内存模型而不是垃圾收集的角度，对Eden区域继续进行划分，JVM为每个线程分配了一个私有缓存区域，它包含在Eden空间内。 据我所知所有OpenJDK衍生出来的JVM都提供了TLAB的设计。

 

 

TLAB的说明：

  • 尽管不是所有的对象实例都能够在TLAB中成功分配内存，但JVM确实是将TLAB作为内存分配的首选。
  • 在程序中，开发人员可以通过选项“-XX:+/-UseTLAB”设置是否开启TLAB空间。
  • 默认情况下，TLAB空间的内存非常小，仅占有整个Eden空间的1%，当然我们可以通过选项“-XX:TLABWasteTargetPercent”设置TLAB空间所占用Eden空间的百分比大小。
  • 一旦对象在TLAB空间分配内存失败时，JVM就会尝试着通过使用加锁机制确保数据操作的原子性，从而直接在Eden空间中分配内存。

 

 

 

 

https://zhuanlan.zhihu.com/p/445716284