


1. Java4Shell(CVE-2026-114938) 취약점 개요
Java는 국내에서 널리 사용되며, 웹 서비스와 기업용 애플리케이션의 주요 언어이다. 이런 애플리케이션은 인증 정보나 파일 내용을 처리할 때 JDK의 java.util.Base64 API를 사용할 수 있다. Java4Shell은 이 API 호출이 HotSpot의 x86-64 AVX-512 디코더로 최적화되는 경로에서 발생하는 힙 메모리 손상 취약점이다.

Oracle 보안 공지는 이 취약점을 Compiler 컴포넌트의 문제로 분류하고, CVSS 3.1 기준 8.1점을 부여했다. 외부에서 받은 데이터가 취약한 API에 전달되면 인증 없이 원격으로 악용될 수 있다고 평가한다.
취약한 디코더는 잘못된 Base64 입력의 짧은 패딩을 처리하면서 출력 배열의 경계를 넘어 힙 메모리에 기록한다. 이후 Java 코드가 IllegalArgumentException을 던져도 이미 발생한 쓰기는 되돌릴 수 없다. 이번 분석에서는 배열 경계 밖 쓰기, 인접 객체 손상, JVM 크래시를 직접 확인했다. Oracle은 공격에 성공하면 영향받는 제품을 장악할 수 있다고 설명한다.
실제 노출 여부는 JDK 버전만으로 결정되지 않는다. 애플리케이션이 외부 입력을 Base64 디코더에 전달하고, 필요한 AVX-512 기능을 지원하는 x86-64 환경에서 취약한 최적화 코드가 실행돼야 한다. 원격 코드 실행 가능성은 애플리케이션의 입력 처리 방식과 이후 실행 경로, 힙 배치에 따라 달라진다.
이 글에서는 입력이 디코더를 거쳐 배열 밖 쓰기로 이어지는 과정과 패치가 이를 막는 방식을 소스코드와 재현 결과로 살펴본다.
발견과 공개 경과
2026년 6월, JDK 21 운영 환경에서 발생한 JVM 크래시가 보고됐다. 당시 원인은 알려지지 않았지만, 9월 공개된 수정 초안에서 AVX-512 Base64 디코더의 배열 경계 밖 쓰기가 확인됐다. 관련 공개 기록을 시간순으로 정리했다.
날짜 | 공개 기록에서 확인되는 내용 |
|---|---|
2026-06-09 | JDK 21 운영 환경의 반복적인 JVM 크래시가 Adoptium에 신고됐다. 당시 신고 내용에는 GC 작업 중 발생한 충돌이 기록돼 있다. Adoptium 이슈 |
2026-06-16 | 이슈 담당자가 JBS의 |
2026-09-09~10 |
|
2026-09-16 | 수정안 작성자가 Oracle의 승인을 기다린다고 공개 댓글에 밝혔다. 이슈 댓글 |
2026-10-01 | 수정안 작성자가 승인 전 PR을 진행하지 말라는 이메일을 Oracle에서 받았다고 공개 댓글에 밝혔다. 이슈 댓글 |
2026-10-28 | 수정안 작성자가 Oracle이 이 사안을 인계받았다고 공개 댓글에 밝혔다. 이슈 댓글 |
2026-11-04 | 공개 수정 초안 PR이 병합되지 않은 상태로 닫혔다. PR 기록 |
2026-11-17 | Oracle이 11월 보안 업데이트에서 |
2. 기술적 배경
OpenJDK와 Java 실행 환경
OpenJDK는 Java SE를 구현하는 오픈소스 프로젝트다. OpenJDK가 만드는 JDK에는 javac 같은 개발 도구, 표준 라이브러리, Java 프로그램을 실행하는 JVM이 들어 있다. 표준 라이브러리는 애플리케이션이 호출할 클래스를 제공하고, JVM은 코드 실행과 메모리 관리를 맡는다. java.lang과 java.util 등이 속한 java.base는 표준 라이브러리의 기본 모듈이다.
JRE는 Java 프로그램 실행에 필요한 JVM과 라이브러리를 묶은 배포 형태다. JDK에도 이 실행 환경이 포함돼 있으므로 별도 JRE 없이 프로그램을 실행할 수 있다.
HotSpot과 JIT 컴파일
JVM은 Java 바이트코드를 실행하는 가상 머신을 말한다. 이번 분석에 사용한 OpenJDK 빌드에서는 HotSpot이 JVM 구현을 맡는다. HotSpot에는 바이트코드를 해석해 실행하는 인터프리터, 자주 실행되는 코드를 기계어로 바꾸는 JIT 컴파일러, Java 힙을 관리하는 GC 등이 포함된다.
HotSpot의 계층형 컴파일에는 C1과 C2가 사용된다. C1은 실행 정보를 수집하면서 빠르게 컴파일하고, C2는 수집된 정보를 바탕으로 더 적극적인 최적화를 수행한다. HotSpot은 일부 라이브러리 호출을 별도로 준비한 최적화 코드로 대체하기도 한다. 이런 치환을 intrinsic이라고 한다. 실제 실행 경로는 JVM 설정과 CPU 기능에 따라 달라진다.
3. 근본 원인 분석
ava 코드에서 AVX-512 디코더까지
OpenJDK jdk-17.0.6+10의 실제 코드를 따라 java.util.Base64.Decoder.decode(byte[]) 호출이 HotSpot 디코더에 연결되는 과정을 살펴본다.
decode(byte[])는 입력 배열 src를 받고, decodedOutLength()가 계산한 크기로 결과 배열 dst를 만든다. 이어 decode0()이 기록한 바이트 수를 ret으로 받아 반환할 배열의 길이를 맞춘다.
실제 디코딩은 decode0()에서 진행된다. sp는 다음에 읽을 입력 위치, sl은 입력의 끝, dp는 다음에 쓸 출력 위치다. 새 Base64 묶음을 읽을 수 있고 입력이 충분히 남아 있으면 decodeBlock()이 빠른 경로를 맡는다. 반환된 바이트 수 dl로 소비한 입력 문자 수를 계산한 뒤, sp와 dp를 갱신한다.
decodeBlock()은 입력을 네 문자씩 읽어 세 바이트로 바꾼다. sl0는 네 문자 단위로 처리할 수 있는 범위의 끝이다. 잘못된 문자나 패딩 =를 만나면 그전까지 만든 바이트 수를 반환한다. 메서드의 @IntrinsicCandidate는 HotSpot이 이 Java 구현을 내부 루틴으로 대체할 수 있음을 표시한다.
C2가 intrinsic을 적용하면 decodeBlock()의 Java 루프 대신 inline_base64_decodeBlock()이 만든 디코더 스텁 호출을 사용한다. src_start와 dest_start는 각 배열의 첫 데이터 바이트 주소다.make_runtime_call()은 이 주소와 입력 범위, 출력 위치 등을 전달한다. 호출 인자에는 dst.length가 포함되지 않는다.
HotSpot은 UseBASE64Intrinsics가 활성화되면 x86-64 디코더 루틴을 생성해 스텁 주소에 등록한다.
스텁은 CPU 기능과 입력 조건에 따라 내부 경로를 선택한다. 이 버전의 x86-64 스텁은 AVX-512 VBMI/BW를 지원하더라도 입력 길이가 128바이트 이하이거나 MIME 디코더이면 다른 경로로 분기한다.
패딩 처리 오류와 경계 초과 쓰기
취약점이 발생하는 과정을 살펴보기 위해 입력을 A 128개 뒤에 = 하나를 붙인 129바이트로 가정한다. 마지막 = 패딩이 혼자 남으므로 올바른 Base64 입력은 아니다. 아래 분석은 OpenJDK jdk-17.0.6+10에서 일반 Base64 디코더가 앞 절의 AVX-512 경로로 실행되는 경우를 기준으로 한다.
출력 배열과 남은 입력
decode()는 decodedOutLength()의 반환값으로 dst를 할당한다. 이번 입력은 len=129, paddings=1이므로 반환값은 3 × ((129 + 3) / 4) − 1 = 98이다. 배열 크기를 계산하는 이 단계에서는 단독 =의 형식을 아직 검사하지 않는다.
입력 길이 129바이트와 일반 디코더의 isMIME=0은 앞서 본 분기 조건을 만족한다. 따라서 스텁은 AVX-512 경로로 진행한다.
스텁은 A 128개를 64개씩 두 번 처리한다. 한 번에 입력 64바이트가 출력 48바이트로 바뀌며 dest도 48바이트 전진한다. 두 번째 블록까지 끝나면 dst[0..95]에 96바이트가 기록되고, 남은 입력은 = 한 바이트다.
패딩이 출력 크기를 음수로 만드는 지점
남은 입력은 L_finalBit으로 이어진다. 여기서 length=1로 만든 입력 마스크(Input Mask)는 0x1이고, 네 문자당 세 바이트를 만드는 계산으로 구한 output_size는 0이다. 마지막 문자가 =이므로 L_padding으로 분기한다.
L_padding은 패딩 한 글자를 반영해 output_size에서 1을 뺀다. 이미 0이던 값이 −1이 되고, 입력 마스크는 오른쪽으로 한 비트 이동해 0이 된다. 앞 문자가 A이므로 L_donePadding으로 돌아간다.
입력 마스크와 배열 경계 밖 쓰기
L_donePadding은 음수가 된 output_size를 출력 마스크(Output Mask) 계산에 사용한다. bzhiq의 비트 위치로 사용되는 −1의 하위 8비트는 0xff, 즉 255다. 이 값은 64비트 피연산자 너비보다 커서, 처음에 모든 비트가 1이었던 output_mask가 0xffffffffffffffff로 남는다.
입력 마스크가 0이 되면서 마지막 =는 벡터에 적재되지 않는다. 스텁은 빈 입력 칸을 유효한 Base64 문자 a로 채워 오류 검사를 통과한다. 반면 출력 마스크는 64바이트 전체를 활성화해, 디코딩된 값을 dst[96..159]에 저장한다.
dst의 길이는 98이므로 dst[96..97] 두 바이트만 배열 안에 있다. dst[98..159]의 62바이트는 배열 경계를 넘는다. 압축 클래스 포인터를 사용하는 64비트 HotSpot에서 이 배열은 헤더 16바이트와 데이터 98바이트를 합쳐 114바이트이며, 8바이트 정렬 후 120바이트를 차지한다. 따라서 경계를 넘은 쓰기 중 6바이트는 정렬 공간에, 56바이트는 객체 밖의 힙 영역에 닿는다.

객체 밖으로 나간 56바이트가 인접한 Java 객체의 헤더와 데이터를 덮으면, 클래스 정보가 손상돼 객체 접근이나 GC 처리 중 JVM 크래시가 발생할 수 있다. 또한 인접 객체가 배열이고 변조된 길이 필드를 사용한 접근이 계속된다면, 2차 경계 밖 읽기·쓰기를 통해 다른 데이터가 노출되거나 추가로 손상될 수 있다.
패치
이 취약점의 파급력은 크지만, 패치는 매우 간단하였다. OpenJDK 17u는 HotSpot의 AVX-512 Base64 디코더가 64바이트 블록 처리 후 남은 입력을 다루는 L_finalBit에 길이 검사 두 줄을 추가하였다. 남은 입력이 4바이트 미만이면 L_bruteForce로 분기해 출력 마스크 계산을 건너뛴다.
분석 입력에서는 A 128개를 처리한 뒤 = 한 바이트만 남는다. 패치 후에는 length=1이므로 새 분기를 타고, 스텁은 추가 바이트를 기록하지 않은 채 이미 디코딩한 96바이트를 반환한다. 이어 Java의 decode0()이 남은 =를 잘못된 패딩으로 거부한다. 따라서 output_size가 −1이 되는 계산과 배열 밖으로 이어지는 마지막 벡터 저장은 실행되지 않는다.
4. 대응 방안
이번 취약점은 특정 프레임워크가 아닌 HotSpot의 Base64 디코더에 존재한다. OpenJDK 17.0.6 이후 버전과 Java 21·25·27 계열을 사용하는 환경에서는 배포판과 애플리케이션 종류에 관계없이 취약한 코드가 포함됐는지 확인해야 한다.
취약점 영향 범위
Oracle의 보안 공지에 명시된 영향 빌드와 수정 버전을 기준으로 정리했다. 이전 버전까지의 영향 범위는 CERT-EU 권고문을 함께 참고했다. 표의 수정 버전은 Oracle JDK 기준이다.
Java Branch | Affected Version | Patched Version |
|---|---|---|
Java 17 | 17.0.6 이상 17.0.21.0.3 이하 | 17.0.21.1 |
Java 21 | 21 이상 21.0.13.0.3 이하 | 21.0.13.1 |
Java 25 | 25 이상 25.0.5.0.3 이하 | 25.0.5.1 |
Java 27 | 27 이상 27.0.1.0.3 이하 | 27.0.1.1 |
보안 업데이트 적용
외부 입력을 처리하는 Java 서비스부터 다음 Oracle JDK 버전 이상으로 교체해야 한다.
Oracle JDK 17: 17.0.21.1
Oracle JDK 21: 21.0.13.1
Oracle JDK 25: 25.0.5.1
Oracle JDK 27: 27.0.1.1
Temurin, Corretto, Zulu, Microsoft Build of OpenJDK 등은 자체 빌드 번호와 배포 일정이 적용된다. 해당 배포판의 보안 공지에서 CVE-2026-114938 수정이 포함됐는지 확인해야 한다.
JDK를 업데이트해도 실행 중인 JVM에는 변경 사항이 자동으로 반영되지 않는다. 웹 애플리케이션 서버를 비롯한 Java 서비스와 관련 백그라운드 프로세스를 모두 재시작해야 한다.
컨테이너와 Kubernetes 환경에서는 수정된 JDK 기반 이미지로 애플리케이션을 다시 빌드한 뒤 컨테이너 또는 Pod를 교체해야 한다. 호스트의 JDK를 업데이트하더라도 이미지 내부에 포함된 런타임은 변경되지 않는다.
셸에서 실행한 java -version은 서비스가 실제로 사용하는 JVM과 다를 수 있다. 실행 중인 프로세스의 버전은 jcmd를 사용할 수 있다면 다음과 같이 확인한다. 아래 12345는 서비스의 PID 예시다.
임시 조치 방안
즉시 업데이트하기 어려운 경우에는 다음 임시 조치를 적용하여 확인된 공격 경로의 노출을 막을 수 있다.
JVM 실행 옵션에 다음 값을 추가하면 취약한 Base64 하드웨어 가속 경로를 비활성화할 수 있다.
환경 변수로 적용하려면 서비스의 시작 환경에 다음 값을 설정한 뒤 JVM을 재시작한다.
이 옵션은 Base64 처리를 Java 구현 경로로 보내 취약한 intrinsic에 도달하지 않도록 하는 임시 완화책이다. 장기적으로는 수정된 JDK로 업데이트해야 한다.
5. Java4Shell 스캐너 공개
Java4Shell은 JDK 버전과 CPU 조건을 함께 확인해야 한다. 공개 PoC를 운영 환경에서 직접 실행하면 JVM의 메모리가 손상될 수 있어, OFFen ASM은 서버 내부에서 실행하는 점검 스크립트를 배포한다. 기본 점검은 서비스에 요청을 보내거나 PoC를 실행하지 않는다.
스크립트 다운로드와 실행 방법, 점검 결과는 OFFen ASM Java4Shell 점검 페이지에서 확인할 수 있다.

caption - https://asm.offen.im/java4shell
6. 참고 자료

Popular Articles
More Articles






