[AWS] Incomplete Multipart Upload 시 미완료 데이터 삭제

고객이 s3 lens를 통해 s3를 모니터링하는데 미완료 멀티파트 업로드에 대한 객체가 있고 객체들이 확인이 안되어

이게 왜 발생하고, 어떻게 삭제 해야하는지에 대한 요청이 들어왔다.

 

Incomplete Multipart Upload란?

멀티파트 업로드 요청 시 객체를 나눈 멀티 파트 형식으로 업르도 되고 전부 업로드되면 멀티파트 업로드를 완료하라는 successful 요청을 보낸 후에만 부분들로부터 객체를 생성한다.

 

하지만 멀티파트 업로드 요청을 성공적으로 전송하지 못하면, Amazon S3는 부분들을 결합하지 않고 어떤 객체도 생성하지 않는다 또한 생성된 객체는 없지만 멀티파트로 업로드된 객체에 부분들은 요금이 청구된다.

 

s3 lens를 확인하면 미완료 멀티파트 업로드에 대한 객체 및 바이트를 확인할 수 있다.

(지표가 있다는것을 보여주기 위해 올린거지 현재 계정에서는 미완료 멀티파트 업로드 객체 수가 없어 0 이다.)

 

그럼 생성되어있지도 않는 해당 객체들을 어떻게 삭제할까?

S3 LifeCycle을 사용하여 Incomplete Multipart Uploads를 삭제 시킬 수 있다.

 

해당 사진과 같이 버킷의 모든 객체에 대해 적용하고

"만료된 객체 삭제 마커 또는 완료되지 않은 멀티파트 업로드 삭제"을 선택 후 "불완전 멀티파트 업로드 삭졔"를 선택 하면 된다.

---

추가로 이러한 Incomplete Multipart Uploads는 멀티파트 업로드 뿐만 아니라 athena에서 쿼리 실패 등 s3에 업로드 하다 실패하는 모든 경우에서 Incomplete Multipart Uploads가 발생하는것 같다.

 

참고

https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/mpu-abort-incomplete-mpu-lifecycle-config.html

https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/abort-mpu.html