Study_note

고객이 s3 lens를 통해 s3를 모니터링하는데 미완료 멀티파트 업로드에 대한 객체가 있고 객체들이 확인이 안되어 이게 왜 발생하고, 어떻게 삭제 해야하는지에 대한 요청이 들어왔다. Incomplete Multipart Upload란? 멀티파트 업로드 요청 시 객체를 나눈 멀티 파트 형식으로 업르도 되고 전부 업로드되면 멀티파트 업로드를 완료하라는 successful 요청을 보낸 후에만 부분들로부터 객체를 생성한다. 하지만 멀티파트 업로드 요청을 성공적으로 전송하지 못하면, Amazon S3는 부분들을 결합하지 않고 어떤 객체도 생성하지 않는다 또한 생성된 객체는 없지만 멀티파트로 업로드된 객체에 부분들은 요금이 청구된다. s3 lens를 확인하면 미완료 멀티파트 업로드에 대한 객체 및 바이트를 확인할..

site to site VPN이란? 두 개의 네트워크 도메인이 가상의 사설 네트워크 연결을 사용하여 프라이빗 통신을 제공하며 AWS에서 제공하는 Site-to-Site VPN은 표준 IPSec VPN만 지원한다. AWS에서 관리형 서비스로 제공하는 AWS S2S VPN은 기본적으로 고가용성 아키텍처를 제공한다. VGW의 2개의 Endpoint(Tunnel1, Tunnel2)를 동시에 VPN 터널을 맺을 수 있다. VPN은 99.95%로 한달 5분 2초는 비활성 될 수 있기 때문에 아래처럼 터널 이중화 구성을 권장 한다. 운영환경에서는 active/stanby 형식으로 가동하여 가용성을 향상 시킨다 평상시 통신 터널2는 stanby 상태로 사용하지 않고 터널1을 통해서 통신한다. 장애 발생 시 터널 1 다..

서버 db -> DMS -> S3 -> Glue 까지 진행했는데 이제 ETL을 통한 데이터를 사용하여 쿼리를 날려볼것이다. 우선 Athena로 이동 후 쿼리 결과 위치를 (1)에서 생성했던 s3 폴더인 query_result 지정해준다 경로 설정 후 ETL을 통해 카탈로그 데이터베이스에 저장했던 테이블들을 선택해주고 쿼리를 날려보면 아래와 같이 결과 값을 도출하는것을 확인할수있는데 여기서 생성을 통해 쿼리2처럼 쿼리로도 결과값을 받을 수 있으며 테이블을 선택해 카탈로그 데이터베이스에 저장하여 결과 값들을 저장할 수 있다. 또한 저장 - 다른 이름으로 저장 선택 시 위에서 선택했던 폴더(query_result)에 해당 SQL의 이름으로 Data가 저장됩니다. 저장을 하지 않을 경우 Unsaved에 Defa..

s3로 마이그레이션된것을 확인했다면 마이그레이션 된 데이터들을 glue를 통해 정제 시키는 과정을 거쳐본다. 우선 glue에서 사용할 역할을 생성해준다. 권한은 AWSGlueServiceRole, AmazonS3FullAccess 넣고 생성 다음으로 glue - crawlers로 이동 후 데이터들을 모으기 위하여 크롤러 생성 임의로 crawler 이름 생성 -> 카탈로그에서 가져오는게 아닌 s3에서 추출 하기 때문에 data stores 선택 -> 폴던 전체에 파일이 필요하기 때문에 all folders 선택 다음으로 파일들이 있는 s3버킷에 폴더경로를 넣어준다. 후 위에서 생성했던 역할 선택 -> 일정은 온디맨드 실행 선택 다음으로 크롤러 데이터베이스를 만들기 위하여 데이터 베이스 추가 후 임의로 이름..

아래와 같이 rds가 아닌 ec2위에 db가 있다는 가정으로 data가있는 db를 서버에서 생성해준다. DMS를 통해 data를 받을 taget인 버킷을 생성해주고 아래와 같이 2개의 폴더를 생성해준다. 후 dms에서 s3에 관한 정책을 부여할수 있게 다음과 같은 json문에 정책을 생성 후 생성한 정책을 사용하여 dms 역할을 생성해준다. { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:DeleteObject", "s3:PutObjectTagging" ], "Resource": [ "arn:aws:s3:::dmstargetbucket-yourinitial-1111111111*" ] ..