[aws] S3 (1) - Buckets & Objects & Versioning

S3 Storage and Data Management

섹션 소개

• Amazon S3 는 세계 웹사이트에서 가장 큰 비중을 차지
• 이번 섹션에서는 S3를 적절하고 안전하게 사용하는 모든 방법에 대해 학습한다.

Section introduction

• AWS 에서 가장 중요한 구성 요소 중 하나
• 무한히 확장 가능한 스토리지
  • 크기를 사전에 프로비저닝할 필요가 없다.
  • 무한히 확장 가능

• 굉장히 인기가 많다.

• 세계의 많은 웹사이트가 S3 를 중추로 사용하고 있다.
• S3 에 웹사이트를 어떻게 배포하는지 알아보자.
• S3 와 통합할 수 있는 많은 AWS Resource 들을 살펴보자.

Amazon S3 Overview - *Buckets*

S3 를 이야기하기위해서는 Buckets에 관해 알아야 한다.

• S3 는 객체를 저장하게 해주는 시스템이자 서비스이다.
• 즉, 객체(File) 이 버킷(directories) 안에 있다.
• 각 Buckets 은 전역적으로 “고유한” 이름을 갖는다.
• 이미 사용중인 이름을 사용하여 버킷을 만들 수 없다.
• 버킷은 Region 수준에서 정의된다.
• 네이밍 컨벤션이 존재한다.
  • 대문자 불가능
  • 언더스코어(_) 불가능
  • 3~63자 사이일 것
  • IP주소가 아닐 것
  • 소문자 또는 숫자로 시작해야 할 것

Amazon S3 Overview - *Objects*

S3 의 Objects(객체) 에 대해 알아보자

• S3 Buckets 에서 객체를 만들어야 한다.

• 객체는 파일로서, 키를 가지고 있다.

  • key 는 파일의 전체 경로이다.
  • 만약 bucket 이름이 “my-bucket” 이고, 객체 이름이 “my_file.txt” 라면
    key는 “my_file.txt” 로 파란색 글씨 부분이다.

• 만약 S3 버킷 내에 폴더 구조가 있다면, 즉 my_folder1, another_folder, my_file.txt가 있다면 키는 전체경로이다.

• 위의 사진에서 파란색으로 되어 있는 전체 경로가 키이다.

• 키는 2개로 구성된다.

  • 접두어 + 객체이름
  • my_file.txt 의 접두어는 my_folder1/another_folder/ 이것이 접두어 이다. (주황색 글씨)
  • 반면, 객체 이름은 my_file.txt 이다. (초록색 글씨)

• 즉, 버킷 내에는 디렉터리(폴더) 개념 없이 키 이름만 아주 길다.

• 버킷안에는 디렉토리(폴더) 의 개념 or 컨셉이 존재하지 않는다.

  • UI는 폴더구조를 생각하도록 만드는것처럼 보인다.
  • 왜냐하면, S3 내에서 디렉터리를 생성할 수 있기 때문이다.

• S3 에서 가질 수 있는 것은 “/” 슬래시를 가진 매우 긴 이름의 키뿐이다.

Amazon S3 Overview - Objects (2)

• 객체 값은 본문의 내용으로 Amazon S3 에서 객체의 최대 크기는 5TB (5000GB) 로 매우 큽니다.
• 그러나 한 번에 5GB 이상 업로드할 수 없다.
  • 즉, 5TB 의 큰 객체를 업로드하기 원한다면 객체를 5GB 미만으로 나누어서 각각 업로드해야 한다.
  • 이것을 멀티파트 업로드 라고 한다.
• Amazon S3의 각 객체(Objects)는 키페어 리스트인 메타데이터가 있다.
• 이는 시스템이나 사용자 메타데이터에서 사용된다.
• 객체에 정보와 태그를 추가할 때 사용한다.
• 객체의 수명 주기 정책 관련 보안이 없는 경우에 매우 유용한 키 값 페어와 태그를 가질 수 있다.
• 버전관리를 살펴보면 Amazon S3 객체에는 버전ID 가 있다.

S3 는 글로벌 서비스가 아니고, 글로벌 콘솔이다.

• Region 별로 Buckets 을 따로 관리(?) 한다.

Amazon S3 - *Versioning*

S3 버킷을 버저닝하여 관리하자

• S3 파일을 버저닝 하려면 먼저, Bucket 레벨에서 활성화가 되어 있어야 한다.
  • 버킷 생성시에 Versioning 을 Enable 사용으로 하여 생성한다.
• S3 안에서 나의 파일들을 버저닝 할 수 있다.

• 즉, 같은 키로 파일 버전을 다시 업로드하는 경우에 기존 파일을 덮어쓰게 되는데, 사실 덮어쓰는게 아니라
  해당 파일의 새로운 버전을 생성하는 것이다.

• 새로운 파일 버전을 생성하는 것이다.
• 간단하게 표현해서 버전 1, 2, 3 등이 된다.
• S3 에서 Bucket 을 버저닝하여 모든 파일 버전을 어느정도 유지하는 것이 가장 좋은 방법이라 할 수 있다.
  • 원치 않는 삭제로부터 보호받을 수 있기 때문
  • 이전 버전을 복원할 수 있다
  • 필요한 버전으로 손쉽게 되돌릴 수 있다.
• 알아두어야 할 점
  • 버저닝을 활성화 하기 전에 버전 관리되지 않은 파일은 null 버전이 된다.
    • 버저닝 활성화하면, 이미 있는 파일들은 Null 버전으로 기록된다는 소리임
  • Bucket에서 Versioning 을 중단하면 이전 버전을 삭제하는 것이 아니라,
    이후의 파일이 버전을 할당받지 못하게 된다.
    • 버저닝 비활성화하면, 이전꺼 삭제가 아니라, 앞으로 버저닝이 되지않는다는 소리
• List versions 버튼을 클릭하면, 지금 버저닝 되는 모든 파일 목록을 볼 수 있다.
• 특정 객체를 삭제하더라도, Delete Marker 만 생성되고, 실제로는 삭제 되지 않는다.
• 삭제마커와 특정버전을 직접 체크하고 삭제하면 “영구적인 삭제” 가 실행된다.