[Storage] AWS S3 to Azure Storage Account 데이터 이동

해당 가이드는 퍼블릭 접근이 가능한 AWS S3에서 Azure Storage Account로 데이터를 복사하는 방법을 설명합니다.

자세한 내용은 다음 MS 자료에서 확인 가능합니다.

 

AzCopy명령줄 유틸리티 설치

AWS S3에서 Azure Storage Account로 데이터를 복사하기 위해서는 AzCopy라고 하는 Command를 사용해야 합니다.

 

1. 다음 링크에서 로컬 환경의 적합한 AzCopy 유틸리티를 다운로드 해주세요. 해당 가이드에서는 Windows 64비트 버전을 다운로드 했습니다.

 

2. 압축 해제 후 AzCopy 실행 파일의 디렉터리 위치를 시스템 경로에 추가하여 시스템의 어느 디렉터리에서나 azcopy를 입력할 수 있게 하거나 cmd 창에서 AzCopy 실행 파일의 위치로 변경하고 azcopy 명령어를 사용할 수 있습니다. 금번 가이드에서는 전자로 진행하겠습니다.

 

3. AzCopy 실행 파일의 디렉터리 위치를 복사합니다.

 

4. 시스템 변수에 해당 경로를 추가합니다.

 

5. cmd 창을 실행하고 azcopy 명령어를 기입했을 때 아래와 같이 보인다면 정상적으로 설치된 것 입니다.

 

 

AWS S3, Azure Storage 접근 권한 설정

azcopy 명령어가 AWS S3, Azure Storae에 접근하기 위해서는 권한이 필요합니다.

 

1. AWS S3에 접근할 수 있는 권한을 가진 사용자의 Access Key와 Secret 값을 cmd 창에 환경 변수로 등록합니다.

set AWS_ACCESS_KEY_ID=<access-key>
set AWS_SECRET_ACCESS_KEY=<secret-access-key>

 

2. Azure Portal에서 복사 대상인 스토리지 > 공유 액세스 서명으로 접근하여 아래와 같이 설정 후 SAS Token을 생성 및 복사합니다.

Token 만기일은 필요한 기간까지만 설정하고 유출이 되지 않도록 주의 합니다.
1회 발급 후 재발급만 가능하므로 Token을 복사해두어야 합니다.

 

 

Azure Storage 컨테이너 생성

1. 미리 복사 대상인 스토리지 내 컨테이너를 생성해 둡니다.

 

 

버킷(컨테이너) 단위 복사

1. ‘bucket-name’과 ‘storage-account-name’, ‘container-name’, ‘SAS Token’을 수정하고 cmd 창에서 해당 명령을 실행합니다.

azcopy copy "https://s3.ap-northeast-2.amazonaws.com/<bucket-name>" "https://<storage-account-name>.blob.core.windows.net/<container-name>?<SAS Token>" --recursive=true

 

2. cmd 창에서 다음과 같은 화면이 출력 되면 정상적으로 실행된 것 입니다.

 

 

디렉터리 단위 복사(옵션)

azcopy copy "https://s3.ap-northeast-2.amazonaws.com/<bucket-name>/<directory-name>" "https://<storage-account-name>.blob.core.windows.net/<container-name>/<directory-name>?<SAS Token>" --recursive=true

 

 

디렉터리 내 컨텐츠 복사(옵션)

azcopy copy "https://s3.ap-northeast-2.amazonaws.com/<bucket-name>/<directory-name>/*" "https://<storage-account-name>.blob.core.windows.net/<container-name>/<directory-name>?<SAS Token>" --recursive=true