🎯 Overview

My practice project here: https://github.com/mylethidiem/dvc-mnist-demo

🗂️ Using with Cloud storage

🟩 AWS S3

Read Hướng dẫn cài đặt và sử dụng AWS S3 trên CMD (Window):

• https://aws.amazon.com/.
• Console and create IAM account: https://aws.amazon.com/console/ , Choose Create an Access key, Command Line Interface (CLI)
  • QUAN TRỌNG: Một trang sẽ hiện ra với Access key ID và Secret access key. Hãy sao chép và lưu lại cả hai giá trị này vào một nơi an toàn hoặc chọn “Download the .csv file”, vì sau này sẽ không thể xem lại.
• AWS CLIv2 for Windows: aws --version

pip3 install awscli --upgrade --user
which aws

# or
conda install awscli

• Run aws configure

• Input info: Access key ID, AWS Secret Access Key(Secret access key), Default region name(us-east-1 (North Virginia) or ap-southeast-1 (Singapore))

• Thử các lệnh S3 cơ bản trên CMD

  • Tạo một S3 Bucket mới (Make Bucket): aws s3 mb s3://ten-bucket-duy-nhat-cua-ban . Example:

  aws s3 mb s3://banhmuy-aio2025 --region ap-southeast-2
  

  • Liệt kê các Bucket (List Buckets): aws s3 ls

  

Login to AWS Console

In my console, I have 2 user: root user who created and own the storage, another role full access to s3 (acc: elizabethmyn)

Create new folder in the S3 bucket:

Add remote:

# d mean default
dvc remote add -d mys3 s3://banhmuy-aio2025/data

Then push it: