Amazon 提供block, object, cloud file三種資料存儲的種類。點這裡查看三種種類的差別。
Block
Amazon Elastic Block Store (EBS)
- 提供區塊層級儲存體磁碟區。想像他就是個雲端的USB外接硬碟。
- limited performance
- 只能掛在一個AZ裡面，如果要移到另一個AZ, 可以使用snapshot的方式。
- 一個EBS同時間只能掛在一個EC2上，但一個EC2可以掛載多個EBS。
- EC2 terminate時，預設root EBS也會跟著terminated (其他的EBS不會)。這個可以特別在delete on termination選項來關閉這個設定。
- EC2實體臨時區塊層級儲存。想像電腦本身的硬碟。
- high-performance, better I/O performance
- EC2停掉，資料就沒了。適用於臨時暫存而已，e.g. local cache。
Object
Amazon Simple Storage Service (S3)
- AWS主要的物件儲存服務
- 高資料可用性、擴展性、安全性和效能。
- 主要用來存放 object (= files), 和 bucket (= directories)
- bucket名稱必須是globally unique (跨區域跨帳號), S3是global service, 但bucket是regional。
- 有不同的class (tire). Standard (General), Standard (IA), One Zone (IA), Glacier Instant Retrieval, Glacier Flexible Retrieval, Glacier Deep Archive, Intelligent Tiering。
- S3 object lock 提供兩種retention mode: governance mode 和 compliance mode。後者在指定時間內不能被覆寫、刪除，設定也不能被修改。前者跟後者差不多意思，唯還可以讓有權限的人去做設定修改和刪除。
- S3 Storage Lens: 評估儲存活動和使用量、指標產生摘要洞察、提供互動式儀表板。
- 同S3，但專門用來做封存或備份使用。
- 會用儲存量和存取次數來計費
- Instant Retrieval, 至少儲存90天
- Flexible Retrieval, 至少儲存90天, 取檔案時間可分為 Expedited (1~5minutes), Standard (3~5hours), Bulk(5~12hours, free)
- Deep Archive, 至少儲存180天, 取檔案時間可分為 Standard (12hours), Bulk (48hours)
File
Amazon Elastic File System (EFS)
- 雲端共用檔案服務系統。
- 可掛載在多個EC2上面，支援multi-AZ。
- 高可用性、高擴展性，相對昂貴 (3倍 EBS gp2的價錢), pay per use。
- 是相容於Linux based AMI (not Windows)
- 多種儲存的Tiers。Standard, Infrequent access (IA), Archive。
- 可以在AWS上面跑第三方高效能的檔案系統
- 全受管的共用儲存
- FSx for Windows File Server
- FSx for Lustre, 專給機器學習或High Performance Computing (HPC)使用, 可以讀寫S3。
- FSx for NetApp ONTAP, 適合將已經有跑ONTAP, NAS移到AWS上。有Point-in-Time 立即複製功能, 適合快速複製一份資料給測試機使用.
- FSx for OpenZFS, 適合將已經有跑ZFS移到AWS上。同樣有Point-in-Time 立即複製功能。
--
AWS Storage Gateway 連結本地存儲到AWS雲端存儲的溝通橋樑
使用情境：
- 災難復原
- 備份與還原
- 分層(tiered storage)。e.g. 在地使用熱資料，雲端拿來放封存資料。
- 本地快取 & 低延遲檔案存取
不同類型的Storage Gateway：
- S3 File Gateway
- 本地傳輸至S3 File Gateway是透過NFS or SMB協議，Gateway再透過Https傳輸至S3。
- 如果要傳到Glacier, 需透過S3的Lifecycle policy。
- 最常用的檔案會被快取於Gateway。
- FSx File Gateway
- 本地透SMB Client就可以跟Amazon FSx溝通。如中間多一個Amazon FSx File Gateway可以用於快取常用檔案。
- Windows 原生相容 (SMB, NTFS, Active Directory...)
- Volume Gateway
- 可用於複製Amazon EBS Snapshots並存至S3裡頭。
- 本地傳輸至Gateway透過iSCSI協議，Gateway再透過Https去建立EBS Snapshots。
- 分為 Cached Volumes: 用於常用檔案的快取，和 Stored volumes: 用於定期備份整份資料至S3。
- Tape Gateway
- 本地的磁帶存儲Server透過iSCSI VTL (Virtual Tape Library)將資料傳到Tape Gateway, 然後Gateway再透過Https把資料存於Glacier或S3。
硬體設備：
要使用Storage Gateway可以透過在地的虛擬主機(VMware, Hyper-V, KVM)或透過跟Amazon買硬體設備當作Gateway用的mini server。e.g. 我們可以選擇用Amazon EC2當作我們Gateway的host platform。
AWS Snow Family
- 透過實體裝置去搬遷資料。適用邊緣、網路慢或不穩環境或超大量級資料的資料搬遷使用。
- 由小到大
- Snowcone (8TB HDD ~ 14TB SSD) (TB等級)
- Snowball (80TB ~ 210TB) (PB等級)
- Snowmobile (100PB以上) (EB等級)
- Snowball無法將資料餵給Glacier, 必須透過S3和S3 lifecycle policy才行。
AWS Transfer Family, 允許你用FTP, FTPS, SFTP傳輸資料到S3或EBS。
- 專門用來移動本地(或其他雲端)的大量資料到AWS上 (需要agent)。
- 本地 -NFS, SMB-> DataSync agent -TLS-> DataSync -> AWS Storage Resource。
- 也可以從AWS不同的儲存類型之間傳輸 (不需要agent)。
- 移動後，檔案權限和metadata會被保留。
Reference
- https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03
- https://www.tenlong.com.tw/products/9786263333123?list_name=lv
