AWS SAA-C03 口袋筆記 - Monitoring & Audit

CloudWatch AWS資源的指標監控、追蹤

• CloudWatch Metric
• 每種監控都有一個指標(Metric), 像是CPUUtilization、Memory...etc
• 每個指標可以有多個Dimension, (instance id, environment...etc)
• 可以建立儀表板(dashboard)裡面有多種指標
• 可以透過CloudWatch Metric Stream (near real time)將指標數據輸出到Kinesis Data Firehose或是其他第三方service provider: Datadog, Splunk等。
• CloudWatch Logs 
• 用來存取從AWS資源(EC2, CloudTrail, Route53...etc)收集下來的日誌
• 可以將Logs輸出至S3 (不是real time), 要real time可以用CloudWatch Logs Subscription
• 透過Subscription Filter來過濾日誌最終輸出的目的地
• 可以用CloudWatch Logs Insights來查詢Log

• CloudWatch Agent 需要安裝agent才能將資料送到CloudWatch Logs
• Log Agent 只能收集Logs
• Unified Agent 能收集metrics & logs & traces
• CloudWatch Alarms 當指標達到條件用的告警
• 可以觸發告警外，也可以有相對應的動作 (auto-scaling, stop EC2, 通知SNS...) 
• EventBridge (aka CloudWatch Event) 接收跟傳遞事件的橋樑
• 有default, partner, customer三種event bus

CloudTrail 能夠監控您的帳戶向 Amazon CloudWatch API 發出的呼叫，包括 AWS Management Console, AWS CLI，以及其他服務

• management event: e.g. IAM role被異動
• data event: e.g. S3 activity
• CloudTrail Insights event: detect unusual activity

AWS Config 能夠監控AWS資源的設定異動

• 主要拿來確保AWS資源在設定上的正確性, 舉例:
• s3 bucket是否有public access
• 是否有ssh在存取security group
• IAM access key過期沒
• 遇到設定上的異常, 可以觸發自動修復或通知

CloudWatch vs CloudTrail vs AWS Config

簡單來分差別:

CloudWatch 監控資源&指標

CloudTrail 監控存取AWS資源的API calls

AWS Config 監控設定的異動

Reference

• https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03

AWS SAA-C03 口袋筆記 - Load Balancer

Elastic Load Balancer (ELB)

• Classic Load Balancer (CLB) - depreciated, support HTTP, HTTPS, TCP, SSL
• Application Load Balancer (ALB) 
• supports HTTP, HTTPS, WebSocket (layer7)
• 可以平衡負載分流給不同的Target Groups
• TG 包含 EC2s, ECS tasks, Lambda functions, IP Address
• Network Load Balancer (NLB) 
• supports TCP, TLS, UDP (layer4)
• 可以架在ALB前面
• 低延遲, 可以處理百萬級RPS
• 每一個AZ有自己一個static IP, 可以當public IP使用。
• Gateway Load Balancer (GWLB) 
• supports IP protocol (layer3)
• 可接受第三方虛擬防火牆
• 使用GENEVE protocol on port 6081

Reference

• https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03

AWS SAA-C03 口袋筆記 - Data & Analytics

Amazon Athena

• 主要用於查詢分析S3的資料，舉例: VPC Flow Logs, ELB Logs, CloudTrail trails etc。
• Serverless, SQL方式去查詢 (build on Presto)
• Pricing $5.00/TB of data scanned
• 提高效率、省錢的方式
• 使用欄位式資料(columnar data)會比較省錢 (less scan)
• Apache Parquet or ORC 資料格式
• 效能也會大幅提升
• 可以用Glue來幫忙轉檔
• 透過壓縮檔案(bzip2, gzip, lz4...)來減少每次抓取的量, 進而提高效率
• 在S3裡面去做partition, 來加速查詢。
• 盡量存放大檔(>128mb)減少scan。
• 可以透過Federated Query來查詢分析S3以外的資料來源。Federated Query透過Lambda (w/ DataSource Connector)來跑, 最後會將查詢結果存回S3裡。如下圖：

Amazon QuickSight 

• Business Intelligence (BI)服務，建立視覺化報表用。通常與Athena搭配使用。
• 如果將檔案資料直接匯入QuickSight, 可以使用SPICE (內存引擎)。
• 使用SPICE，分析查詢可以更快、更省錢
• 例如將現有的csv, json, xlsx檔案匯入做分析
• Enterprise edition: 可以設定Column-Level security (CLS) 限制哪些欄位的資料存取權限
• QuickSight可定義自己的User(standard version)和Groups(enterprise version), 但這些用戶跟群組跟IAM無關，只用於QuickSight。
• QuickSight可以跟很多資料源做整合，如下圖：

AWS Redshift

• 欄位式的資料倉儲 (based on PostgreSQL, for OLAP)
• 不是所有cluster的都有Multi-AZ
• c luster -> take snapshot -> automated/manual copy -> copied snapshot -> restore -> cluster in another Region 
• 透過Kinesis Data Firehose, S3 Copy Command將資料寫入到Redshift
• 也可以從EC2 JDBC driver連到Redshift後直接寫入。建議批量寫入會比較有效率。
• 透過Redshift Spectrum可以直接查詢S3的資料

AWS OpenSearch (aka Amazon ElasticSearch)

• 類似ElasticSearch, 可做log查詢、全文查詢。通常與主資料庫做相輔相乘。
• 資料通常可由Lambda或Kinesis DataFirehose灌入。舉例：
• DynamoDB -> DynamoDB Stream -> Lambda -> OpenSearch
• CloudWatch Logs -> Subscription Filter -> Kinesis Data Firehose/Lambda -> OpenSearch
• Kinesis Data Streams -> Kinesis Data Firehose/Lambda -> OpenSearch

AWS Elastic MapReduce (EMR)

• 用於跑Apache Hadoop或Apache Spark 
• 跟data processing, 機器學習, web indexing, big data都可以想到EMR
• Master和Core Node可以用reserved (min 1 year) purchase option來減少成本
• Task Node 可以用 spot instance purchase option來減少成本

AWS Glue

• 資料萃取服務(extract, transform, and load; ETL)

• 透過Glue將資料轉換成Parquet檔案格式餵給Athena架構圖如下：

• 一些進階的應用：
• Glue Job Bookmarks: 用來防止資料重複被處理
• Glue Elastic Views: 用來建來建立Views從不同的資料來源
• Glue DataBrew: 透過預先建制的轉化用來清理、標準化資料
• Glue Studio: new GUI 去建立、執行、監控Glue裡的ETL jobs
• Glue Streaming ETL: 可以透過streaming方式做ETL (Kinesis, Kafka...)

AWS Lake Formation

• 用來建立資料湖的服務 (on top of Glue)
• 最大好處是可以集中資料權限的管理

Reference

• https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03

AWS SAA-C03 口袋筆記 - Storage

Amazon 提供block, object, cloud file三種資料存儲的種類。點這裡查看三種種類的差別。

Block

Amazon Elastic Block Store (EBS) 

• 提供區塊層級儲存體磁碟區。想像他就是個雲端的USB外接硬碟。
• limited performance
• 只能掛在一個AZ裡面，如果要移到另一個AZ, 可以使用snapshot的方式。
• 一個EBS同時間只能掛在一個EC2上，但一個EC2可以掛載多個EBS。
• EC2 terminate時，預設root EBS也會跟著terminated (其他的EBS不會)。這個可以特別在delete on termination選項來關閉這個設定。 

EC2 Instance Store

• EC2實體臨時區塊層級儲存。想像電腦本身的硬碟。
• high-performance, better I/O performance
• EC2停掉，資料就沒了。適用於臨時暫存而已，e.g. local cache。

Object

Amazon Simple Storage Service (S3)

• AWS主要的物件儲存服務
• 高資料可用性、擴展性、安全性和效能。
• 主要用來存放 object (= files), 和 bucket (= directories)
• bucket名稱必須是globally unique (跨區域跨帳號), S3是global service, 但bucket是regional。
• 有不同的class (tire). Standard (General), Standard (IA), One Zone (IA), Glacier Instant Retrieval, Glacier Flexible Retrieval, Glacier Deep Archive, Intelligent Tiering。
• S3 object lock 提供兩種retention mode: governance mode 和 compliance mode。後者在指定時間內不能被覆寫、刪除，設定也不能被修改。前者跟後者差不多意思，唯還可以讓有權限的人去做設定修改和刪除。
• S3 Storage Lens: 評估儲存活動和使用量、指標產生摘要洞察、提供互動式儀表板。

Amazon S3 Glacier 

• 同S3，但專門用來做封存或備份使用。
• 會用儲存量和存取次數來計費
• Instant Retrieval, 至少儲存90天
• Flexible Retrieval, 至少儲存90天, 取檔案時間可分為 Expedited (1~5minutes), Standard (3~5hours), Bulk(5~12hours, free)
• Deep Archive, 至少儲存180天, 取檔案時間可分為 Standard (12hours), Bulk (48hours)

File

Amazon Elastic File System (EFS)

• 雲端共用檔案服務系統。
• 可掛載在多個EC2上面，支援multi-AZ。
• 高可用性、高擴展性，相對昂貴 (3倍 EBS gp2的價錢), pay per use。
• 是相容於Linux based AMI (not Windows)
• 多種儲存的Tiers。Standard, Infrequent access (IA), Archive。

Amazon FSx

• 可以在AWS上面跑第三方高效能的檔案系統
• 全受管的共用儲存
• FSx for Windows File Server
• FSx for Lustre, 專給機器學習或High Performance Computing (HPC)使用, 可以讀寫S3。
• FSx for NetApp ONTAP, 適合將已經有跑ONTAP, NAS移到AWS上。有Point-in-Time 立即複製功能, 適合快速複製一份資料給測試機使用.
• FSx for OpenZFS, 適合將已經有跑ZFS移到AWS上。同樣有Point-in-Time 立即複製功能。

--

AWS Storage Gateway 連結本地存儲到AWS雲端存儲的溝通橋樑

使用情境：

• 災難復原
• 備份與還原
• 分層(tiered storage)。e.g. 在地使用熱資料，雲端拿來放封存資料。
• 本地快取 & 低延遲檔案存取

不同類型的Storage Gateway：

• S3 File Gateway 
• 本地傳輸至S3 File Gateway是透過NFS or SMB協議，Gateway再透過Https傳輸至S3。
• 如果要傳到Glacier, 需透過S3的Lifecycle policy。
• 最常用的檔案會被快取於Gateway。
• FSx File Gateway
• 本地透SMB Client就可以跟Amazon FSx溝通。如中間多一個Amazon FSx File Gateway可以用於快取常用檔案。
• Windows 原生相容 (SMB, NTFS, Active Directory...)
• Volume Gateway
• 可用於複製Amazon EBS Snapshots並存至S3裡頭。
• 本地傳輸至Gateway透過iSCSI協議，Gateway再透過Https去建立EBS Snapshots。
• 分為 Cached Volumes: 用於常用檔案的快取，和 Stored volumes: 用於定期備份整份資料至S3。
• Tape Gateway
• 本地的磁帶存儲Server透過iSCSI VTL (Virtual Tape Library)將資料傳到Tape Gateway, 然後Gateway再透過Https把資料存於Glacier或S3。 

硬體設備：

要使用Storage Gateway可以透過在地的虛擬主機(VMware, Hyper-V, KVM)或透過跟Amazon買硬體設備當作Gateway用的mini server。e.g. 我們可以選擇用Amazon EC2當作我們Gateway的host platform。

AWS Snow Family

• 透過實體裝置去搬遷資料。適用邊緣、網路慢或不穩環境或超大量級資料的資料搬遷使用。
• 由小到大 
• Snowcone (8TB HDD ~ 14TB SSD) (TB等級) 
• Snowball (80TB ~ 210TB) (PB等級)
• Snowmobile (100PB以上) (EB等級)
• Snowball無法將資料餵給Glacier, 必須透過S3和S3 lifecycle policy才行。

AWS Transfer Family, 允許你用FTP, FTPS, SFTP傳輸資料到S3或EBS。

AWS DataSync 

• 專門用來移動本地(或其他雲端)的大量資料到AWS上 (需要agent)。
• 本地 -NFS, SMB-> DataSync agent -TLS-> DataSync -> AWS Storage Resource。
• 也可以從AWS不同的儲存類型之間傳輸 (不需要agent)。
• 移動後，檔案權限和metadata會被保留。

Reference

• https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03
• https://www.tenlong.com.tw/products/9786263333123?list_name=lv

AWS SAA-C03 口袋筆記 - Security

 

封包從Internet一路到Instance裡面經過的Gateway, VPC, public/private subnet等等，就像是開闢一條道路讓封包進出自己的server。如果networking沒設正確，就像道路不通，封包流量自然不會流通。當這條道路打通後，接下來就是在這條路上放上層層的安全把關。

Internet -> Shield -> NACL -> WAF -> Security Group -> Instance

簡單想像客人要進入自己家中時的層層安控。

客人 -> 保全 -> 電梯磁卡 -> 監視器 -> 房門鑰匙 -> 房間

而 Firewall Manager 就像保全公司，負責管理組織底下所有AWS Account以上的安全設定。

Security Group

• EC2的Firewall。可以控制inbound/outbound traffic規則 (像是哪些 protocol/ports/source 可以通過)
• request/response是stateful; 如果inbound可以進來，則outbound就一定可以出去。反之，可以出去就一定能進來。
• 預設格則都是不允許的。

AWS WAF (Web Application Firewall) 

• 專門用來監控網路第7層(L7, 應用程式層)的http/https 的requests。
• 可部署於 ALB, API Gateway, CloudFront, AppSync GraphQL API, Cognito User Pool。
• 可建立 Web ACL。規則例如：IP白名單(一個規則上限1萬筆IP), Http head/body檢查, request大小或是地理位址防堵。
• Web ACL的設定, 除了CloudFront, 對其他服務的設定都是Regional。

NACL

• subnet曾的firewall。
• request/response是stateless。如果inbound可以進來，outbound可以被設定為deny, 就無法出去，這個請求最終會得不到結果。
• 預設規則都是允許的。

AWS Shield

• 專門用來防護DDoS攻擊。
• AWS Shield Standard 是免費的, 預設就有啟動。保護網路第3,4層的攻擊, 像是SYN/UDP 洪水攻擊, Reflection attacks.
• AWS Shield Advanced ($3000/mo per organization), 保護更複雜類型的攻擊。保護目標如 ELB, CloudFront, Global Accelerator, Router53.

AWS Firewall Manager 

• 管理組織下所有的Firewall規則。像是WAF rules, Shield Advanced, Network Firewall (VPC level), DNS Firewall...etc。

--

AWS Macie 用來偵測是否有敏感資料Personal Identifiable Information (PII)的服務。透過機器學習，從S3的檔案裡偵測到可能的PII。

AWS GuardDuty 用來偵測是否有資安威脅的服務。非常適合用來保護Crypto Currency Attack。透過機器學習，從各種日誌(VPC flow logs, CloudTrail logs, DNS logs, S3 logs...etc)去偵測威脅的可能。

AWS Inspector 用來掃軟體漏洞評估(根據CVE的資料庫)。主要用在EC2 instances, ECR Container Images & Lambda Functions。

--

AWS Key Manager (KMS) 專門用來管理存取加密過的金鑰。跟大部分的AWS服務都有整合，而跟IAM有完整的整合。可以透過CloudTrail來審視KMS key的使用狀況。

System Manager (SSM) Parameter Store 用來儲存組態或機密資料。常見使用情境像是Lambda可以把db url/password等組態資料存放用此。有分Standard和Advanced兩種Tiers。差別除了價錢跟可儲存數量大小外，Advanced支援參數expiration的police。

AWS Secrets Manager 專門用來管理存取有生命週期的機密。例如每3個月更換一次密碼。常見使用情境像是與Amazon RDS, KMS的整合。支援Multi-Region Secrets (同步replica到其他region)。

AWS Certificate Manager (ACM) 專門用來管理存取TLS Certificates。常見使用情境像是ELB, CloudFront, API Gateway的整合。但這無法用在於EC2上面。

Reference

• https://www.udemy.com/course/aws-certified-solutions-architect-associate-saa-c03
• https://www.tenlong.com.tw/products/9786263333123?list_name=lv