# AWS - EMR 節點類型與壓縮儲存與模式
# 節點類型
# AWS EMR
EMR 是個 AWS 上的 Apache 家族服務，跟資料處理比較較有關係，提供分散式儲存與運算，既然是分散式運算就會有 Cluster 與 Node 在 EMR 中 Node 還主要細分成三種 Primary/Core/Task Node
# Primary Node
運行主要組件，運行 YARN ResourceManager 管理應用程式資源，也跑 HDFS NameNode 服務，追蹤提交到 Cluster 的工作狀態與監控 Instance Group 健康狀態
# Core Node
主要被 Primary Node 管理，主要跑 Data Node Daemon 去協調 HDFS 資料儲存，也會跑 Task Tracker Daemon 且執行其他平行運算，比如說 YARN NodeManger daemon,Hadoop, MapReduce tasks, Spark Executors，一個 Cluster 只會一個 Instance Group/Fleet 但可以有很多 Node/EC2 在其中
# Task Node
你可以透過添加 Task Node 去加速平行運算，像是 Hadoop MapReduce Task 或 Spark Executors，Task Node 不執行 Data Node daemon 也不儲存資料到 HDFS，像是 Core Node 一樣你也可以在 Cluster 添加 EC2 來去調整 Cluster 平行運算能力
# 壓縮演算法
# Gzip
- 基於 DEFLATE 算法
- 空間效率高
- 不可分割（Non-splittable）
# LZO
- 壓縮 / 解壓速度快
- 平衡壓縮率和速度
- 無損壓縮
# Bzip2
- 基於 Burrows Wheeler 算法
- 壓縮率優於 Gzip
- 壓縮速度較慢
- 解壓速度快於 LZMA
# Snappy
- 高速度，合理壓縮率
- 不可分割（Non-splittable）
- 壓縮速度：250 MB/s
- 解壓速度：500 MB/s
- 四種技術中最快
# Parquet
- 列式存儲格式
- 值存儲在連續內存位置
- 默認使用 Snappy 壓縮
# ORC
- 行集合存儲，內部採用列式格式
- 唯一支持 ACID 屬性的格式
# Persistent VS Transient
# Persistent Clusters（持久化集群）
# 特點
- 始終保持運行狀態
- 即使作業完成也不關閉
- 節省初始化時間
# 適用場景
- 持續運行的作業
- 測試環境
- 需要排隊執行多個作業
- 需要修改和重新提交作業
# 優勢
- 節省啟動時間（避免數分鐘的啟動延遲）
- 允許作業排隊按順序執行
- 測試時出錯不會關閉集群
# Transient Clusters（臨時集群）
# 特點
- 作業完成後自動關閉
- 元數據自動刪除
- 成本效益高
# 適用場景
- 單次執行的作業
- 成本敏感的環境
- 生產環境批處理
# 優勢
- 自動關閉，節省成本
- 配合 EMRFS 使用最佳
# 缺點
- 每次啟動都有延遲
- 需要重新初始化
# EMRFS VS HDFS
# 成本效益
EMRFS
- ✓ 按使用付費
- ✓ 無需複製因子
- ✓ 存儲成本低
HDFS
- ✗ 複製因子 2-3
- ✗ 需要 2-3 倍存儲空間
- ✗ 持續運行成本
# 可擴展性
EMRFS
- ✓ 自動擴展
- ✓ 無需手動配置
- ✓ 即時調整
HDFS
- ✗ 手動添加服務器
- ✗ 需要配置
- ✗ 擴展複雜
# 集群類型支持
EMRFS
- ✓ 支持 Transient 集群
- ✓ 數據獨立於集群生命週期
- ✓ 靈活性高
HDFS
- ✗ 需要 Persistent 集群
- ✗ 數據依賴集群
- ✗ 靈活性低
# Reference
- AWS - Understand node types in Amazon EMR: primary, core, and task nodes
