AWS - EC2 On-Demand Instance Vs Reserved Instance 前言On-Demand Instance 與 Reserved Instance 都是可以節省 EC2 成本的計劃之一，實際有些許不同 On-Demand Instance 特性: 隨開即用，按照秒/小時計費 優點 靈活，隨時啟動/停止/終止 適合短期、不確定、不可預測的工作負載 缺點 成本最高(單價貴) 適合場景 測試/開發還ㄔㄧㄥˋ 短期或突發任務 無法預測的流量 Reserved...

AWS - ECS/EKS Anywhere 雲地混和容器部署方案 前言ECS/EKS 都是由 AWS 所提供的容器部署與容器編排的服務，除了將資源部署在雲端之上，AWS 也提供了地端的部署版本，能夠與雲端一起做整合就是 Anywhere 方案 ECS Anywhere主要特點 統一控制平面 簡化管理 AWS 服務整合 彈性部署 使用場景 邊緣計算 混合工作負載 現有基礎設施利用 特定位置需求 核心功能 容器編排 任務調度 監控整合 安全管理 EKS Anywhere主要特點 自管理 Kubernetes AWS...

AWS - EKS 容器可觀測性監控 Container Insights 前言在 AWS 中我們可以用 EKS 來啟用容器編排服務，來使用 Kubernetes，那如果我想要截取 Kubernetes Pods 的 Log，AWS 提供了 Container Insights 的選項來幫助使用者更便利的收集與彙整 EKS 中的應用程式與微服務中的指標與 log。 其中今天介紹的 Container 除了用在 EKS 也可以用在 EC2/ECS/RedHaf OpenShift on AWS(ROSA) 收集 log一般來說我們都會用 CloudWatch...

AWS - EKS + (ALB/NLB) Load Balancer Controller 前言在地端我們可以用 Service 或是一些 Ingress 來管理一些流量，雲端 AWS 中提供 AWS Load Balancer Controller 讓 Kubernetes 自動建立，設定與管理 AWS Load Balancer(ALB/NLB) 為什麽需要他Kubernetes 中的原生 Service Type Load Balancer ，在雲端把把它交給底層『Cloud Controller Manager(CCM)』建立 Load...

AWS - EKS 使用 VPC CNI 將 IPs 指派給 Pod 前言在 Amazon EKS 中，預設使用 Amazon VPC CNI（Container Network Interface）外掛程式來為 Pod 分配 IP 位址。這種整合讓 Pod 直接從你的 VPC 子網路獲得 IP 位址，使其成為 VPC 網路中的「一等公民」。 運作原理 彈性網路介面 (ENI) 和次要 IP 位址： VPC CNI 會在每個 EKS 工作節點（EC2 執行個體）上建立和管理彈性網路介面（ENI）。 每個 EC2 執行個體類型都有其支援的 ENI 數量和每個 ENI 可分配的 IP...

AWS - 當你有 NAS SMB 上雲到 EFS 與 FSx For Windows Server 差異 FSx for Windows Server 遷移 兼容性 完全支持 Windows File System 保留 NTFS 權限 支援 ACL 維持文件屬性 遷移方法 AWS DataSync Robocopy Windows 備份工具 第三方遷移工具 優點 無需文件格式轉換 保留所有 Windows 特性 與 Active Directory 整合 完整的權限保留 適用場景 Windows 工作負載 需要保留完整權限 使用 Active Directory Windows...

AWS - Karpenter KarpenterAWS Karpenter 是一個 開源、自動化、高效率的 Kubernetes 節點調整器 (node autoscaler)，會根據 Pod 的即時需求，自動在 EC2 上啟動、擴容或終止節點，讓 Kubernetes Cluster 更快、更便宜、更智慧地運行。 Karpenter 解決了什麼問題在傳統 EKS 叢集裡，你會用： Managed Node Group Cluster Autoscaler (CA) 但這些機制有幾個痛點 問題 原因 擴容慢 Cluster Autoscaler 要等 metrics 更新，且依賴...

AWS - EMR 節點類型與壓縮儲存與模式 節點類型 AWS EMREMR 是個 AWS 上的 Apache 家族服務，跟資料處理比較較有關係，提供分散式儲存與運算，既然是分散式運算就會有 Cluster 與 Node 在 EMR 中 Node 還主要細分成三種 Primary/Core/Task Node Primary Node運行主要組件，運行 YARN ResourceManager 管理應用程式資源，也跑 HDFS NameNode 服務，追蹤提交到 Cluster 的工作狀態與監控 Instance Group 健康狀態 Core...

AWS - EKS Cluster Autoscaler Cluster AutoscalerAWS Cluster Autoscaler 是 Kubernetes 的自動擴展組件，主要用於 Amazon EKS 主要功能 自動擴展節點 根據需求增加節點 移除未使用的節點 優化資源使用 降低成本 Pod 調度 檢測無法調度的 Pod 自動增加節點容量 確保 Pod 正常運行 工作原理 檢測 Pending Pods 評估需要的資源 向 Auto Scaling Group 請求新節點 節點就緒後調度 Pod 定期檢查未使用節點 縮減不需要的節點 部署配置IAM...

AWS - EMR AWS 分散式平行運算再處理平行與分散式運算很難去管理，其管理複雜度起因於多個節點的組合成的 Cluster 且 Cluster 管理軟體是協調 leader node 與 compute node 之間的活動。 與其他複雜運算的服務相同，AWS 簡化了部署管理以及維運分然是運算環境都過自動創建設定與管理底層的基礎間受，EMR 是全代管分散式運算的解決方案。EMR 核心組件是 Cluster，Cluster 包含三個不同的 EC2 Node Type。每個 node type 都有在 Cluster 的 Role，有不同的軟體 Component 安裝在不同...