AWS - 免費雲端遷移服務 前言AWS 提供多項免費或包含在服務內的工具,協助企業從本地端(on-premises)或其他雲端平台遷移應用程式、資料與工作負載。這些工具屬於 AWS Migration Hub 生態系的一部分。 AWS Migration Hub(遷移中心)免費使用 功能 是一個統一控制台,整合多個遷移工具的進度與狀態。 可監控伺服器、資料庫、應用程式遷移的整體狀況。 支援遷移工具如: AWS Application Migration Service (MGN) AWS Database Migration Service (DMS) AWS Server...

AWS - 如何讓 Glue 不要重複執行已經處理過的資料 - Glue Bookmark Glue Bookmark Glue Bookmark 是 Glue ETL Job 中的一個 狀態追蹤功能 他會 記住上次 Job 執行處理到哪裡,下次只會處理「新或變更的資料」,避免重複處理。 本質上是一種 增量處理(Incremental Processing) 的機制 運作方式當你在 Glue Job 啟用 Bookmark Job 第一次執行 -> 處理所有資料,並紀錄處理進度(EX: 檔案清單、Timestamp、偏移量) Job 第二次執行 ->...

AWS - Forecast ForecastAmazon Forecast 使用 機器學習 (ML),根據歷史資料預測未來的業務需求。它基於 Amazon.com 內部的銷售預測技術 (DeepAR+),不需要你具備 ML 專業知識就能建模。 你給 Forecast「過去的銷售紀錄」,它就會幫你算出「未來幾週的銷售量」。 用途與應用場景 應用 說明 🛍️ 銷售預測 根據歷史銷售量預測庫存需求 🚚 物流預測 預測運輸需求、車隊使用量 💰 財務預測 預測收入、支出或現金流 🏭 產能與人力排程 根據需求預測調整產線與人力 🌤️ 網站或 IoT...

AWS - 事故通報鏈 服務定位簡介 SNS 通知服務(發通知) OpsCenter 集中管理所有事故紀錄(開工單) Incident Manager 真的在處理事故流程的系統(管理事故流程) 標準完整事故通報鏈12345CloudWatch Alarm→ EventBridge→ Incident Manager→ SNS→ On-call 人員(SMS / Email / Slack) 如果題目有說 要「記錄事故」 要「事後追蹤」 要「RCA(根因分析)」 就一定還會加 OpsCenter(OpsItem) 情境一 - 單純發通知當 EC2 CPU > 90%...

AWS - Health HealthAWS Health 是一個即時告知 AWS 哪個服務壞了,什麼時候修復,會不會影響帳號的官方狀況系統 不是你系統的健康 是 AWS 雲端本身的健康狀態 主要提供兩項資訊 Public Event 整個 AWS 的服務故障 Account Specific 只影響你帳號的問題 Health Dashbaord 分成兩種 Service Health Dashboard(Public) 看整個 AWS 全球狀態 AWS Health Dashboard(Personailized) 只看你帳號受影響的事件 AWS Health...

AWS - LakeFormation Blueprints and Workflows LakeFormation Blueprints and WorkflowsAWS Lake Formation Blueprints 是 自動建立資料管線 (data pipeline) 的樣板,用來把資料從 S3、RDS、JDBC 等來源自動匯入、轉換、註冊到資料湖中。 AWS Workflows 則是由 Blueprint 產生的 可執行管線流程,用於自動化資料匯入與更新。 Blueprint 是「樣板」,Workflow 是「實際跑起來的流程」。你可以想像: Blueprint...

AWS - 如何將地端 NepApp ONTAP 遷移上 AWS 前言NetApp ONTAP 是一個企業級存儲操作系統其特色有統一存儲管理平台,支持多協議存取,提供數據管理功能 核心功能 文件服務 Block Storage 數據保護 存儲效率 主要特點 存儲協議支持 NFS SMB/CIFS iSCSI FC (Fibre Channel) 數據管理 快照 複製 備份 災難恢復 存儲效率 重複數據刪除 壓縮 精簡配置 數據緊湊 高可用性 Cluster 架構 故障轉移 負載均衡 無中斷運營 如果今天企業有自架的 ONTAP 怎麼遷移到 AWSAWS...

AWS - Lambda Layer Lambda LayerAWS Lambda Layer 是提供 Lambda Function 中可重複使用的程式碼或是相依套件的封裝,使用 Lambda Layer 可以讓多個 Lambda Function 共用,避免每個 Lambda Function 都獨立打包依賴。 Lambda Layer 可以包含 Library/Dependencies Runtime shared code Machine Learning Model CA Certificate or font file 概念架構1234Lambda...

AWS - Local Zones 前言AWS Local Zone 是 AWS 近年來針對 低延遲運算需求 推出的重要基礎建設,介於 Region 與 Edge 之間的一種延伸型基礎設施 是部署在告進使用者程式的 AWS 小型的資料中心 架構概念AWS 的全球基礎結構層級可以這樣看 Edge Location < Local Zone < Region < AZ 層級 用途 延遲 Edge Location CDN/CloudFront/Route53 < 10ms Local Zone 運算...

AWS - Managed Grafana & Managed Prometheus AWS Managed Prometheus(AMP)AWS 全託管版 Prometheus,用來收集大規模 Metrics 核心用途 收集: Kubernetes(EKS) EC2 微服務 ADOT 送進來的 Metrics 使用語言: PromQL(Prometheus Query Language) 完全免管 不用自己架 Prometheus Server 不用處理 HA、Scaling、Storage 關鍵字 Kubernetes metrics - Managed...