柚子快報邀請碼778899分享：[實時計算flink]應用場景

http://yzkb.51969.com/

本文將以部門場景和技術領域場景為例，為您介紹實時計算Flink版的大數(shù)據(jù)是實時化場景。

背景信息

作為流式計算引擎，F(xiàn)link可以廣泛應用于實時數(shù)據(jù)處理領域，例如ECS在線服務日志，IoT場景下傳感器數(shù)據(jù)等。同時Flink還能訂閱云上數(shù)據(jù)庫RDS、PolarDB等關系型數(shù)據(jù)庫中Binlog的更新，并利用DataHub、SLS、Kafka等產(chǎn)品將實時數(shù)據(jù)收集到實時計算產(chǎn)品中進行分析和處理。最終，分析結果可寫入不同的數(shù)據(jù)服務中，例如MaxCompute、MaxCompute-Hologres交互式分析、人工智能平臺 PAI、Elasticsearch等，以提高數(shù)據(jù)利用率，滿足業(yè)務需求。

部門場景

從企業(yè)部門職能的角度，可以將實時計算Flink版劃分為以下場景：

業(yè)務部門：實時風控、實時推薦、搜索引擎的實時索引構建等。 數(shù)據(jù)部門：實時數(shù)倉、實時報表、實時大屏等。 運維部門：實時監(jiān)控、實時異常檢測和預警、全鏈路Debug等。

技術領域

從技術領域的角度，實時計算Flink版主要用于以下場景：

實時ETL和數(shù)據(jù)流

實時ETL和數(shù)據(jù)流的目的是實時地把數(shù)據(jù)從A點投遞到B點。在投遞的過程中可能添加數(shù)據(jù)清洗和集成的工作，例如實時構建搜索系統(tǒng)的索引、實時數(shù)倉中的ETL過程等。

實時數(shù)據(jù)分析

數(shù)據(jù)分析指的是根據(jù)業(yè)務目標，從原始數(shù)據(jù)中抽取對應信息并整合的過程。例如，查看每天銷量前10的商品、倉庫平均周轉時間、文檔平均單擊率、推送打開率等。實時數(shù)據(jù)分析則是上述過程的實時化，通常在終端體現(xiàn)為實時報表或實時大屏。

事件驅動應用

事件驅動應用是對一系列訂閱事件進行處理或作出響應的系統(tǒng)。事件驅動應用通常需要依賴內部狀態(tài)，例如欺詐檢測、風控系統(tǒng)、運維異常檢測系統(tǒng)等。當用戶行為觸發(fā)某些風險控制點時，系統(tǒng)會捕獲這個事件，并根據(jù)用戶當前和之前的行為進行分析，決定是否對用戶進行風險控制。

風控監(jiān)測系統(tǒng)

實時計算Flink版可以處理復雜的流處理和批處理任務，也提供了強大的API，執(zhí)行復雜的數(shù)學計算并執(zhí)行復雜事件處理規(guī)則，幫助企業(yè)對實時數(shù)據(jù)進行實時分析，提高企業(yè)的風控能力。例如檢測APP中的點擊行為、識別IoT數(shù)據(jù)流不規(guī)則變化等。

阿里云實時計算Flink全托管產(chǎn)品的功能點和價值，以及和開源Flink的對比優(yōu)勢。

類型 功能 描述 價值 性能與成本 兼容性 全面兼容開源Flink，包括各層API、參數(shù)配置及SQL語法等。 更好的引擎性能和更細粒度資源配置使得整體TCO優(yōu)于開源，且靈活的付費模式以及智能擴縮容，進一步提高了資源使用的精細程度。 核心性能提升

GeminiStateBackend是阿里自研的后端存儲系統(tǒng)，采用全新的架構和數(shù)據(jù)結構設計，支持存儲計算分離，擺脫了狀態(tài)數(shù)據(jù)的本地盤存儲限制，并且還支持KV分離，從而大幅提升雙流或多流Join作業(yè)的效率。此外，GeminiStateBackend還能自適應參數(shù)調優(yōu)，消除了手動調參的煩惱。在Nexmark流計算標準性能測試中，性能是開源Flink的2倍左右，詳情請參見企業(yè)級狀態(tài)后端存儲介紹和性能白皮書（Nexmark性能測試）。 SQL引擎在兼容開源Flink語法的同時增加了一系列優(yōu)化，包括但不限于算子的狀態(tài)結構優(yōu)化、計算層延遲物化、Codegen增強，以及針對Join場景如維表Cache增強、數(shù)據(jù)傾斜，流Join Minibatch優(yōu)化、精細化的狀態(tài)設置等，實現(xiàn)CPU、內存利用率的提升及狀態(tài)存儲用量的降低。 資源利用率提升 您可以根據(jù)業(yè)務負載進行彈性擴縮容，詳情請參見動態(tài)擴縮容與參數(shù)動態(tài)更新。 您可以配置智能調優(yōu)，無人值守自動監(jiān)控并調整作業(yè)資源分配，并可以在指定時間段應用對應的資源計劃，幫助您平穩(wěn)順利地度過業(yè)務洪峰，同時最大程度的節(jié)省成本，詳情請參見配置自動調優(yōu)。 您可以進行細粒度資源管理，支持SQL算子級別的精細化資源（CPU和Memory）配置，大規(guī)模作業(yè)資源利用率提升100%，詳情請參見配置作業(yè)資源。 付費類型 您可以根據(jù)自身業(yè)務特點，選擇包年包月或者按量付費，詳情請參見計費項。 特色能力 數(shù)據(jù)實時入湖入倉 支持整庫實時同步、分庫分表實時同步和表結構變更實時同步，詳情請參見數(shù)據(jù)同步模板。 可以更加高效便捷地對包含分庫分表等架構的業(yè)務數(shù)據(jù)庫、消息中間件中的數(shù)據(jù)進行實時的入湖入倉。 實時風控場景能力 企業(yè)級復雜事件處理（CEP）支持作業(yè)無需重啟動態(tài)可配置規(guī)則，實現(xiàn)在線實時風控等場景的不間斷生產(chǎn)級能力，詳情請參見復雜事件處理（CEP）語句。 應用于實時營銷、實時風控、安全態(tài)勢感知等領域，提升開發(fā)效率和大規(guī)模數(shù)據(jù)處理能力，同時保證業(yè)務連續(xù)性。 上下游數(shù)據(jù)連接（Connector）

涵蓋阿里云產(chǎn)品和開源社區(qū)30+主流引擎，涉及數(shù)據(jù)庫、消息中間件、數(shù)據(jù)倉庫、湖格式、文件系統(tǒng)等多種上下游存儲，詳情請參見支持的連接器。 支持特有數(shù)據(jù)模擬Connector貼近業(yè)務含義的測試數(shù)據(jù)。 相對開源版本，Connector也有諸多易用性和穩(wěn)定性提升。 可以按需自定義注冊Connector對接各種外部存儲系統(tǒng)。 您無需自己開發(fā)對接各種上下游生態(tài)，并操心穩(wěn)定性和性能。 開發(fā)效率 作業(yè)開發(fā) 多語言支持：一站式開發(fā)管理平臺，包括SQL、Java、Scala和Python語言。 您無需自己搭建或者對接開源。Flink SQL簡單易懂，整體開發(fā)環(huán)境上手便捷。 多版本支持：支持主流Flink版本，包括多版本作業(yè)代碼比較和回滾，詳情請參見管理作業(yè)版本。 提供元數(shù)據(jù)管理：您可以通過Catalog連接常見的上下游組件（例如MySQL、Hive、Hologres、DLF和Kafka等），進行統(tǒng)一元數(shù)據(jù)管理與使用，詳情請參見管理元數(shù)據(jù)。 自定義函數(shù)：您可以方便地管理和使用自定義函數(shù)，詳情請參見管理自定義函數(shù)（UDF）。 代碼模板：提供20多個Flink SQL通用場景的模板，幫助您快速了解如何使用Flink SQL構建作業(yè)代碼，詳情請參見代碼模板。 代碼調試 測試數(shù)據(jù)管理：支持線上采樣和模擬測試數(shù)據(jù)管理，方便構建測試流程，詳情請參見作業(yè)調試。 程序員、甚至是數(shù)據(jù)分析師都可以完成調試和上線的動作，大幅減少調試測試成本，提高作業(yè)上線速度和質量。 快速運行調試：基于Session集群實現(xiàn)作業(yè)秒級啟停，大幅提高作業(yè)調試效率。 中間結果展示：支持中間結果展示，提高復雜SQL的調試效率。 開發(fā)生產(chǎn)隔離：開發(fā)調試過程不影響生產(chǎn)作業(yè)和數(shù)據(jù)。 運維管理 監(jiān)控告警 豐富的指標監(jiān)控和維度聚合，便于排查作業(yè)延遲、數(shù)據(jù)傾斜、反壓等問題，詳情請參見監(jiān)控指標說明。 大幅提高系統(tǒng)穩(wěn)定性，減少運維工作量，降低調優(yōu)的難度。精細化資源管理，大幅度降低成本。提供原廠高可用服務保障。 通過釘釘、郵件、短信、電話等途徑進行及時告警，并可對接企業(yè)內部統(tǒng)一監(jiān)控告警系統(tǒng)（Prometheus），詳情請參見自定義監(jiān)控指標及上報渠道。 問題分析與診斷 動態(tài)修改作業(yè)的配置，無需啟停即可對日志Level、火焰圖是否開啟等配置進行在線調整。 對于反壓、Job異常、TM失聯(lián)等常見問題提供智能化診斷和快速日志定位分析，給出調優(yōu)或者修改建議，并聯(lián)動自動調優(yōu)能力幫助您定位問題，詳情請參見作業(yè)智能診斷。 高可用保障 原廠運維服務兜底，SLA 99.9%保證。 全鏈路自動容錯能力，支持JobManager容錯，系統(tǒng)無單點，更穩(wěn)定。 提供更快速的非全局（單點）容錯恢復能力，在數(shù)據(jù)一致性和業(yè)務連續(xù)性間提供靈活平衡。 狀態(tài)管理 提供完整的系統(tǒng)檢查點和作業(yè)快照生命周期管理，提供狀態(tài)兼容性檢查和狀態(tài)數(shù)據(jù)遷移，以最大可能地復用原來的狀態(tài)數(shù)據(jù)。 企業(yè)安全 空間隔離 支持租戶級和項目級的資源和代碼隔離，滿足跨團隊協(xié)作需求。 提供了企業(yè)多部門協(xié)同工作互不干擾的能力，安全可控地滿足企業(yè)內控外審要求。 訪問控制 與阿里云賬號體系打通，支持多角色的訪問控制。

柚子快報邀請碼778899分享：[實時計算flink]應用場景

http://yzkb.51969.com/

相關鏈接