柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) UDP到Kafka

http://yzkb.51969.com/

UDP 到卡夫卡（已棄用）

UDP 到卡夫卡源從一個(gè)或多個(gè) UDP 端口讀取消息，并將每條消息直接寫入卡夫卡。但是，到 Kafka 源的 UDP 現(xiàn)已棄用，并將在將來的版本中刪除。我們建議使用可以使用多個(gè)線程的 UDP 多線程源源，以啟用來自多個(gè) UDP 端口的數(shù)據(jù)的并行處理。

使用 UDP 到卡夫卡源從多個(gè) UDP 端口讀取大量數(shù)據(jù)，并立即將數(shù)據(jù)寫入卡夫卡，無需額外處理。

以下是使用 UDP 到卡夫卡源的推薦體系結(jié)構(gòu)示例：

如果需要在將數(shù)據(jù)寫入 Kafka 之前對(duì)其進(jìn)行處理，需要寫入 Kafka 以外的目標(biāo)系統(tǒng)，或者源不需要處理大量數(shù)據(jù)，請(qǐng)使用 UDP 源源源。

UDP 到卡夫卡可以處理收集到的消息、網(wǎng)絡(luò)流 5 和網(wǎng)絡(luò)流 9 消息以及以下類型的系統(tǒng)日志消息：

目錄 5424

目錄 3164

非標(biāo)準(zhǔn)常見消息，例如沒有版本數(shù)字的 RFC 3339 日期

處理網(wǎng)絡(luò)流消息時(shí)，該階段會(huì)根據(jù)網(wǎng)絡(luò)流版本生成不同的記錄。處理網(wǎng)絡(luò)流 9 時(shí)，將根據(jù)網(wǎng)絡(luò)流 9 配置屬性生成記錄。有關(guān)詳細(xì)信息，請(qǐng)參閱?NetFlow 數(shù)據(jù)處理。

將 UDP 配置為卡夫卡時(shí)，可以指定要使用的 UDP 端口、卡夫卡配置信息和高級(jí)屬性，如最大寫入請(qǐng)求數(shù)。

您可以根據(jù)需要添加卡夫卡配置屬性并啟用卡夫卡安全性。

管道配置

在管線中使用 UDP 到 Kafka 原點(diǎn)時(shí)，請(qǐng)將該原點(diǎn)連接到廢紙簍目標(biāo)。

UDP 到卡夫卡源將記錄直接寫入卡夫卡。源不會(huì)將記錄傳遞到其輸出端口，因此您無法執(zhí)行其他處理或?qū)?shù)據(jù)寫入其他目標(biāo)系統(tǒng)。

但是，由于管道需要目標(biāo)，因此應(yīng)將原點(diǎn)連接到廢紙簍目標(biāo)以滿足管道驗(yàn)證要求。

具有 UDP 到卡夫卡源的管道應(yīng)如下所示：

其他卡夫卡屬性

您可以將自定義卡夫卡配置屬性添加到 UDP 到卡夫卡源。

添加 Kafka 配置屬性時(shí)，請(qǐng)輸入確切的屬性名稱和值。該階段不驗(yàn)證屬性名稱或值。

默認(rèn)情況下定義了多個(gè)屬性，您可以根據(jù)需要編輯或刪除這些屬性。

注意：由于舞臺(tái)使用多個(gè)配置屬性，因此它會(huì)忽略以下屬性的用戶定義值：

密鑰序列化程序.class

元數(shù)據(jù).代理列表

分區(qū)程序.class

生產(chǎn)者類型

序列化程序.class

啟用卡夫卡安全

您可以將 UDP 配置為卡夫卡源，以便通過 SSL/TLS 和/或 Kerberos 安全地連接到卡夫卡。

啟用 SSL/紅綠燈系統(tǒng)

執(zhí)行以下步驟，使 UDP 到卡夫卡源站能夠使用 SSL/TLS 連接到卡夫卡。

要使用 SSL/TLS 進(jìn)行連接，請(qǐng)首先確保按照卡夫卡文檔中所述，將卡夫卡配置為使用 SSL/TLS。

在舞臺(tái)的“常規(guī)”選項(xiàng)卡上，將“舞臺(tái)庫”屬性設(shè)置為相應(yīng)的“卡夫卡”版本。

在“卡夫卡”選項(xiàng)卡上，添加“卡夫卡”配置屬性并將其設(shè)置為?SSL。

然后添加并配置以下 SSL 卡夫卡屬性：

信任庫位置

信任庫

當(dāng) Kafka 代理需要客戶端身份驗(yàn)證時(shí) - 當(dāng) ssl.client.auth 代理屬性設(shè)置為“必需”時(shí) ， 添加并配置以下屬性：

位置

密碼

.key密碼

某些代理可能還需要添加以下屬性：

ssl.enabled.協(xié)議

柚子快報(bào)邀請(qǐng)碼778899分享：大數(shù)據(jù) UDP到Kafka

http://yzkb.51969.com/

推薦鏈接