黄色网页视频 I 影音先锋日日狠狠久久 I 秋霞午夜毛片 I 秋霞一二三区 I 国产成人片无码视频 I 国产 精品 自在自线 I av免费观看网站 I 日本精品久久久久中文字幕5 I 91看视频 I 看全色黄大色黄女片18 I 精品不卡一区 I 亚洲最新精品 I 欧美 激情 在线 I 人妻少妇精品久久 I 国产99视频精品免费专区 I 欧美影院 I 欧美精品在欧美一区二区少妇 I av大片网站 I 国产精品黄色片 I 888久久 I 狠狠干最新 I 看看黄色一级片 I 黄色精品久久 I 三级av在线 I 69色综合 I 国产日韩欧美91 I 亚洲精品偷拍 I 激情小说亚洲图片 I 久久国产视频精品 I 国产综合精品一区二区三区 I 色婷婷国产 I 最新成人av在线 I 国产私拍精品 I 日韩成人影音 I 日日夜夜天天综合

flume 參考文檔 (四)

系統(tǒng) 1993 0

Flume Sinks

? ???

?

1、Flume’s Collector Tier Event Sinks

collectorSink( "fsdir","fsfileprefix",rollmillis)

collectorSink,數(shù)據(jù)通過collector匯聚之后發(fā)送到hdfs, fsdir 是hdfs目錄,fsfileprefix為文件前綴碼

????

2、Flume’s Agent Tier Event Sinks

agentSink[("machine"[,port])]

Defaults to agentE2ESink,如果省略,machine參數(shù),默認(rèn)使用flume.collector.event.host與flume.collector.event.port作為默認(rèn)collecotr(以下同此)

agentE2ESink[("machine"[,port])]

執(zhí)著的agent,如果agent發(fā)送event沒有收到collector成功寫入的狀態(tài)碼,該event將被agent重復(fù)發(fā)送,直到接到成功寫入的狀態(tài)碼

agentDFOSink[("machine" [,port])]

本地?zé)醾鋋gent,agent發(fā)現(xiàn)collector節(jié)點(diǎn)故障后,不斷檢查collector的存活狀態(tài)以便重新發(fā)送event,在此間產(chǎn)生的數(shù)據(jù)將緩存到本地磁盤中

agentBESink[("machine"[,port])]

不負(fù)責(zé)的agent,如果collector故障,將不做任何處理,它發(fā)送的數(shù)據(jù)也將被直接丟棄

agentE2EChain("m1[:_p1_]" [,"m2[:_p2_]"[,…]])

指定多個(gè)collector提高可用性。 當(dāng)向主collector發(fā)送event失效后,轉(zhuǎn)向第二個(gè)collector發(fā)送,當(dāng)所有的collector失敗后,它會(huì)非常執(zhí)著的再來一遍...

agentDFOChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])

同上,當(dāng)向所有的collector發(fā)送事件失效后,他會(huì)將event緩存到本地磁盤,并檢查collector狀態(tài),嘗試重新發(fā)送

agentBEChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]])

同上,當(dāng)向所有的collector發(fā)送事件失效后,他會(huì)將event丟棄

autoE2EChain

無需指定collector, 由master協(xié)調(diào)管理event的流向

autoDFOChain

同上

autoBEChain

同上

???

3、Flume’s Logical Sinks

logicalSink(" logicalnode ")

?

???

4、Flume’s Basic Sinks

在不使用collector收集event的情況下,可將source直接發(fā)向basic sinks

null

null

console[("formatter")]

轉(zhuǎn)發(fā)到控制臺(tái)

text("txtfile" [,"formatter"])

轉(zhuǎn)發(fā)到文本文件

seqfile("filename")

轉(zhuǎn)發(fā)到seqfile

dfs("hdfspath")

轉(zhuǎn)發(fā)到hdfs

customdfs("hdfspath"[, "format"])

自定義格式dfs

+escapedCustomDfs("hdfspath", "file", "format")

?

rpcSink("host"[, port])

Rpc框架

syslogTcp("host"[,port])

發(fā)向網(wǎng)絡(luò)地址

irc("host",port, "nick", "chan")

?

flume 參考文檔 (四)


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論