仙尊脔到她哭h粗话h,小蜜桃3,亚洲天然素人无码专区,国产精品久久久久av,成人性生交大片免费

千鋒教育-做(zuo)有(you)(you)情懷、有(you)(you)良心、有(you)(you)品(pin)質的(de)職業教育機(ji)構

手機站
千鋒教育

千鋒學(xue)習站(zhan) | 隨時隨地免(mian)費學(xue)

千鋒教育

掃一(yi)掃進入(ru)千(qian)鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費(fei)學習課程

當(dang)前(qian)位(wei)(wei)置:首頁  >  應聘面試  >  大數據面試題  > Flink反壓機制?

Flink反壓機制?

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 16:59:16 1662109156

Flink 內部是基于producer-consumer模型來進(jin)行(xing)消(xiao)息傳遞的,Flink的反壓設計也是基于這個模型。

Flink 使用了高效有界的(de)分布式阻塞隊列(lie),就像 Java 通用的(de)阻塞隊列(lie)(BlockingQueue)一(yi)樣。

下游消費(fei)者(zhe)消費(fei)變慢,上游就會受到阻塞。

- Flink 1.5 之前(qian)的(de)版本并(bing)沒有(you)對反(fan)壓(ya)做特別的(de)處理(li),它(ta)利用buffer來暫存(cun)堆積的(de)無法處理(li)的(de)數據,當(dang) buffer 用滿了,則上游的(de)流(liu)阻塞,不再發送數據。可見此時的(de)反(fan)壓(ya)是從(cong)下游往(wang)(wang)上游傳播的(de),一直往(wang)(wang)上傳播到 Source Task 后,Source Task最終會降低或(huo)提升從(cong)外部Source 端(duan)讀取數據的(de)速率。

這(zhe)種機制有(you)一(yi)(yi)(yi)個(ge)(ge)比較(jiao)大的(de)問題,在這(zhe)樣的(de)一(yi)(yi)(yi)個(ge)(ge)場景下:同一(yi)(yi)(yi) Task的(de)不(bu)同 SubTask 被安排到同一(yi)(yi)(yi)個(ge)(ge) TaskManager,則(ze)SubTask與其他TaskManager 的(de)網絡(luo)連(lian)接(jie)將(jiang)被多路(lu)復用并共享(xiang)一(yi)(yi)(yi)個(ge)(ge) TCP信道以減少資源使用,所以某個(ge)(ge) SubTask產生(sheng)了(le)反壓的(de)話(hua)會把(ba)多路(lu)復用的(de)TCP通道占住,從而會把(ba)其他復用同一(yi)(yi)(yi) TCP信道的(de)且沒有(you)流量壓力的(de)SubTask阻塞。

- Flink1.5版本之后的(de)基于(yu)Credit反壓機制解(jie)決(jue)了上述(shu)問題(ti)。

這(zhe)種機制主要是(shi)每(mei)次上游(you)(you)(you)SubTask給(gei)下(xia)游(you)(you)(you)SubTask發(fa)送數(shu)據(ju)時,會把Buffer中的(de)數(shu)據(ju)和上游(you)(you)(you)ResultSubPartition堆積的(de)數(shu)據(ju)量(liang)Backlog size發(fa)給(gei)下(xia)游(you)(you)(you),下(xia)游(you)(you)(you)會接(jie)收(shou)上游(you)(you)(you)發(fa)來的(de)數(shu)據(ju),并向上游(you)(you)(you)反饋目(mu)(mu)前下(xia)游(you)(you)(you)現在的(de)Credit值,Credit值表示目(mu)(mu)前下(xia)游(you)(you)(you)可以接(jie)收(shou)上游(you)(you)(you)的(de)Buffer量(liang),1個(ge)Buffer等(deng)價于1個(ge)Credit。

可見,這種策略上游(you)向(xiang)下(xia)游(you)發送數據(ju)是按需發送的,而不(bu)是和之前一樣會在公用(yong)的Netty和TCP這一層數據(ju)堆積,避免了影響其他SubTask通信的問題。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT