flinkcdc

    2023年12月9日，F(xiàn)linkForwardAsia2023（以下簡稱FFA）在北京圓滿結(jié)束。70+演講議題、30+一線大廠技術(shù)與實踐分享，以及座無虛席的現(xiàn)場，無一不昭示著重回線下的FFA的行業(yè)號召力。

    借用ApacheFlink中文社區(qū)發(fā)起人、ApachePaimonPPMCMember、阿里云智能開源大數(shù)據(jù)平臺負(fù)責(zé)人王峰的話來說：“經(jīng)過近十年的發(fā)展，F(xiàn)link已然成為了流式計算的事實標(biāo)準(zhǔn)�！�

    當(dāng)然，對于社區(qū)開發(fā)者而言，這次大會上帶來的流計算的新趨勢、新實踐與新進(jìn)展或許才是關(guān)注的重點。

    Flink兩大版本更新，深入場景、精益求精

    過去十年，隨著大數(shù)據(jù)、物聯(lián)網(wǎng)和實時分析等需求的日益增長，傳統(tǒng)的批量處理和靜態(tài)分析方法無法滿足新型數(shù)據(jù)處理場景下的高效、實時的要求，流計算的概念由此出現(xiàn)。流計算具有實時性強、處理實時數(shù)據(jù)流等能力，使得系統(tǒng)能夠更加及時地響應(yīng)和分析從大規(guī)模設(shè)備、傳感器以及其他數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)。ApacheFlink開始嶄露頭角，并且憑借其出色的性能和靈活性在全球范圍內(nèi)贏得了眾多企業(yè)和開發(fā)者的青睞。

    發(fā)布會上，王峰表示：“Flink作為開源大數(shù)據(jù)領(lǐng)域的一棵常青樹，一直保持著快速的發(fā)展，根本原因是我們在核心技術(shù)領(lǐng)域的不斷演進(jìn)。2023年我們同樣取得了一些新的進(jìn)展，依然保持一年兩個大版本的發(fā)布，包括Flink1.17和1.18，也產(chǎn)生了很多新的貢獻(xiàn)者。”

    “在核心的流處理領(lǐng)域內(nèi)，整體總結(jié)就是精益求精�！蓖醴逄岬健Ｊ聦嵣�，從技術(shù)層面來看，當(dāng)前Flink已經(jīng)成為了全球流計算領(lǐng)域的標(biāo)桿，所以2023年Flink把版本更新的重點放到了深入場景、持續(xù)打磨上。比如持續(xù)完善Flink在批處理模式下的性能問題、功能完善性問題等，讓Flink成為一款對有限數(shù)據(jù)集和無限數(shù)據(jù)集都能統(tǒng)一處理的計算引擎。

    具體來說，在用戶最關(guān)注且使用最多的開發(fā)語言——FlinkSQL方面，F(xiàn)link團(tuán)隊進(jìn)行了數(shù)百項調(diào)整或優(yōu)化。比如，今年社區(qū)推出了一項新的功能特性——PlanAdvice，它可以幫助用戶智能檢查流式SQL。PlanAdvice會在用戶編寫完流式SQL后，自動檢查SQL可能存在的問題或風(fēng)險，并第一時間給出提示和可行的建議。目前這項功能受到了用戶的熱烈歡迎。

    在StreamingRuntime也就是真正的Streaming核心架構(gòu)上，今年同樣做出了較大的升級�！癋link最大的特點是面向狀態(tài)計算，自帶狀態(tài)存儲和狀態(tài)訪問能力，因此狀態(tài)管理、State管理、Checkpoint、快照管理等都是Flink非常核心的部分，也是用戶有很強訴求的部分。雖然Flink定期會做全局一致性快照，但用戶希望快照頻率越快越好，且代價越小越好，可行的思路是讓系統(tǒng)在出現(xiàn)容錯的時候，盡量少的數(shù)據(jù)回放，比如做到秒級的Checkpoint�！蓖醴灞硎�。經(jīng)過一年的努力，通用的增量Checkpoint能力在Flink1.17和1.18成功落地，并且達(dá)到了一個完全生產(chǎn)可用的狀態(tài)。