近日，快手數(shù)據(jù)平臺部聯(lián)動快手中學在快手總部舉辦快手大數(shù)據(jù)架構技術交流會，交流會邀請了來自快手、阿里巴巴、美團的5位技術大咖，為現(xiàn)場和線上聽眾帶來了一場技術分享盛宴。

近年來，隨著大數(shù)據(jù)技術的蓬勃發(fā)展，數(shù)據(jù)架構等眾多技術方向也在各家互聯(lián)網公司得到應用和落地。在技術飛速發(fā)展下，業(yè)內從業(yè)者也始終關心一線大廠在數(shù)據(jù)技術領域的實踐，行業(yè)交流的需求和呼聲也越來越強。

本場快手大數(shù)據(jù)架構技術交流會，采用線下+線上（快手號“快手大數(shù)據(jù)”“快手中學”直播）同步開展的方式。交流會由快手大數(shù)據(jù)架構團隊負責人趙健博出品，快手數(shù)據(jù)架構研發(fā)工程師徐增強、阿里巴巴資深技術專家楊克特、快手數(shù)據(jù)架構研發(fā)工程師鄭天祺、美團資深技術專家曾林西、快手數(shù)據(jù)架構研發(fā)工程師蘇國東分別帶來5個不同方向的議題，分享了數(shù)據(jù)架構領域的優(yōu)秀實踐和技術發(fā)展。

本場交流會活動線下、線上參與人數(shù)超過2.2萬人。從報名人數(shù)看，超過22%聽眾為國內外知名互聯(lián)網公司，來自BAT的同學占比達到7%。干貨滿滿的技術分享，豐富多彩的互動，讓線下和線上的聽眾都感到“不虛此行”。

快手大數(shù)據(jù)架構團隊的發(fā)展與挑戰(zhàn)

會議伊始，快手大數(shù)據(jù)架構團隊負責人趙健博率先開場，為現(xiàn)場及線上聽眾介紹了快手的發(fā)展史以及快手數(shù)據(jù)架構的發(fā)展歷程。伴隨快手的飛速發(fā)展，快手的數(shù)據(jù)量急劇增長，諸多業(yè)務帶來的海量數(shù)據(jù)也為數(shù)據(jù)架構團隊帶來全新的挑戰(zhàn)。

快手大數(shù)據(jù)架構團隊負責人  趙健博

跨AZ容災，降低50%存儲成本

快手數(shù)據(jù)架構研發(fā)工程師徐增強，從快手對象存儲架構、快手跨IDC EC架構設計和實踐等多個角度，分享了快手對象存儲領域的技術積累與實踐。在快手跨IDC EC架構實踐的部分，他著重分享了數(shù)據(jù)EC流程、數(shù)據(jù)Fixer流程、數(shù)據(jù)可靠性保障以及IDC故障處理，豐富的演講內容讓聽眾收獲滿滿。

快手數(shù)據(jù)架構研發(fā)工程師  徐增強

流批一體，實時和離線數(shù)據(jù)業(yè)務邏輯一體化

交流會的第二個議題來自阿里巴巴資深技術專家楊克特，議題為《Apache Flink發(fā)展歷程和在阿里巴巴的實踐》。楊克特從Flink的發(fā)展歷史、關鍵技術解析和Flink在阿里巴巴的應用三個方面，分享流批一體數(shù)據(jù)平臺的建設和應用。

阿里巴巴資深技術專家  楊克特

Projections來自快手的解決方案

Projection是快手向開源數(shù)據(jù)庫ClickHouse貢獻的一個重要的新特性?？焓謹?shù)據(jù)架構研發(fā)工程師鄭天祺為聽眾分享了關于ClickHouse的背景，著重介紹了Projection的原理與應用、特性對比與實際效果，為廣大關注開源項目的聽眾分享了快手的貢獻，也為行業(yè)輸出了新的實踐案例。

快手數(shù)據(jù)架構研發(fā)工程師  鄭天祺

沒有完美的架構，只有恰當?shù)臋嗪?/strong>

本次交流會還邀請了來自美團的資深技術專家曾林西，他分享的主題是《美團Spark Remote Shuffle Service架構設計與實踐》。演講內容涵蓋Spark在美團的發(fā)展歷程、Spark Shuffle原理理及存在的問題、Spark Remote Shuffle Service（RSS）架構設計、RSS在數(shù)倉生產場景的實踐。

美團資深技術專家  曾林西

快手大數(shù)據(jù)混部架構演進之路

最后一個議題來自快手數(shù)據(jù)架構研發(fā)工程師蘇國東，他從快手大數(shù)據(jù)混布的背景開始，介紹了快手離線超配架構、快手實時混布架構、快手容齊云混布架構，為聽眾帶來了《快手大數(shù)據(jù)混部架構演進之路》。

快手數(shù)據(jù)架構研發(fā)工程師  蘇國東

本次參與快手大數(shù)據(jù)架構技術交流會的聽眾覆蓋包括BAT、美團、滴滴等知名互聯(lián)網公司，不僅限于數(shù)據(jù)開發(fā)，還吸引了算法、架構、后端開發(fā)、數(shù)據(jù)分析、運維、測試等不同崗位；同時，本場交流會還吸引了北京各大高校的同學、講師。

活動現(xiàn)場圖

參會聽眾反饋，本場交流會分享的諸多案例和實踐，對于從業(yè)者乃至行業(yè)都產生諸多正面影響，讓聽眾既能了解大數(shù)據(jù)架構技術的發(fā)展，更能感受到快手對行業(yè)的貢獻，以及快手大數(shù)據(jù)架構技術的落地與應用。觀看快手大數(shù)據(jù)架構技術交流會完整回放請在快手APP搜索“快手中學”或“快手大數(shù)據(jù)”。