从 0 到 1 建设亿级广告数据的实时数仓（Kappa 架构），数据流单节点上千 QPS。

主要职责

  • 实时数仓分层表设计（dwd/dwm/dws）与数据端整体架构设计
  • 独立开发两个自研核心中间件：StarRocksSource、StarRocksRepo
  • 以 SQL 为核心的数据同步框架（SR → SR、SR → ES）
  • 监控报警服务与 Flink 集群运维工具（Python）

成果

同类型数据同步任务开发效率提升 10 倍以上（2 天 → 2 小时）。