Flink 集成 KafkaSource

一个全新的 Flink Stream Api 项目,要从本地的 Kafka 中读取数据。本文给出 demo 代码。 0 前提说明 截止 2024 年 4 月 25 日,Flink 1.19 版本没有提供 Kafka connector。所以,最多只能用 Flink 1.18 版本。 1 添加依赖 在 pom.xml 中添加如下依赖: <dependency> <groupId&g

初次部署 Flink,WebUI 外网无法访问的问题

在服务器上部署了 Flink,启动集群。尝试访问 WebUI,浏览器却提示“xxx 拒绝了我们的连接请求。” 原因是,Flink 的 WebUI 默认不对外开放访问,需要修改配置文件。 步骤如下: vi conf/flink-conf.yaml 打开配置文件 找到 rest.bind-address,把值改为 0.0.0.0 重启 Flink 集群 再次尝试访问,就可以进去了。

创建并运行一个 Flink Stream Api 的 HelloWorld 项目

工作需要,重拾 Flink,从最简单的 demo 开始上手。 1 创建项目 假设需要从零开发一个 Stream Api 的项目,怎样搭建项目基础框架呢? 使用 maven,执行以下命令: mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-walkthrough-dat

Flink tutor 学习小结

这两天玩了几个 Flink 的 tutor,感觉蛮好的,篇幅短小,把大数据流式/batch处理的用法都讲到了。我简单总结一下,大家感兴趣可以去深入看看: 1. First Steps https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/local_installation/ 本地启动 Flink 集群,