Flink 集成 KafkaSource

一个全新的 Flink Stream Api 项目,要从本地的 Kafka 中读取数据。本文给出 demo 代码。 0 前提说明 截止 2024 年 4 月 25 日,Flink 1.19 版本没有提供 Kafka connector。所以,最多只能用 Flink 1.18 版本。 1 添加依赖 在 pom.xml 中添加如下依赖: <dependency> <groupId&g

本地部署 Kafka

在本地部署一个用于测试的 Kafka,步骤如下。 (以2.3.0版本为例) 官方文档:https://kafka.apache.org/23/documentation.html#quickstart 部署启动 下载安装包,wget https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz 找一个目录,解压。tar -xvzf

Kafka 性能测试

接触 kafka 有一段时间了,突然想看下 kafka 的性能到底怎么样,搜了相关资料,发现它自带了性能测试脚本。记录一下全过程。 1 本地搭建 kafka 环境 使用 docker-compose。https://github.com/plough/docker-compose/tree/master/kafka 启动之后,docker exec -it xxx bash 进入 kafka 的容