• 最新文章
  • 复盘
  • 随笔
  • 读书
  • Java
  • Flink
  • 架构笔记
  • ElasticSearch

Flink 集成 KafkaSource

一个全新的 Flink Stream Api 项目,要从本地的 Kafka 中读取数据。本文给出 demo 代码。 0 前提说明 截止 2024 年 4 月 25 日,Flink 1.19 版本没有提供 Kafka connector。所以,最多只能用 Flink 1.18 版本。 1 添加依赖 在 pom.xml 中添加如下依赖: <dependency> <groupId&g

《隆中对》原文

【作者】陈寿 【朝代】魏晋 亮躬耕陇亩,好为《梁父吟》。身长八尺,每自比于管仲、乐毅,时人莫之许也。惟博陵崔州平、颍川徐庶元直与亮友善,谓为信然。 时先主屯新野。徐庶见先主,先主器之,谓先主曰:“诸葛孔明者,卧龙也,将军岂愿见之乎?”先主曰:“君与俱来。”庶曰:“此人可就见,不可屈致也。将军宜枉驾顾之。” 由是先主遂诣亮,凡三往,乃见。因屏人曰:“汉室倾颓,奸臣窃命,主上蒙尘。孤不度德量力,欲信大

本地部署 Kafka

在本地部署一个用于测试的 Kafka,步骤如下。 (以2.3.0版本为例) 官方文档:https://kafka.apache.org/23/documentation.html#quickstart 部署启动 下载安装包,wget https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz 找一个目录,解压。tar -xvzf

初次部署 Flink,WebUI 外网无法访问的问题

在服务器上部署了 Flink,启动集群。尝试访问 WebUI,浏览器却提示“xxx 拒绝了我们的连接请求。” 原因是,Flink 的 WebUI 默认不对外开放访问,需要修改配置文件。 步骤如下: vi conf/flink-conf.yaml 打开配置文件 找到 rest.bind-address,把值改为 0.0.0.0 重启 Flink 集群 再次尝试访问,就可以进去了。 站长数十年成长感悟

创建并运行一个 Flink Stream Api 的 HelloWorld 项目

工作需要,重拾 Flink,从最简单的 demo 开始上手。 1 创建项目 假设需要从零开发一个 Stream Api 的项目,怎样搭建项目基础框架呢? 使用 maven,执行以下命令: mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-walkthrough-dat

践行黑客之道,虽千万人,吾往矣!

(首发于公众号:“桩白墨”) 1 这是2024年的第一天,祝大家元旦快乐。就在今天凌晨,我自己的内修境界又有了突破。这篇文章给大家分享我领悟到的东西。 老读者应该有感觉,我这个号跟常规的公众号不一样。不是一种工具,不提供新闻,也不专注在某个特定领域。我写的所有文章,都有比较强烈的个性,都是『我』。 这种感觉是对的。因为我做的是个人ip号。『桩白墨』是一个ip,是一个品牌,是我本人。就像『李子柒』、
践行黑客之道,虽千万人,吾往矣!

DDD(1)——领域驱动设计架构的四个层次,及依赖关系

在领域驱动设计(Domain-Driven Design,简称DDD)中,系统通常被划分为以下四个核心层次: 用户界面层 (UI层):这是用户与系统交互的地方,也就是我们通常说的前端部分。 应用层 (Application层):这一层为用户界面层提供所需的应用功能。它并不直接包含业务逻辑,而是负责协调和指导领域层和基础设施层如何工作以完成特定的用户故事或用例。 领域层 (Domain层):这里包含

ES 在创建索引时,指定分词方式

我要在 ES 中创建一个索引,它包含多个字段。我想让其中一些字段使用“空格分词”,另一些字段使用“标准分词”。 示例代码如下: PUT /my_index { "settings": { "analysis": { "analyzer": { "space_analyzer": { "type": "custom", "tokenizer": "space_tokenizer" } }, "tok