Flink tutor 学习小结

这两天玩了几个 Flink 的 tutor,感觉蛮好的,篇幅短小,把大数据流式/batch处理的用法都讲到了。我简单总结一下,大家感兴趣可以去深入看看: 1. First Steps https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/local_installation/ 本地启动 Flink 集群,

[Elasticsearch 实战][全唐宋诗][上] Java 导入诗集数据

0 项目介绍 最近找到一个诗词数据库,想把它导入 ES 中,做一点分析。主要是为了熟悉 ES 的基本使用。 输入:包含全唐诗和全宋诗的 json 文件目录。 输出:诗人作品数量的标签云(top50) 1 准备工作 ES 和 Kibana 的环境搭建。可参考:Elasticsearch 与 Kibana 下载安装; JSON 数据准备。将此目录下的文件 clone 到本地; 假设你会 Java 和

[Elasticsearch 实战][银行账户] 批量导入数据、搜索与聚合

如果还没有 es 的环境,请先看 Elasticsearch 与 Kibana 下载安装。 以下整理自官方文档。 我们将使用 bulk API 批量导入银行账户的数据到 es 中,执行一些常见的搜索和聚合操作。 1 导入demo数据 下载 accounts.json 到本地(可用 wget),里面包含大量的银行账户数据,形如: { "account_number": 0, "balance": 1

(Ubuntu)Elasticsearch 与 Kibana 下载安装

1 Elastic Stack 简介 Elastic Stack 包含这几个开源项目: Elasticsearch:搜索和分析引擎; Logstash:服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”中; Kibana:可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化; Beats:一系列轻量型的单

用 CSS3 画加载动画

本文将详细介绍如何用 CSS3 画出如下的加载动画。 (1) (2) 一、CSS3 简介 CSS3是CSS2的升级版本,3只是版本号,它在CSS2.1的基础上增加了很多强大的新功能。 目前主流浏览器chrome、safari、firefox、opera、甚至360都已经支持了CSS3大部分功能了,IE10以后也开始全面支持CSS3了。 【CSS3 浏览器支持】 CSS3给我们带来了什么好处呢?简单

Swing 快捷键设置(交互设计,流程图,demo源码)

一、交互设计 (by Dream@帆软)   二、流程图 看到交互图,立马开写,然而逻辑比较复杂,大脑混乱。就先画个流程图,理清逻辑。(发现 Mac 上画流程图神器,OmniGraffle) 三、完整代码 基本按照流程图实现。发现流程有 bug,微调了下。 import javax.swing.*; import java.awt.*; import java.awt.event.Key

IntelliJ Idea 下配置 AspectJ,及简单 demo

零、场景 项目中有大量用于事件处理的代码片段(目测几百处),例如 mousePressed,mouseClicked 等。我们想在执行这些回调函数时,得到具体事件的相关信息,执行一段自定义代码(比如记录日志的代码),大致弄清楚这次程序执行过程中,都触发了哪些事件,何时触发的。 一种方法是,直接在 mousePressed 这样的回调函数中,添加我们想要的功能。但这样做有问题: 找到这几百个方法,并

使用 BeautifulSoup 处理 kindle 导出的 HTML 笔记

问题描述 我用手机端的 kindle App 看完一本书,标注了一些重要句子和段落,想整理一下发表到博客上,于是使用电子邮件方式导出了 HTML 格式的笔记。但是遇到了问题:1、原文件中包含了 CSS 代码,无法直接复制到 WordPress 的文章编辑页中(会被自动去掉),格式很乱;2、某些笔记项是空的,需要把这些多余部分去掉,如果手动删除这些零碎的 HTML 代码,会非常麻烦。 于是,我准备写

我的第一只爬虫:爬取豆瓣读书

在YouTube上找到了一个Python爬虫的教程,然后照着做了一下,试着爬取了豆瓣上的一些信息。从下午3点多做到快9点,感觉又学到了不少东西。期间,发现了一个让我很惊讶、高兴的事,python中的字符串似乎是不限制长度的。我尝试了一下使用一千万位的字符串,没有任何问题。这一点,可比Java贴心多了啊。之前用Java写词法分析器的实验时,由于长度限制,用到字符串时就很麻烦。 主要是参考这个网站的教