leonardBang's Blog

1. TableEnvironment 简介 TableEnvironment 是用来创建 Table & SQL 程序的上下文执行环境 ，也是 Table & SQL 程序的入口，Table & SQL 程序的所有功能都是围绕 TableEnvironment 这个核心类展开的。TableEnvironment 的主要职能包括：对接外部系统，表及元数据的注册和检索...

发展历程 今年的8月22日 Apache Flink 发布了1.9.0 版本(下文简称1.9)，在 Flink 1.9 中，Table 模块迎来了核心架构的升级，引入了阿里巴巴Blink团队贡献的诸多功能，本文对Table 模块的架构进行梳理并介绍如何使用 Blink Planner。 Flink 的 Table 模块 包括 Table API 和 SQL，Table API 是一种类S...

Flink 详解源码中的注解 1.Flink自定义注解级别 为了更好地进行代码和版本管理，flink使用了java的注解特性自定义了注解，对代码进行增强说明，Flink的自定义注解有 代码相关注解 在阅读Flink源码时，记住常用的有@internal、@public、@publicevolving这三个注释就够了。 @Experimental：该注解标识类仅供实验目的使用。添加该...

Flink API编程（事件时间和水印） 支持事件时间的流处理器需要一种方法来衡量事件时间的进度,比如按照10分钟构建的窗口，需要知道当事件时间超过10分钟后需要进行通知，是的算子可以结束本轮运算。Flink中，这个衡量事件时间进度的机制是Watermarks。 event time(事件时间)和Watermark(水印)是Flink的两个核心概念，是Flink 实现 乱序处理、窗口计算的基...

Flink API编程（Transforming Data） Flink 官方提供了一个可以练手的入门项目，包含4个练习，每个练习都有原理、提示，以及参考解决code在github上也有实现，可以说是非常适合入门练级啦。地址:training.ververica.com。项目的数据来自纽约市交通委提供纽的约市自2009年到2015年的公开数据集，获取地址： 1 2 wget http:/...

1.源码编译 1.1 编译工具 Flink 代码使用 maven 构建项目,编译代码的时候 maven 默认会根据当前用户下的 “~/.m2/settings.xml”文件中的配置信息下载 Flink 的依赖包, 也可以在 mvn 命令中增加“– settings=${your_maven_settings_file}”来指定 maven settings 文件的位置 1.2 编译 （1）...

todo

Spark作业调优(二) 前言 继Spark作业调优(一)讲解了开发调优与资源调优之后，本文继续分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 1. 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 ...

Spark作业调优(一) 前言 Spark作业的性能优化主要分为开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则，是高性能Spark作业的基础； 数据倾斜调优，主要讲解了一套完整的用来解决Spark作业数据倾斜的解决方案； shuffle调优，面向的是对Spark的原理有较深层次掌握和研究的同学...

Spark任务部署 Spark基本运行原理 详细原理见上图。我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动。Driver进程本身会根据我们设置的参数，占有一定数量的内存和CPU core。而Driver进程要做的第一...