Flink 多个MySqlSource
- User
Flink 多个MySqlSource
- Assistant
在Flink中可以通过创建多个MySqlSource实例来读取多个MySQL数据源,每个实例对应一个MySQL数据源。我们可以以下面的代码片段为例子:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 创建第一个MySqlSource实例 MySqlSource<Order> orderSource1 = MySqlSource.<Order>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("mydb") .setUsername("root") .setPassword("123456") .setQuery("select * from orders where amount > 1000") .setRowTypeInfo(orderTypeInfo) .build(); // 创建第二个MySqlSource实例 MySqlSource<Order> orderSource2 = MySqlSource.<Order>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("mydb") .setUsername("root") .setPassword("123456") .setQuery("select * from orders where amount < 1000") .setRowTypeInfo(orderTypeInfo) .build(); // 将两个MySqlSource实例合并成一个流 DataStream<Order> orderStream = env.addSource(orderSource1).union(env.addSource(orderSource2));这里我们创建了两个MySqlSource实例,分别对应两个MySQL数据源。两个实例的查询语句不同,一个查询订单金额大于1000的订单,另一个查询订单金额小于1000的订单。最后我们将两个MySqlSource实例的数据合并成一个流,这可能会导致有些订单被重复地处理。为了避免重复处理,我们可以在应用程序中添加一些去重的逻辑。
- User
Flink mysqlsource union
- Assistant
在Flink中,可以使用
union函数将多个数据源的流合并到一起。对于多个MySQL数据源来说,可以将不同数据源的MySqlSource实例作为参数传递给union函数。以下是示例代码:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 第一个MySQL数据源 MySqlSource<Order> orderSource1 = MySqlSource.<Order>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("db1") .setUsername("user") .setPassword("password") .setQuery("SELECT * FROM orders WHERE amount > 1000") .setRowTypeInfo(orderTypeInfo) .build(); // 第二个MySQL数据源 MySqlSource<Order> orderSource2 = MySqlSource.<Order>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("db2") .setUsername("user") .setPassword("password") .setQuery("SELECT * FROM orders WHERE amount < 1000") .setRowTypeInfo(orderTypeInfo) .build(); // 将两个MySQL数据源合并到一起 DataStream<Order> orderStream = env.addSource(orderSource1).union(env.addSource(orderSource2));在这个示例中,我们创建了两个MySQL数据源,分别对应两个不同的MySQL数据库。
orderSource1查询db1中订单金额大于1000的订单,orderSource2查询db2中订单金额小于1000的订单。最后,我们通过union函数将这两个数据源合并到一起,并将结果保存到orderStream流中。需要注意的是,如果在不同的数据源中有相同的数据,那么通过这种方式合并的流中也会包含相同的数据,因此需要进行去重处理。
- User
Flink1.17 source union
- Assistant
在Flink 1.17中,可以使用
addSource方法添加多个数据源,并使用union方法将它们合并为一个流。可以使用DataStream或Table等数据结构。以下是一个示例代码:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 第一个数据源 DataStream<Tuple2<String, Integer>> source1 = env.fromElements( Tuple2.of("hello", 1), Tuple2.of("world", 2) ); // 第二个数据源 DataStream<Tuple2<String, Integer>> source2 = env.fromElements( Tuple2.of("flink", 3), Tuple2.of("union", 4) ); // 合并两个数据源 DataStream<Tuple2<String, Integer>> mergedStream = source1.union(source2); // 打印结果 mergedStream.print(); env.execute("Source Union Example");在此示例中,我们使用
fromElements方法创建了两个DataStream对象,分别表示两个不同的数据源。然后,我们使用union方法将它们合并为一个流,并将结果保存到mergedStream变量中。最后,我们打印合并后的数据流,并通过execute方法以名称为Source Union Example的作业提交它。需要注意的是,在使用
union方法将多个数据源合并为一个流时,它们的数据类型必须是相同的。如果有不同的数据类型,可以通过转换或调整数据源来解决这个问题。 - User
Flink1.17 mysqlsource union
- Assistant
在Flink 1.17中,可以使用
addSource方法添加多个MySQL数据源,并使用union方法将它们合并为一个流。以下是示例代码:
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 第一个MySQL数据源 MySqlSource<Order> source1 = MySqlSource.<Order>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("db1") .setUsername("user") .setPassword("password") .setQuery("SELECT * FROM orders WHERE amount > 1000") .setRowTypeInfo(orderTypeInfo) .build(); // 第二个MySQL数据源 MySqlSource<Order> source2 = MySqlSource.<Order>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("db2") .setUsername("user") .setPassword("password") .setQuery("SELECT * FROM orders WHERE amount < 1000") .setRowTypeInfo(orderTypeInfo) .build(); // 合并两个MySQL数据源 DataStream<Order> mergedStream = env.addSource(source1).union(env.addSource(source2)); // 打印结果 mergedStream.print(); env.execute("MySQL Source Union Example");在此示例中,我们创建了两个MySQL数据源,分别查询
db1和db2中不同条件下的订单。然后,我们使用union方法将它们合并为一个数据流,并将结果保存到mergedStream变量中。最后,我们打印合并后的数据流,并通过execute方法提交作业。需要注意的是,在使用
union方法将多个MySQL数据源合并为一个数据流时,它们的数据类型必须是相同的。如果有不同的数据类型,可以通过转换或调整数据源来解决这个问题。 - User
Flink 整合mybatisplus 代码实现
- Assistant
在Flink中整合Mybatis Plus可以使用Mybatis-Plus官方提供的Mybatis-Plus Boot Starter来简化集成。
以下是一个简单的示例代码:
- 添加依赖(Maven方式)
<!-- MyBatis Plus --> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.4.3.3</version> </dependency> <!-- MySQL Connector --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.25</version> </dependency>- 定义实体类(例如这里使用
User实体类)
@Data @TableName("user") public class User implements Serializable { private static final long serialVersionUID = 1L; @TableId private Long id; private String name; private Integer age; private String email; }- 定义Mapper接口(例如这里使用
UserMapper接口)
@Mapper public interface UserMapper extends BaseMapper<User> { }- 配置数据源和Mybatis-Plus
在
application.properties文件中添加如下配置:# 数据源配置 spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver spring.datasource.url=jdbc:mysql://localhost:3306/mydb?useSSL=false&serverTimezone=UTC spring.datasource.username=root spring.datasource.password=123456 # Mybatis-Plus配置 mybatis-plus.mapper-locations=classpath*:/mapper/**Mapper.xml mybatis-plus.type-aliases-package=com.example.demo.entity- 在Flink中使用 Mybatis-Plus
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 定义Mybatis-Plus的SqlSessionFactory SqlSessionFactory sqlSessionFactory = MybatisPlusUtils.createSqlSessionFactory(); // 创建MySqlSource实例 MySqlSource<User> userSource = MySqlSource.<User>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("mydb") .setUsername("root") .setPassword("123456") .setQuery("SELECT id, name, age, email FROM user") .setRowTypeInfo(TypeInformation.of(User.class)) .build(); // 创建查询Task DataStream<User> userStream = env.addSource(userSource) .map(new MybatisPlusTask<>(sqlSessionFactory, UserMapper.class)); // 打印结果 userStream.print(); env.execute("Mybatis Plus Example");在此示例中,我们首先定义了
User实体类和UserMapper接口,并在application.properties文件中配置了数据源和Mybatis-Plus。然后,我们创建了一个SqlSessionFactory对象并将其传递给Mybatis-Plus的查询任务中。最后,我们创建了一个MySQL数据源,并使用map算子将其转换为User对象,并通过MybatisPlusTask对象查询数据库。最终,我们打印结果,并通过execute方法提交作业。需要注意的是,为了在Flink中正确地使用Mybatis Plus,我们必须确保查询任务能够在Web上下文中执行。这可以通过将
SqlSessionFactory实例传递到任务中来实现,在任务中创建SqlSession对象并处理查询。 - User
Flink mybatisplus sink实现
- Assistant
在Flink中整合Mybatis-Plus可以使用Mybatis-Plus官方提供的Mybatis-Plus Boot Starter来简化集成。对于Sink实现,我们可以自定义一个实现了
RichSinkFunction接口的类,并在open方法中创建Mybatis-Plus的连接,并在invoke方法中实现数据的写入操作。以下是一个简单的示例代码:
- 添加依赖(Maven方式)
<!-- MyBatis Plus --> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.4.3.3</version> </dependency> <!-- MySQL Connector --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.25</version> </dependency>- 定义实体类(例如这里使用
User实体类)
@Data @TableName("user") public class User implements Serializable { private static final long serialVersionUID = 1L; @TableId private Long id; private String name; private Integer age; private String email; }- 定义Mapper接口(例如这里使用
UserMapper接口)
@Mapper public interface UserMapper extends BaseMapper<User> { }- 配置数据源和Mybatis-Plus
在
application.properties文件中添加如下配置:# 数据源配置 spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver spring.datasource.url=jdbc:mysql://localhost:3306/mydb?useSSL=false&serverTimezone=UTC spring.datasource.username=root spring.datasource.password=123456 # Mybatis-Plus配置 mybatis-plus.mapper-locations=classpath*:/mapper/**Mapper.xml mybatis-plus.type-aliases-package=com.example.demo.entity- 自定义
MybatisPlusSink类
public class MybatisPlusSink<T> extends RichSinkFunction<T> { private transient SqlSessionFactory sqlSessionFactory; private final Class mapperClass; public MybatisPlusSink(Class mapperClass) { this.mapperClass = mapperClass; } @Override public void open(Configuration parameters) throws Exception { // 初始化SqlSessionFactory sqlSessionFactory = MybatisPlusUtils.createSqlSessionFactory(); } @Override public void invoke(T value, Context context) throws Exception { // 获取SqlSession对象 try (SqlSession sqlSession = sqlSessionFactory.openSession(true)) { // 获取Mapper对象 BaseMapper<T> mapper = sqlSession.getMapper(mapperClass); // 执行插入操作 mapper.insert(value); } } }在此示例中,我们自定义了
MybatisPlusSink类,并实现了open和invoke方法。在open方法中,我们初始化了SqlSessionFactory对象;在invoke方法中,我们调用Mybatis-Plus的Mapper对象执行数据写入操作。- 在Flink中使用
MybatisPlusSink类
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 定义MySqlSource实例,读取数据流 MySqlSource<User> userSource = MySqlSource.<User>builder() .setHost("localhost") .setPort(3306) .setDatabaseName("mydb") .setUsername("root") .setPassword("123456") .setQuery("SELECT id, name, age, email FROM user") .setRowTypeInfo(TypeInformation.of(User.class)) .build(); // 将数据流写入到MyBatis-Plus中 userSource.addSink(new MybatisPlusSink<>(UserMapper.class)); // 执行任务 env.execute("Mybatis Plus Example");在此示例中,我们创建了一个
MySqlSource实例来读取数据流,并通过addSink方法将其写入到Mybatis-Plus中。最后,我们通过execute方法提交作业。需要注意的是,在使用自定义的
MybatisPlusSink类之前,需要先确保Mybatis-Plus对象已经正确地进行了配置。如果没有进行正确的配置,使用MybatisPlusSink类将会报错。 - User
MybatisPlusUtils 代码实现
- Assistant
MybatisPlusUtils类可以用于创建Mybatis-Plus的SqlSessionFactory对象,以便在Flink中执行数据库操作。下面是一个简单的示例代码:public class MybatisPlusUtils { public static SqlSessionFactory createSqlSessionFactory() { // 读取Mybatis-Plus配置文件 MybatisSqlSessionFactoryBean sqlSessionFactoryBean = new MybatisSqlSessionFactoryBean(); ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver(); sqlSessionFactoryBean.setMapperLocations(resolver.getResources("classpath:/mapper/**Mapper.xml")); sqlSessionFactoryBean.setTypeAliasesPackage("com.example.demo.entity"); // 配置数据源 HikariDataSource dataSource = new HikariDataSource(); dataSource.setDriverClassName("com.mysql.cj.jdbc.Driver"); dataSource.setJdbcUrl("jdbc:mysql://localhost:3306/mydb?useSSL=false&serverTimezone=UTC"); dataSource.setUsername("root"); dataSource.setPassword("123456"); sqlSessionFactoryBean.setDataSource(dataSource); // 配置Mybatis-Plus全局配置 MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor(); interceptor.addInnerInterceptor(new PaginationInnerInterceptor(DbType.MYSQL)); GlobalConfig config = new GlobalConfig(); config.setSqlInjector(new DefaultSqlInjector()); config.setMetaObjectHandler(new MyMetaObjectHandler()); config.setBanner(false); config.setGlobalConfig(new GlobalConfig.DbConfig().setLogicDeleteValue("1").setLogicNotDeleteValue("0")); config.setGlobalConfig(config.getGlobalConfig().setSqlInjector(new DefaultSqlInjector(interceptor))); sqlSessionFactoryBean.setGlobalConfig(config); Interceptor[] interceptors = {new TenantLineInterceptor()}; sqlSessionFactoryBean.setPlugins(interceptors); try { // 创建SqlSessionFactory对象 return sqlSessionFactoryBean.getObject(); } catch (Exception e) { throw new MybatisSystemException(e); } } }在此实现中,我们使用了Mybatis-Plus提供的
MybatisSqlSessionFactoryBean类来创建SqlSessionFactory对象,通过配置数据源、全局配置、插件等属性来进行Mybatis-Plus的初始化。需要注意的是,在配置数据源时,我们可以使用任何符合
javax.sql.DataSource标准的数据源。在本例中,我们使用了HikariCP数据源。在使用
MybatisPlusUtils类时,我们只需在代码中调用该类的createSqlSessionFactory方法即可创建SqlSessionFactory对象。在Flink中,该对象可以用于构建Mybatis-Plus的Mapper对象,并执行数据库操作。 - User
Flink mybatisplus IService
- Assistant
在F