Skip to content
The Chat Archive
gpt-3.5-turbo-0301· OpenAI WildChat-4.8M (AI2)

Flink 多个MySqlSource

  1. User

    Flink 多个MySqlSource

  2. Assistant

    在Flink中可以通过创建多个MySqlSource实例来读取多个MySQL数据源,每个实例对应一个MySQL数据源。我们可以以下面的代码片段为例子:

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    // 创建第一个MySqlSource实例
    MySqlSource<Order> orderSource1 = MySqlSource.<Order>builder()
            .setHost("localhost")
            .setPort(3306)
            .setDatabaseName("mydb")
            .setUsername("root")
            .setPassword("123456")
            .setQuery("select * from orders where amount > 1000")
            .setRowTypeInfo(orderTypeInfo)
            .build();
            
    // 创建第二个MySqlSource实例
    MySqlSource<Order> orderSource2 = MySqlSource.<Order>builder()
            .setHost("localhost")
            .setPort(3306)
            .setDatabaseName("mydb")
            .setUsername("root")
            .setPassword("123456")
            .setQuery("select * from orders where amount < 1000")
            .setRowTypeInfo(orderTypeInfo)
            .build();
    
    // 将两个MySqlSource实例合并成一个流
    DataStream<Order> orderStream = env.addSource(orderSource1).union(env.addSource(orderSource2)); 
    

    这里我们创建了两个MySqlSource实例,分别对应两个MySQL数据源。两个实例的查询语句不同,一个查询订单金额大于1000的订单,另一个查询订单金额小于1000的订单。最后我们将两个MySqlSource实例的数据合并成一个流,这可能会导致有些订单被重复地处理。为了避免重复处理,我们可以在应用程序中添加一些去重的逻辑。

  3. User

    Flink mysqlsource union

  4. Assistant

    在Flink中,可以使用union函数将多个数据源的流合并到一起。对于多个MySQL数据源来说,可以将不同数据源的MySqlSource实例作为参数传递给union函数。

    以下是示例代码:

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    // 第一个MySQL数据源
    MySqlSource<Order> orderSource1 = MySqlSource.<Order>builder()
        .setHost("localhost")
        .setPort(3306)
        .setDatabaseName("db1")
        .setUsername("user")
        .setPassword("password")
        .setQuery("SELECT * FROM orders WHERE amount > 1000")
        .setRowTypeInfo(orderTypeInfo)
        .build();
    
    // 第二个MySQL数据源
    MySqlSource<Order> orderSource2 = MySqlSource.<Order>builder()
        .setHost("localhost")
        .setPort(3306)
        .setDatabaseName("db2")
        .setUsername("user")
        .setPassword("password")
        .setQuery("SELECT * FROM orders WHERE amount < 1000")
        .setRowTypeInfo(orderTypeInfo)
        .build();
    
    // 将两个MySQL数据源合并到一起
    DataStream<Order> orderStream = env.addSource(orderSource1).union(env.addSource(orderSource2));
    

    在这个示例中,我们创建了两个MySQL数据源,分别对应两个不同的MySQL数据库。orderSource1查询db1中订单金额大于1000的订单,orderSource2查询db2中订单金额小于1000的订单。最后,我们通过union函数将这两个数据源合并到一起,并将结果保存到orderStream流中。

    需要注意的是,如果在不同的数据源中有相同的数据,那么通过这种方式合并的流中也会包含相同的数据,因此需要进行去重处理。

  5. User

    Flink1.17 source union

  6. Assistant

    在Flink 1.17中,可以使用addSource方法添加多个数据源,并使用union方法将它们合并为一个流。可以使用DataStream或Table等数据结构。

    以下是一个示例代码:

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    // 第一个数据源
    DataStream<Tuple2<String, Integer>> source1 = env.fromElements(
        Tuple2.of("hello", 1),
        Tuple2.of("world", 2)
    );
    
    // 第二个数据源
    DataStream<Tuple2<String, Integer>> source2 = env.fromElements(
        Tuple2.of("flink", 3),
        Tuple2.of("union", 4)
    );
    
    // 合并两个数据源
    DataStream<Tuple2<String, Integer>> mergedStream = source1.union(source2);
    
    // 打印结果
    mergedStream.print();
    
    env.execute("Source Union Example");
    

    在此示例中,我们使用fromElements方法创建了两个DataStream对象,分别表示两个不同的数据源。然后,我们使用union方法将它们合并为一个流,并将结果保存到mergedStream变量中。最后,我们打印合并后的数据流,并通过execute方法以名称为Source Union Example的作业提交它。

    需要注意的是,在使用union方法将多个数据源合并为一个流时,它们的数据类型必须是相同的。如果有不同的数据类型,可以通过转换或调整数据源来解决这个问题。

  7. User

    Flink1.17 mysqlsource union

  8. Assistant

    在Flink 1.17中,可以使用addSource方法添加多个MySQL数据源,并使用union方法将它们合并为一个流。

    以下是示例代码:

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    // 第一个MySQL数据源
    MySqlSource<Order> source1 = MySqlSource.<Order>builder()
        .setHost("localhost")
        .setPort(3306)
        .setDatabaseName("db1")
        .setUsername("user")
        .setPassword("password")
        .setQuery("SELECT * FROM orders WHERE amount > 1000")
        .setRowTypeInfo(orderTypeInfo)
        .build();
    
    // 第二个MySQL数据源
    MySqlSource<Order> source2 = MySqlSource.<Order>builder()
        .setHost("localhost")
        .setPort(3306)
        .setDatabaseName("db2")
        .setUsername("user")
        .setPassword("password")
        .setQuery("SELECT * FROM orders WHERE amount < 1000")
        .setRowTypeInfo(orderTypeInfo)
        .build();
    
    // 合并两个MySQL数据源
    DataStream<Order> mergedStream = env.addSource(source1).union(env.addSource(source2));
    
    // 打印结果
    mergedStream.print();
    
    env.execute("MySQL Source Union Example");
    

    在此示例中,我们创建了两个MySQL数据源,分别查询db1和db2中不同条件下的订单。然后,我们使用union方法将它们合并为一个数据流,并将结果保存到mergedStream变量中。最后,我们打印合并后的数据流,并通过execute方法提交作业。

    需要注意的是,在使用union方法将多个MySQL数据源合并为一个数据流时,它们的数据类型必须是相同的。如果有不同的数据类型,可以通过转换或调整数据源来解决这个问题。

  9. User

    Flink 整合mybatisplus 代码实现

  10. Assistant

    在Flink中整合Mybatis Plus可以使用Mybatis-Plus官方提供的Mybatis-Plus Boot Starter来简化集成。

    以下是一个简单的示例代码:

    1. 添加依赖(Maven方式)
    <!-- MyBatis Plus -->
    <dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>3.4.3.3</version>
    </dependency>
    <!-- MySQL Connector -->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.25</version>
    </dependency>
    
    1. 定义实体类(例如这里使用User实体类)
    @Data
    @TableName("user")
    public class User implements Serializable {
    
        private static final long serialVersionUID = 1L;
    
        @TableId
        private Long id;
    
        private String name;
    
        private Integer age;
    
        private String email;
    
    }
    
    1. 定义Mapper接口(例如这里使用UserMapper接口)
    @Mapper
    public interface UserMapper extends BaseMapper<User> {
    }
    
    1. 配置数据源和Mybatis-Plus

    在application.properties文件中添加如下配置:

    # 数据源配置
    spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
    spring.datasource.url=jdbc:mysql://localhost:3306/mydb?useSSL=false&serverTimezone=UTC
    spring.datasource.username=root
    spring.datasource.password=123456
    
    # Mybatis-Plus配置
    mybatis-plus.mapper-locations=classpath*:/mapper/**Mapper.xml
    mybatis-plus.type-aliases-package=com.example.demo.entity
    
    1. 在Flink中使用 Mybatis-Plus
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    // 定义Mybatis-Plus的SqlSessionFactory
    SqlSessionFactory sqlSessionFactory = MybatisPlusUtils.createSqlSessionFactory();
    
    // 创建MySqlSource实例
    MySqlSource<User> userSource = MySqlSource.<User>builder()
            .setHost("localhost")
            .setPort(3306)
            .setDatabaseName("mydb")
            .setUsername("root")
            .setPassword("123456")
            .setQuery("SELECT id, name, age, email FROM user")
            .setRowTypeInfo(TypeInformation.of(User.class))
            .build();
    
    // 创建查询Task
    DataStream<User> userStream = env.addSource(userSource)
            .map(new MybatisPlusTask<>(sqlSessionFactory, UserMapper.class));
    
    // 打印结果
    userStream.print();
    
    env.execute("Mybatis Plus Example");
    

    在此示例中,我们首先定义了User实体类和UserMapper接口,并在application.properties文件中配置了数据源和Mybatis-Plus。然后,我们创建了一个SqlSessionFactory对象并将其传递给Mybatis-Plus的查询任务中。最后,我们创建了一个MySQL数据源,并使用map算子将其转换为User对象,并通过MybatisPlusTask对象查询数据库。最终,我们打印结果,并通过execute方法提交作业。

    需要注意的是,为了在Flink中正确地使用Mybatis Plus,我们必须确保查询任务能够在Web上下文中执行。这可以通过将SqlSessionFactory实例传递到任务中来实现,在任务中创建SqlSession对象并处理查询。

  11. User

    Flink mybatisplus sink实现

  12. Assistant

    在Flink中整合Mybatis-Plus可以使用Mybatis-Plus官方提供的Mybatis-Plus Boot Starter来简化集成。对于Sink实现,我们可以自定义一个实现了RichSinkFunction接口的类,并在open方法中创建Mybatis-Plus的连接,并在invoke方法中实现数据的写入操作。

    以下是一个简单的示例代码:

    1. 添加依赖(Maven方式)
    <!-- MyBatis Plus -->
    <dependency>
        <groupId>com.baomidou</groupId>
        <artifactId>mybatis-plus-boot-starter</artifactId>
        <version>3.4.3.3</version>
    </dependency>
    <!-- MySQL Connector -->
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.25</version>
    </dependency>
    
    1. 定义实体类(例如这里使用User实体类)
    @Data
    @TableName("user")
    public class User implements Serializable {
    
        private static final long serialVersionUID = 1L;
    
        @TableId
        private Long id;
    
        private String name;
    
        private Integer age;
    
        private String email;
    
    }
    
    1. 定义Mapper接口(例如这里使用UserMapper接口)
    @Mapper
    public interface UserMapper extends BaseMapper<User> {
    }
    
    1. 配置数据源和Mybatis-Plus

    在application.properties文件中添加如下配置:

    # 数据源配置
    spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
    spring.datasource.url=jdbc:mysql://localhost:3306/mydb?useSSL=false&serverTimezone=UTC
    spring.datasource.username=root
    spring.datasource.password=123456
    
    # Mybatis-Plus配置
    mybatis-plus.mapper-locations=classpath*:/mapper/**Mapper.xml
    mybatis-plus.type-aliases-package=com.example.demo.entity
    
    1. 自定义MybatisPlusSink类
    public class MybatisPlusSink<T> extends RichSinkFunction<T> {
    
        private transient SqlSessionFactory sqlSessionFactory;
        private final Class mapperClass;
    
        public MybatisPlusSink(Class mapperClass) {
            this.mapperClass = mapperClass;
        }
    
        @Override
        public void open(Configuration parameters) throws Exception {
            // 初始化SqlSessionFactory
            sqlSessionFactory = MybatisPlusUtils.createSqlSessionFactory();
        }
    
        @Override
        public void invoke(T value, Context context) throws Exception {
            // 获取SqlSession对象
            try (SqlSession sqlSession = sqlSessionFactory.openSession(true)) {
                // 获取Mapper对象
                BaseMapper<T> mapper = sqlSession.getMapper(mapperClass);
                // 执行插入操作
                mapper.insert(value);
            }
        }
    }
    

    在此示例中,我们自定义了MybatisPlusSink类,并实现了open和invoke方法。在open方法中,我们初始化了SqlSessionFactory对象;在invoke方法中,我们调用Mybatis-Plus的Mapper对象执行数据写入操作。

    1. 在Flink中使用MybatisPlusSink类
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    
    // 定义MySqlSource实例,读取数据流
    MySqlSource<User> userSource = MySqlSource.<User>builder()
            .setHost("localhost")
            .setPort(3306)
            .setDatabaseName("mydb")
            .setUsername("root")
            .setPassword("123456")
            .setQuery("SELECT id, name, age, email FROM user")
            .setRowTypeInfo(TypeInformation.of(User.class))
            .build();
    
    // 将数据流写入到MyBatis-Plus中
    userSource.addSink(new MybatisPlusSink<>(UserMapper.class));
    
    // 执行任务
    env.execute("Mybatis Plus Example");
    

    在此示例中,我们创建了一个MySqlSource实例来读取数据流,并通过addSink方法将其写入到Mybatis-Plus中。最后,我们通过execute方法提交作业。

    需要注意的是,在使用自定义的MybatisPlusSink类之前,需要先确保Mybatis-Plus对象已经正确地进行了配置。如果没有进行正确的配置,使用MybatisPlusSink类将会报错。

  13. User

    MybatisPlusUtils 代码实现

  14. Assistant

    MybatisPlusUtils类可以用于创建Mybatis-Plus的SqlSessionFactory对象,以便在Flink中执行数据库操作。下面是一个简单的示例代码:

    public class MybatisPlusUtils {
        
        public static SqlSessionFactory createSqlSessionFactory() {
            // 读取Mybatis-Plus配置文件
            MybatisSqlSessionFactoryBean sqlSessionFactoryBean = new MybatisSqlSessionFactoryBean();
            ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();
            sqlSessionFactoryBean.setMapperLocations(resolver.getResources("classpath:/mapper/**Mapper.xml"));
            sqlSessionFactoryBean.setTypeAliasesPackage("com.example.demo.entity");
    
            // 配置数据源
            HikariDataSource dataSource = new HikariDataSource();
            dataSource.setDriverClassName("com.mysql.cj.jdbc.Driver");
            dataSource.setJdbcUrl("jdbc:mysql://localhost:3306/mydb?useSSL=false&serverTimezone=UTC");
            dataSource.setUsername("root");
            dataSource.setPassword("123456");
            sqlSessionFactoryBean.setDataSource(dataSource);
    
            // 配置Mybatis-Plus全局配置
            MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
            interceptor.addInnerInterceptor(new PaginationInnerInterceptor(DbType.MYSQL));
            GlobalConfig config = new GlobalConfig();
            config.setSqlInjector(new DefaultSqlInjector());
            config.setMetaObjectHandler(new MyMetaObjectHandler());
            config.setBanner(false);
            config.setGlobalConfig(new GlobalConfig.DbConfig().setLogicDeleteValue("1").setLogicNotDeleteValue("0"));
            config.setGlobalConfig(config.getGlobalConfig().setSqlInjector(new DefaultSqlInjector(interceptor)));
    
            sqlSessionFactoryBean.setGlobalConfig(config);
            Interceptor[] interceptors = {new TenantLineInterceptor()};
            sqlSessionFactoryBean.setPlugins(interceptors);
    
            try {
                // 创建SqlSessionFactory对象
                return sqlSessionFactoryBean.getObject();
            } catch (Exception e) {
                throw new MybatisSystemException(e);
            }
        }
    }
    

    在此实现中,我们使用了Mybatis-Plus提供的MybatisSqlSessionFactoryBean类来创建SqlSessionFactory对象,通过配置数据源、全局配置、插件等属性来进行Mybatis-Plus的初始化。

    需要注意的是,在配置数据源时,我们可以使用任何符合javax.sql.DataSource标准的数据源。在本例中,我们使用了HikariCP数据源。

    在使用MybatisPlusUtils类时,我们只需在代码中调用该类的createSqlSessionFactory方法即可创建SqlSessionFactory对象。在Flink中,该对象可以用于构建Mybatis-Plus的Mapper对象,并执行数据库操作。

  15. User

    Flink mybatisplus IService

  16. Assistant

    在F