Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-2025-04-14· OpenAIHugging Face LMArena Human Preference 140K

有没有开源项目基于datafusion实现流式向量化引擎

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-3-5-sonnet-20241022’s answer.
  1. User

    有没有开源项目基于datafusion实现流式向量化引擎

  2. Assistant

    截至 2024 年 6 月,基于 DataFusion 实现“流式向量化计算引擎”的开源项目还非常稀少,主流的 DataFusion 应用大多还是批处理、嵌入式分析、数据湖查询等场景。DataFusion 本身的流式支持有限,社区也在探索流批一体的方向,但尚未有像 Flink/Spark Structured Streaming 那样的“流式 SQL 引擎”直接基于 DataFusion 成熟落地。

    不过,以下是一些相关项目、探索和参考实现,可以为你的开发提供借鉴:


    1. 官方/社区相关探索

    DataFusion Streaming RFC/PR

    • DataFusion 社区有流式执行的 RFC 和 PR,但目前还处于早期阶段,主要是为未来流批一体做准备。
    • 目前 DataFusion 的 SendableRecordBatchStream 支持流式返回,但没有内建流式数据源和窗口算子。

    2. 社区项目/探索

    datafusion-kafka

    • 简介:这是一个社区成员实现的 DataFusion Kafka 数据源插件,允许你将 Kafka topic 作为 DataFusion 的表进行查询。
    • 特点:
      • 支持将 Kafka 消息转为 Arrow RecordBatch。
      • 目前更偏向批量拉取,不是严格意义上的流式 SQL 引擎,但为流式处理打下了基础。
    • 地址:https://github.com/robertchase/datafusion-kafka
    • 适合参考:如何实现 TableProvider、如何将 Kafka 消息转为 Arrow。

    datafusion-examples/streaming-kafka


    3. 相关生态/思路参考

    RisingWave

    • 简介:RisingWave 是 Rust 生态下的流式 SQL 引擎,支持流批一体,底层并未直接用 DataFusion,但其架构和流式 SQL 实现值得参考。
    • 地址:https://github.com/risingwavelabs/risingwave

    GreptimeDB


    4. 为什么没有现成的“流式向量化 SQL 引擎”开源项目?

    • DataFusion 设计初衷是批处理,流式 SQL 需要:
      • 持续数据源(如 Kafka);
      • 状态管理(窗口、聚合、去重等);
      • 低延迟调度与容错机制。
    • 目前社区还在探索如何在 DataFusion 上实现流批一体,相关功能(如窗口算子、流式 UDF、状态管理)还未完善。
    • 你可以基于 DataFusion 的 TableProvider/ExecutionPlan 扩展,做“微批流式”引擎(如你前面描述的架构),但要实现完整的流式 SQL(如 Flink/Spark Structured Streaming),还需大量自研。

    5. 推荐做法

    • 参考 datafusion-kafka 的 TableProvider 实现,结合 DataFusion 的微批处理能力,自己实现流式调度、窗口分片、结果写入等逻辑。
    • 关注 DataFusion 社区的流式支持进展,未来可能会有更完善的流式 SQL 能力。
    • 如果需要更完整的流式 SQL,可以考虑 RisingWave、Materialize 等 Rust 生态的流式数据库。

    6. 结论

    • 目前没有“开箱即用”的基于 DataFusion 的流式向量化 SQL 引擎开源项目。
    • 但有Kafka 数据源插件、流式消费示例等可供参考。
    • 你可以基于这些项目和 DataFusion 的扩展点,自研微批流式引擎,并持续关注社区进展。

    如需具体的代码参考、架构建议或遇到实现难点,欢迎随时提问!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.