改用基于 CDC (Change Data Capture) 或流式 SaaS API 的方法，可以从数据库中实时捕获数据。我们通过有状态流式 SQL，能够持续处理和转换这些数据，并将其实时输出为所需视图。在具体化视图时，我们需根据业务需求和场景，选择合适的数据处理和转换逻辑。 为了进一步优化成本和提高效率，我们可以采用流式和批处理相结合的数据管道策略。流式处理用于实时捕捉和转换新数据，确保数据的实时性和准确性。而批处理则用于处理历史数据和累积数据，以此达到降低成本的目的。这样既可以保持数据的实时性，又可以有效节省资源。同时，需要合理设计和维护这两者的管道，以确保其高效、稳定地运行。

网站地址：https://estuary.dev