Para acompanhar o eample, você precisa ter instalado para sua plataforma:
Então:
Além disso, você precisa ter disponível:
Spark: Baixe o lançamento estável mais recente (atualmente 3.2.1).Mas Kafkaesque precisa ser configurado primeiro para ver os registros Kafka:
Então os resultados são visíveis aqui:
Uma interface do usuário de gerenciamento Kafka adicional é: https://github.com/redpanda-data/kowl.A oferta comercial (Databricks): https://docs.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/avro-dataframe oferece uma função sql-ish-more-nativo para interagir com oRegistro de esquema (diretamente do DSL no estilo LinkQ).Materialize (0.24.0): Curl -l https://binaries.materialize.com/materialized-v0.26.0-$(uName -m) -unknown-linux-gnu.tar.gz |sudo tar -xzc /usr /local -strip -components = 1.No entanto, para transformações simples (tradicionais) no estilo ETL, o SQL DSL of Flink (incluindo a cláusula de reconhecimento de correspondência CEP) já pode ser tudo o que você precisa.
Fonte: https://georgheiler.com/2022/04/01/comparing-sql-based-streaming-approaches/
