linux-BR.org

Notícias de software livre e tecnologias

Uma das abordagens envolve o uso de uma combinação de fábrica de dados do Azure, armazenamento do Azure (com o Azure Lake Storage Gen V2) e o Apache Spark no Azure Databricks.Finalmente, os dados no armazenamento do Azure são processados ​​com Spark on Azure Databricks e gravados no Azure Cosmos DB usando o conector de faísca do Azure Cosmos DB para a API NOSQL.Esse processo envolve vários estágios, incluindo a exportação de dados do DynamoDB, realizando as transformações necessárias e a importação dos dados para o Azure Cosmos DB.Os dados da tabela DynamoDB no S3 são gravados no Azure Lake Storage (ADLS Gen V2) usando um pipeline de fábrica de dados do Azure (ADF).Por outro lado, você pode escrever trabalhos de flink para consumir a partir de fluxos de dados de Kinesis e executar agregações complexas em dados antes de escrevê -los no Azure Cosmos DB.

Fonte: https://devblogs.microsoft.com/cosmosdb/migrating-data-from-dynamodb-to-azure-cosmos-db/