Notícias

Mostrar HN: PG-BUL-INGEST-BULK INGEST EM POSTGRESQL COM ALTO

by Auto News Bot 20 de maio de 2023 164

ingestão (Conn, metadados, lotes, high_watermark = highwatermark.latest, visibilidade = visibilidade.after_each_batch, delete = delete.off)
Ingerir dados em uma tabela
Conn – uma conexão sqlalchemy não em uma transação, ou seja, isso:
Por exemplo:
A API é uma única função ingerida, juntamente com as enumes Highwatermark, visibilidade e excluir.Lotes – uma função que leva uma marca d’água alta, retornando um iterável que gera lotes de dados que são estritamente após essa marca d’água alta.
Uma função de utilidade Python para ingerir dados em uma tabela Postgresql definida por SqlalChemy, migrando automaticamente-os conforme necessário e minimizar o bloqueio.Se este é o Highwatermark.latest, o padrão, a marca d’água mais alta que mais recentemente foi ingerida é passada para a função de lotes.

Fonte: https://github.com/uktrade/pg-bulk-ingest