coded_df = df.to_csv (). Encode (‘utf-8’) Response = client.put_object (bucket, object_name, data = io.bytesio (coded_df), leng = len (coded_df), content_type = ‘Application/csv’)print (f ‘{object_name} carregado com sucesso no bucket {bucket}.’) ‘)@dsl.component (packages_to_install = [‘ pandas == 1.3.5 ‘]) def get_table_data (buche: str, object_name: str, tabela_df:Saída [DataSet]): importar pandas como pd importar minio # obtenha dados de um objeto.client = client () run = client.create_run_from_pipeline_func (census_pipline, experimental_name = ‘experimento de stub’, argumentos = {‘tabela_code’: ‘b01001’, ‘ano’: 2021},)
Escolha um nome de experimento significativo.@dsl.component (packages_to_install = [‘minio == 7.1.14’]) def Table_data_exists (Bucket: str, tabela_code: str, ano: int) -> bool: ” ‘Verifique a existência dos dados da tabela de censo em minio.” ‘Survey_Data = Response.json () df = pd.dataframe (survey_data [1:], colunas = survey_data [0]) df.to_csv (tabela_df.path) print (f’table {table_code} para {ano}foi baixado.
Fonte: https://blog.min.io/building-an-ml-data-pipeline-with-minio-and-kubeflow-v2-0/
