linux-BR.org

Notícias de software livre e tecnologias

Ao longo da minha experiência, explorei várias estruturas de navegador sem cabeça, como selênio, marionetas, dramaturgos e Chromedp.Além disso, durante o monitoramento do cluster, você pode observar uma diminuição drástica na utilização da CPU de cerca de 90% para apenas 10%, especialmente se você tiver o servidor métrico instalado.Especificamente, precisamos criar um serviço ServiceAcCount, ClusterRole e ClusterRoleBinding para atribuir adequadamente as permissões necessárias às tarefas dos modos-limpar-cron.Para abordar essa degradação do desempenho e garantir a utilização eficiente de recursos, você tomou a iniciativa de aproveitar a API Kubernetes e o `Client-Go`, o Golang SDK para Kubernetes.Em geral, ao usar o Google Maps para encontrar empresas que queremos visitar, normalmente realizamos pesquisas com base no tipo e local da categoria de negócios.

Fonte: https://medium.com/@tonywangcn/how-to-efficiently-scrape-millions-of-google-businesses-on-a-large-scale-using-a-distributed-35b9140030eb