Considerando os seguintes pedidos:
A partir das solicitações fornecidas, a ocorrência inicial de /page-1.html se conecta a /style.css, /main.js, /Analytics (X2) e /Recursos GraphQL.Quando um navegador acessa uma página da web, solicitações de itens como CSS, JavaScript ou APIs incluem uma referência (o cabeçalho da solicitação HTTP do referente) à página de origem.Observamos solicitações para https://domain.com/product-xyz.html:
Em vez disso, para a página da web https://domain.com/category-abc.html que temos:
Para criar o mapa de recursos, suponha que as solicitações de recursos subsequentes após a solicitação da página da Web estiverem vinculadas a essa página da Web.Ele opera de maneira semelhante a um navegador da Web, utilizando navegadores automatizados para processar HTML, CSS e JavaScript de páginas da web.Significativamente, os principais mecanismos de pesquisa também utilizam o cabeçalho do referente a solicitação HTTP para obter recursos durante a renderização da página da web, fornecendo informações valiosas por meio dessas informações.
Fonte: https://merj.com/blog/managing-webpages-resources-for-efficient-crawling-and-rendering
