Crawl Budget: cos’è, come e perché ottimizzarlo

 

crawl budget definizione e importanzaSai cos’è il Crawl Budget? È il numero di pagine di un sito web che Google scansiona in un determinato arco di tempo. Se hai un website o un blog, quindi, devi non solo sapere il significato di Crawl Budget ma anche come condiziona il posizionamento delle tue pagine web sui motori di ricerca e quali azioni puoi compiere per ottimizzarlo.

Per chi si occupa di SEO il Crawl Budget è un parametro sicuramente familiare; non è detto però che lo sia per tutti. In Italia, infatti, si parla ancora poco di questo argomento e c’è molta confusione in merito. 

In questo articolo cercherò di fare chiarezza su questo importate “segnale” spiegandoti come funziona e fornendoti dei consigli utili per favorire la scansione e l’indicizzazione di pagine/articoli online. Se, poi, sei interessato ad incrementare le tue competenze in ambito SEO, il mio consiglio è quello di indirizzarti verso un corso SEO Specialist, grazie al quale potrai fare tue le best practice per posizionare siti, blog o semplici pagine web tra i primi risultati di ricerca.

 

Cos’è il Crawl Budget?

Il Crawl Budget per definizione è il numero di URL di un sito/blog che il bot di Google, detto Googlebot, può e vuole analizzare. Più specificatamente, è l’insieme di pagine che vengono scansionate e indicizzate in un determinato periodo di tempo.

L’operazione di scansione dei siti può essere un lavoro particolarmente oneroso e dispendioso. Infatti, nonostante la capacità di scansione dei motori di ricerca sia enorme, i crawler devono dividere la loro attenzione su milioni di siti. Nasce così l’esigenza di limitare tempo e risorse dedicate ad ogni sito. È qui che entra in gioco un sistema che li aiuta nel definire dei livelli di priorità durante la scansione, che vanno a premiare alcuni siti con una scansione più frequente. Assegnare il Crawl Budget a ciascun sito web li aiuta a concentrare gli sforzi di scansione sui siti di qualità.

Google assegna il Crawl Budget ad uno specifico sito in base a 2 fattori:

  • Crawl Rate Limit (limite di scansione)
  • Crawl Demand (richiesta di scansione).

Vediamoli nel dettaglio.

Il Crawl Rate Limit è il numero di scansioni simultanee che Google utilizza per analizzare le pagine di un sito. Il Googlebot, nel suo lavoro di scansione, potrebbe generare un alto volume di traffico e pesare sul sito. Per non impattare negativamente, quindi, Google ha impostato un limite alla velocità di recupero per un determinato sito. La velocità di scansione può aumentare o diminuire in base a diversi fattori interni o impostazioni della Google Search Console. Con essa, infatti, è possibile limitare manualmente l’impatto del traffico generato da Google.

Il Crawl Demand, invece, è un parametro che permette di determinare se scansionare nuovamente un determinato sito oppure no. In questo caso i fattori che incidono sono due: popolarità (URL popolari tendono a essere scansionati di più) ed errori (pagine vecchie, poco aggiornate, contenenti errori tendono ad essere analizzate meno spesso).

 

Impara le migliori strategie per posizionare al meglio le tue pagine sul motore di ricerca.
Scegli una formazione “learning by doing” e diventa uno Specialista della SEO

OTTIENI LA CERTIFICAZIONE

 

Perché il Crawl Budget è importante per la SEO

crawl budget scansioneA questo punto probabilmente ti starai chiedendo perché il Crawl Budget è importante per la Seach Engine Optimization di un sito. Per poter posizionare le pagine sui motori di ricerca, in particolare su Google, è necessario farle indicizzare dal motore di ricerca. Fino a che una pagina non viene indicizzata dal motore di ricerca, infatti, è inesistente e non ha alcuna possibilità di comparire in SERP.

Il tuo obiettivo, quindi, è favorire la scansione di quante più pagine possibili del tuo sito da parte del bot di Google, nel minor tempo possibile. Prima vengono scansionate nuove pagine e prima saranno visibili nella SERP.

Due sono i fattori da considerare quando pensiamo all’importanza del Crawl Budget lato SEO:

  • le pagine scansionate recentemente hanno più probabilità di posizionarsi bene nei risultati di ricerca
  • le pagine che non vengono scansionate da molto tempo perdono posizioni sulla SERP.

Ciò comporta inevitabilmente che, se stai sprecando il Crawl Budget, la scansione del tuo sito non avverrà in modo efficiente e questo andrà ad impattare negativamente sulla Search Engine Optimization.

Detto ciò bisogna chiarire, però, un aspetto. Lo stesso Google infatti afferma: “Vorremmo sottolineare che il Crawl Budget non è qualcosa di cui la maggior parte dei siti deve preoccuparsi. Se un sito ha meno di qualche migliaio di URL il più delle volte verrà sottoposto a scansione in modo efficiente”.

Questo significa che i siti formati da poche pagine possono trascurare questo parametro mentre risulta fondamentale lato SEO per i siti formati da tante pagine.

 

Fai il test SEO Specialist e impara a ottimizzare il crawl budget

 

Come ottimizzare il Crawl Budget del sito web

Ottimizzare il Crawl Budget significa evitare sprechi durante la scansione di un sito e mettere in pratica tutta una serie di accorgimenti per influenzarlo in positivo. Nel concreto, ottimizzare significa migliorare il lavoro che fai sul tuo sito web e trovare un riscontro attraverso il Crawl Budget.

Per cercare di sfruttare al meglio il poco tempo che lo spider di Google può dedicarti, la prima cosa da fare è evitare di fargli fare scansioni inutili. Devi, ad esempio, evitargli di visitare pagine di scarso valore o che non desideri posizionare in SERP. Per farlo, è necessario comunicare al motore di ricerca ciò che è rilevante, adottando delle semplici ma importanti accortezze.

Ti parlerò quindi di 6 azioni che puoi adottare per aumentare il Crawl Budget e ridurre l’arco di tempo tra una scansione e l’altra. Vediamole insieme.

 

Fai attenzione ai link interni ed esterni

Più autorità avrà un pagina, maggiore sarà il suo Crawl Budget. Il modo migliore per guadagnare più autorità e ottenere backlink di qualità è quella di produrre contenuti di valore. Tuttavia non bisogna limitarsi a pensare ai link in ingresso ma occuparsi anche dei link interni al sito. In generale un sito con pochi link interni, infatti, riceve meno attenzione dai motori di ricerca.

Ricordati di segnalare tutti gli URL da deindicizzare impostando l’attributo noindex meta tag a tutti i link che non hanno importanza in termini di ranking (<meta name=”robots” content=”noindex”>). Per il solito motivo anche l’attributo nofollow su ogni link in uscita ti permetterà di creare una gerarchia tra le varie pagine indicando al motore di ricerca quelle che sono più rilevanti.

 

Migliora la velocità del sito 

Lo spider di Google tiene conto di un sito veloce in maniera positiva; rendere il nostro sito più veloce migliora l’esperienza dell’utente ma allo stesso tempo aumenta anche la velocità di scansione. Considera che solitamente i tempi di caricamento della pagina superiori ai 3 secondi rappresentano un problema e che una pagina dovrebbe essere caricata in meno di 1 secondo. A questo proposito devi puntare a server di qualità, ottimizzazione del codice e ottimizzazione lato SEO.

 

Evita i contenuti duplicati 

Con contenuti duplicati faccio riferimento a pagine simili o uguali tra loro, come ad esempio contenuti copiati da altre pagine. L’obiettivo è sempre lo stesso: evitare che il motore di ricerca sprechi risorse del Crawl Budget. Cerca, quindi, di non inserire questo tipo di contenuti che potrebbero diminuire l’autorevolezza del tuo sito.

Un consiglio è quello di disabilitare le pagine dedicate alle immagini e impostare in modo corretto pagine di categoria e tag.

 

Ottimizza il budget di scansione del tuo sito web gestendo al meglio le attività importanti lato SEO.
Acquisisci le competenze necessarie e diventa un Manager esperto nel posizionamento sui motori di ricerca 

COMINCIA ADESSO

 

Controlla i link rotti

I link rotti sono link che puntano a pagine che non esistono più e ovviamente rappresentano un vicolo cieco per i motori di ricerca. Solitamente portano ad una pagina con codice HTTP di risposta pari a 404 ‘Not Found’. La loro presenza comporta la mancata scansione e successiva indicizzazione di decine o centinaia di pagine ricche di contenuti.

Se ti rendi conto della presenza di questi link sul tuo sito puoi recuperare il Crawl Budget sprecato correggendo i link verso pagine di errore.

 

Gestisci i parametri URL

L’uso dei parametri URL come il filtro per colore o fascia di prezzo, può essere utile per filtrare i risultati di ricerca ma spesso crea molte combinazioni di URL con contenuti duplicati. Con URL duplicati, i motori di ricerca potrebbero non eseguire la scansione di contenuti nuovi o aggiornati con la stessa rapidità o potrebbero non indicizzare una pagina in modo dettagliato a causa di questi contenuti duplicati.

Se alcune variabili non sono rilevanti ai fini SEO bisogna escluderle dalla scansione, guadagnando un notevole risparmio di Crawl Budget. Per fare questa operazione ti viene in aiuto un pannello nella Google Search Console raggiungibile da Crawl > URL parameters, che ti da la possibilità di specificare i parametri usati nel sito.

 

Assicurati di avere una sitemap pulita

Molto importante è verificare che la sitemap sia corretta e includa solo ed esclusivamente gli URL che devono essere indicizzati, evitando di inserire quelli meno rilevanti, che invece è bene rimuovere. Ad esempio, con il plugin WordPress gratuito Yoast SEO è possibile specificare per ciascun URL se deve essere incluso o meno nella sitemap.

 

Le aziende sono alla continua ricerca di esperti SEO.
Partecipa al webinar gratuito per scoprire come avviare una profittevole attività di consulenza

Webinar Gratuito diventare un consulente online

 

Monitorare il crawling con Google Search Console

Per monitorare il Crawl Budget ti viene in aiuto un importante strumento messo a disposizione da Google: Google Search Console. Con questo strumento sei in grado di avere un quadro dettagliato dell’andamento del tuo sito attraverso dati, report e statistiche. Per poterlo utilizzare, il primo step è aggiungere e verificare il tuo sito su Google Search Console. Solo una volta fatto questo ti renderai conto della vastità di tool e report presenti con cui iniziare la tua analisi.

Ad esempio, puoi ottenere alcuni grafici che ti riportano nel dettaglio le statistiche di scansione degli ultimi 90 giorni, ovvero quanto tempo il motore di ricerca dedica al tuo sito, mostrandoti la media, i massimi e i minimi relativamente al numero di pagine scansionate ogni giorno. In particolare troverai:

  • Il numero di pagine scansionate giornalmente
  • Kilobyte scaricati giornalmente
  • Tempo di download di una pagina.

 

Conclusioni e consulenza strategica

Come avrai capito, il Crawl Budget non è un elemento particolarmente critico per piccoli siti web ma può diventarlo per siti di grandi dimensioni, con un numero di contenuti elevato. 

Ora che hai più chiaro quali sono i fattori che influiscono sul Crawl Budget, il consiglio che ti do è di tenere sempre sotto controllo la Seach Console e l’andamento del tuo sito, in modo da poter correggere eventuali errori di percorso in modo tempestivo.

Infine, se hai un sito web e desideri approfondire ancora di più questo aspetto in relazione alla tua situazione, ti segnalo la possibilità di richiedere una consulenza strategica direttamente con i nostri esperti in Digital Coach.

 

Contatta un esperto per capire come ottimizzare il Crawl Budget e posizionare al meglio il tuo sito su Google

RICHIEDI UNA CONSULENZA STRATEGICA GRATUITA

 

Scopri come diventare un esperto SEO.
Scarica qui il tuo e-book GRATUITO

ebook seo copywriting mini guida

"*" indica i campi obbligatori

Consenso
Hidden
Questo campo serve per la convalida e dovrebbe essere lasciato inalterato.

Potrebbero interessarti anche i seguenti articoli:

SEO tools cover inserire e ottimizzare i link interni come testare la velocità di un sito web 

 

 

carmen santi contentPRIMA STESURA A CURA DI CARMEN SANTI

Giornalista, lavoro nell’ambito della comunicazione aziendale e istituzionale e ho svolto recentemente un’esperienza come responsabile commerciale di una PMI. Sono appassionata di content e digital marketing e ho deciso di trasformare questa mia passione in una professione, studiando Content Marketing presso Digital Coach.

webinar gratuito impara a delegare al tuo team e libera il tuo tempo luca papa

SCARICA UNO TRA OLTRE 30 EBOOK

Aumenta la Tua Conoscenza gratuitamente sugli argomenti del Digital Marketing.
Scarica in basso il tuo e-book

"*" indica i campi obbligatori

Consenso
Hidden
Questo campo serve per la convalida e dovrebbe essere lasciato inalterato.

Recensioni Digital Coach su Google


Fai il Test sulla Tua Professione ideale


Esercitazioni Live 100% Pratica Operativa


PARTECIPA AD UNA PRESENTAZIONE DI ORIENTAMENTO

Presentazione di orientamento Open Day Digital Coach

17 Commenti

  1. Manuel Lazzarotto

    Il crawl budget va gestito bene, e indicata quanto , secondo Google , il proprio sito sia ben costruito tale da risultare un valido aiuto per quelle persone che ricercano prodotti/servizi che la propria attività è in grado di offrire . Un articolo interessante che ne spiega bene il significato e come fare a gestirlo nel migliore dei modi

  2. Suppa carlo

    Ho imparato una cosa nuova, grazie!

  3. Andrea Pacchiarotti

    Bell’articolo.
    Dovreste farne uno sul “render budget”

  4. David Montevecchi

    Crawl Budget, articolo davvero utile per tutti coloro che stanno imparando a lavorare in ambito Seo. Mi è stato davvero utile e approfondirò l’argomento. Intanto mi sono segnato alcuni consigli. Grazie!

  5. Nicola Lops 93

    Approfondimento molto utile per un piccolo trucco seo molto tecnico ma che può aiutare a migliorare il posizionamento sul motore di ricerca

  6. Nicola Iachelli

    Ho imparato un termine nuovo! Grazie!!!

  7. Ilaria Bottazzini

    Grazie a Digital Coach mi sono appassionata molto alla SEO e conoscere bene il parametro del crawl budget è fondamentale. Articolo super esaustivo e molto chiaro.

  8. Raffaella Bertoni

    Articolo molto interessante per utilizzare al meglio questa tecnica seo

  9. Matteo Papucci

    Bell’articolo! Il Crawl Budget è un ottimo indice dell’attenzione che google da al proprio sito. Il lavoro di un bravo SEO Specialist non è solo far indicizzare il proprio sito ma anche continuare a mantenerlo interessante per i motori di ricerca.

  10. Asia Bazzi

    Complimenti per l’articolo Carmen. Prima di leggere l’articolo non conoscevo l’esistenza di questo parametro SEO, sicuramente da considerare.

  11. Giulia Ronchi

    Essendo il mondo del SEO complesso e articolato mi è piaciuto leggere questo articolo. Sempre aggiornarsi e mai dare per scontato alcune attività. Articolo per una buona lettura.

  12. Gloria

    Articolo molto chiaro su un parametro SEO che non conoscevo. Consigli e best practice da appuntarsi.

  13. G. Pisanu

    Non avevo la minima idea che esistesse un valore che i motori di ricerca assegnano ad un sito per decidere quanta attenzione dedicargli e con che frequenza. Articolo davvero molto utile e con tutte le informazioni necessarie a far capire l’argomento a chi ne ignorava l’esistenza

  14. Lucia Vescovini

    veramente un articolo bene fatto, non sapevo di questo parametro. Ci sono metriche per calcolarlo?

  15. fulvia grignaschi

    Veramente ben fatto!!!! Argomento interessantissimo per me che sono indirizzata verso la SEO.

  16. Giulio D'angelo

    Articolo molto utile che descrive in maniera chiara e dettagliata uno strumento di cui ho appena scoperto l’esistenza. Ne terrò conto sicuramente per il mio blog.

  17. Silvia Colombo

    Molto utile per usare in modo sempre più efficiente le tecniche SEO.

Invia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *