Migliorare l’indicizzazione con le priorità delle sitemap

Se c’è uno strumento SEO che a mio parere viene spesso sottovalutato è quello dell’attributo priority delle sitemap XML.

In tanti anni ho osservato una gestione dei file sitemap poco interessata, forse perché è più comodo far fare tutto a qualche plugin o automatismo software che si occupa di creare i file sitemap sollevando webmaster e SEO da un’attenta progettazione.

Il problema con questo approccio è che molti file sitemap non sfruttano appieno le proprie potenzialità; ho quindi pensato di fornire qualche dritta.

L’importanza del priority

Secondo il protocollo sitemap, l’attributo priority va usato per indicare al motore di ricerca quali pagine vorremmo che finissero ben visibili in SERP.

In un certo senso, il valore contenuto nell’attributo priority di ciascun URL può essere considerato un indice di quanto l’URL è per noi importante o strategico.

Quando si parla di “importanza” la memoria va al buon caro vecchio PageRank, che ormai va di moda tacciare di inutilità generica, quando invece ne ha molta se ci si focalizza sul fenomeno dell’indicizzazione.

La relazione tra PageRank e l’attributo priority appare azzeccata perché entrambe gli elementi hanno sicuramente influenza sulle decisioni degli spider riguardanti quanti e quali URL richiedere e, conseguentemente, quanti e quali URL conservare in archivio.

Il primo contributo importante dell’attributo priority consiste dunque nell’aiutare il SEO a far archiviare un maggior numero di pagine del sito, fenomeno che è strategico sopratutto per quei siti grandi che vivono di long tail e pageview.

Sinergia col PageRank

La relazione tra attributo priority e PageRank è ulteriormente cementificata dal fatto che i due elementi possono essere sfruttati in maniera complementare, sinergica.

Quando per ragioni tecniche o di design non è possibile modificare le strutture di navigazione di un sito per conferire maggiore importanza/PageRank ad alcune sezioni o tipologie di risorse, un valore più alto nell’attributo priority di quelle risorse può venire in aiuto sopperendo a quanto non riusciamo a fare attraverso il grafo dei link del sito.

E’ vero anche il contrario: in condizioni in cui non è possibile gestire nel dettaglio i valori che andranno a finire negli attributi priority dei file sitemap, diventa più strategico sfruttare al meglio i link sul sito per assegnare importanza alle risorse che realmente ci interessano.

Per queste ragioni già da tempo io sfrutto le priorità nelle sitemap e la distribuzione del PageRank sul sito come due strumenti sinergici attraverso i quali gestire nel migliore dei modi il concetto di “importanza” da associare alle risorse.

Approccio base

In linea puramente teorica, con un sito che sfrutta i link interni per distribuire importanza alle proprie risorse in perfetta aderenza con gli obiettivi di visibilità e traffico, l’attributo priority delle sitemap XML potrebbe anche non servire.

All’atto pratico, un sito dal linking interno “perfetto” non può esistere e dunque si rendono necessarie le pratiche sopra accennate. Questa affermazione è ancora più vera per quei siti che beneficiano di contenuti generati da utenti e che sono soggetti a modifiche del grafo dei link sul sito operate dagli utenti stessi.

Un buon modo per iniziare a progettare bene dei valori di priorità adeguati consiste nel fare un elenco delle risorse più strategiche del sito e metterle in ordine di importanza.

Per i siti grandi non è ovviamente possibile produrre un elenco esaustivo ma in tal caso è sufficiente elencare in ordine di importanza le categorie in cui le risorse vengono classificate.

L’obiettivo finale è quello di operare una selezione ragionata di quanto il sito contiene e chiarirsi bene le idee su quali risorse beneficerebbero di più di una maggiore visibilità nelle SERP.

Un’obiezione che mi sento fare spesso è: “le risorse sono tutte importanti” ma sicuramente le risorse non sono tutte importanti allo stesso modo.

Il mio consiglio è, in questo contesto, di farvi guidare dal denaro: se avete un e-commerce chiedetevi quali (categorie di) prodotti avete un interesse a vendere più di altre tenendo in considerazione i volumi di ricerche sul web; se avete un sito di news che vende spazi pubblicitari chiedetevi quali temi e tipologie di contenuti vi permettono di intercettare un target ampio o che per propria natura è più propenso a fare più pageview sul sito.

Per dirla tutta, queste considerazioni di importanza dovrebbero essere fatte a monte, prima ancora della fase di progettazione del sito e dell’architettura delle informazioni, che influisce direttamente sul linking interno e quindi sull’assegnazione di importanza alle risorse. Ma questa è fantascienza.

Tornando con i piedi per terra, che ci si fa con l’elenco delle risorse più strategiche ordinate per importanza? Semplice, si usano come base per scegliere quanti e quali URL inserire nella sitemap XML e che priority attribuire loro.

Se tutto è importante, niente è importante

I valori dell’attributo priority vanno da zero a uno, che è il massimo. In mezzo ci sono tanti numeri con virgola che potete sfruttare per stabilire quanto ciascuna risorsa è importante rispetto alle altre.

Queste ultime parole ve le ripeto perché sono determinanti: “quanto ciascuna risorsa è importante rispetto alle altre“. Ho aggiunto anche il neretto, visto?

Se stresso tanto su questo punto è perché a volte ho osservato la tendenza ad attribuire il priority di una risorsa ragionando esclusivamente sulla risorsa stessa e dimenticandosi della sua importanza relativa rispetto a tutto il resto del sito.

Vi faccio un esempio pratico prendendo dei dati reali gentilmente fornitimi da un cliente, che ringrazio.

Quello che segue è un grafico della distribuzione delle priorità in una sitemap XML sottopostomi dal cliente.

Come potete notare, la stragrande maggioranza degli URL presenta una priorità molto alta e solo una piccola parte possiede una priorità bassa.

Il problema con questo tipo di struttura è che asserire “la maggioranza delle risorse ha priorità identica o simile” non consente di far emergere quelle risorse realmente strategiche rispetto alle altre.

Al mio consiglio di ottenere una curva di distribuzione più “morbida” e che mettesse in risalto un gruppo principale di risorse più importanti di altre, il cliente ha proposto una nuova distribuzione, che è decisamente migliore rispetto alla precedente e che potete osservare nel prossimo grafico.

Vi consiglio dunque di porvi sempre le domande: “quanto sono stato selettivo?” o “sto mettendo in risalto ciò che realmente è più importante?”.

Pubblicare e migliorare

Una volta abbozzate le priorità come si può essere sicuri che vadano bene? Il metodo migliore è quello di pubblicare il file sitemap XML, eventualmente segnalandolo attraverso il pannello di Google Webmaster Tools, e osservare come reagisce Google nei giorni successivi.

E’ aumentata la quantità giornaliera di pagine richieste dallo spider? Chiede sempre le stesse risorse o risorse diverse (consiglio di dare un’occhiata ai log del web server)? Vi sono modifiche alle posizioni delle pagine strategiche per le keyphrase di riferimento? E’ aumentata la quantità di pagine archiviate da Google? E’ aumentato il numero di differenti landing page dai motori di ricerca? Son salite di posizione le pagine giuste (consiglio di valutare come son cambiati gli indici di apprezzamento da parte degli utenti)?

Se c’è la percezione che qualche risorsa “arranchi” o che le nuove priorità attribuite attraverso la sitemap XML abbiano comportato effetti negativi su specifiche risorse, potrebbe essere una buona idea aumentare leggermente la loro priorità oppure svalutare ulteriormente i gruppi di risorse meno strategiche.

Al di là di questo consiglio chiave, ricordate che giocare con le priorità è nella stragrande maggioranza dei casi un’attività sicura perché, a differenza della modifica di link interni del sito, modificare le priority consente di tornare facilmente e velocemente sui propri passi o di fare test ed esperimenti sui valori che producono risultati migliori.

Benefici conseguibili

In particolare per i siti di una certa grandezza ed in grado di farsi perlustrare in lungo ed in largo da Google, ho osservato in più di un caso che accorte modifiche degli attributi priority hanno condotto ad un crawling più approfondito, ad una quantità maggiore di pagine indicizzate e a più accessi sul sito.

E anche per coloro che non hanno siti particolarmente corposi, un sano tweaking delle priorità basato su ciò che vi sta più a cuore potrebbe portare risultati gradevoli.

Come al solito, vi invito a sperimentare. 🙂

Google Panda non c’entra un fico secco

Risorgo dopo qualche settimana di silenzio (e di qualche weekend all’estero) per dare un parere su un fenomeno SEO che nelle ultime settimane ho visto maturare tra gli addetti ai lavori.

Sembra che lo spauracchio di Google Panda, che al momento in cui scrivo deve ancora essere esteso a Google.it, stia alimentando una nuova forma di fobia.

La pandafobia avviene quando il timore che l’introduzione di Panda possa causare danni di visibilità ai propri siti induce il professionista SEO a temere che un qualsiasi fenomeno SEO negativo possa essere il segnale dell’introduzione del nuovo algoritmo.

A beneficio della sanità mentale di tutti faccio dunque un elenco di alcune informazioni che si possiedono al momento (21 giugno 2011) su Google Panda, assieme a qualche considerazione personale:

1. non è stato ancora applicato su Google.it
2. non è stato detto quando verrà esteso a Google.it o ad altri siti di Google in lingua diversa dall’inglese
3. la metodologia con la quale Panda è stato progettato lascia credere al sottoscritto che la sua estensione a lingue diverse dall’inglese non sia così automatica né facile
4. un brusco calo di posizioni/traffico può essere attribuito a decine di cause diverse, che i SEO conoscono bene: ha senso valutare tutte le cause potenziali più comuni prima di congetturare l’introduzione di un algoritmo nuovo
5. alla sua introduzione, attendetevi una reazione ampia da parte della comunità SEO online, non l’emergere di piccoli e pochi fenomeni isolati
6. parlare di Google Panda e inserirlo in contesti in cui non c’entra un fico secco va di moda, attrae l’attenzione e produce comunque traffico

A forza di gridare al lupo ogni cinque minuti c’è il rischio di non essere presi sul serio quando il lupo arriverà.

Keep Calm and Put the Kettle On

SEO e down Aruba: conseguenze, contromisure e prevenzione

E’ di questa mattina la notizia che mezza Italia è down a causa di un “principio d’incendio” in Aruba.it.

Scrivo questo brevissimo post nel tentativo di riassumere quali sono le conseguenze SEO di un evente simile e che contromisure potrebbero essere prese per evitare danni in futuro.

Va da sé che la quantificazione dei danni subiti dal down di un sito è strettamente correlata alla necessità del sito di rimanere online: siti che vivono di pageview perdono denaro ogni singolo secondo che non sono online. Siti la cui sopravvivenza è meno legata alle pageview e alla presenza online costante, possono subire danni economici minori, anche se mai nulli.

Conseguenze SEO

Quando un sito è down, il motore di ricerca tenta e ritenta di collegarvisi più volte, nel tentativo di comprendere la durata e gravità del fenomeno. Questo è vero sopratutto per i motori che hanno un crawling esteso e attento, come Google.

Nel caso in cui il down di un sito duri poco (fino a qualche ora) le ripercussioni sulla visibilità del sito sono minori: il sito può in teoria scendere di posizione nelle SERP, ma in modo contenuto. A volte la posizione rimane invariata.

Nel caso in cui il down di un sito duri molto di più, da 24 ore in su, le ripercussioni si fanno più serie, non solo perché la discesa nelle SERP è maggiore ma anche perché i tempi di risalita dopo la riattivazione del sito possono essere più lenti.

A prescindere dalla durata del down (poche ore o qualche giorno) in tutti i casi che ho osservato negli anni, i siti web sono sempre ritornati alle posizioni originarie, anche se la velocità di riacquisizione delle posizioni può essere lenta: da qualche ora a qualche giorno.

Contromisure SEO

Nel caso in cui l’intero server sia down ed il web server non è in grado di erogare nemmeno una risposta HTTP del tipo 503 (Service unavailable), allora non c’è modo di informare gli spider dei motori del disservizio temporaneo attraverso quegli stessi server.

Se però i server DNS del sito sono gestiti da una struttura differente da quella che gestisce i server temporaneamente down, è allora possibile modificare i record DNS in modo da farli puntare ad un host diverso. Se sul nuovo host è presente una copia del sito, esso tornerà raggiungibile e gli spider dei motori se ne renderanno conto in tempi solitamente brevi.

Nello specifico caso odierno di Aruba, chi aveva presso di loro sia i server web sia i server DNS, si attacca al tram.

Prevenzione per il futuro

• Usare gestori diversi per server DNS e server web
• Individuare un host che offra un servizio di ridondanza dei dati, su reti e infrastrutture non dipendenti da un unico fornitore
• Qualcuno di voi saprebbe segnalarne altre nei commenti al post?

Ciò che realmente Google vede

Per anni i SEO hanno ottimizzato le pagine web sapendo che certi elementi, che fossero testi o link, era valutati maggiormente dai motori di ricerca se inseriti in cima alla pagina.

In realtà, tuttavia, piuttosto che “in cima alla pagina” si è sempre detto “in cima al codice HTML”, perché si è sempre creduto che la comprensione dei motori di ricerca fosse basilare e che per un algoritmo il concetto di “posizione di un elemento all’interno della pagina” dovesse essere necessariamente semplificato in “posizione all’interno del codice”.

Però adesso siamo nel 2011 (beh, per essere precisi sto scrivendo questo post nel 2011) ed è opportuno rivedere le convinzioni che ci siamo portati dietro per anni. Forse c’è una sorpresa.

Instant Preview

Instant Preview è il nome che Google ha scelto per il proprio servizio di miniature (thumbnail) che affiancano i risultati delle ricerche.

Cliccando su una icona a forma di lente di ingrandimento posta a fianco di ciascun risultato, appare uno screenshot della pagina a cui il risultato fa riferimento. La cosa più interessante, però, è che Google riesce ad evidenziare in tempo reale all’interno dello screenshot la zona della pagina web che contiene le parole cercate dall’utente, usando un rettangolo arancione.

Come fa Google a conoscere la posizione del testo cercato dall’utente all’interno della miniatura? E come fa ad evidenziare questa informazione in tempo reale?

Va escluso a priori che venga usato in tempo reale un sistema di riconoscimento dei caratteri (OCR) all’interno dell’immagine, in quanto eccessivamente lento e poco adattabile alla mole di ricerche operate dal motore.

E’ invece molto più probabile che solo in fase di creazione dello screenshot Google provveda ad usare un algoritmo di OCR, per poi conservare in archivio la posizione (X e Y) delle parole visibili sulla pagina.

Ricordate questo punto: la reale posizione delle parole potrebbe essere archiviata.

In fase di visualizzazione all’utente Google mostra l’immagine e, partendo dalle posizioni delle parole all’interno dello screenshot (che deve conoscere già), calcola la posizione e la dimensione che il rettangolo dovrà avere e lo sovraimpone all’immagine attraverso una funzione JavaScript.

La precisione del calcolo delle posizioni

Da qualche evidenza, ho l’impressione che le posizioni memorizzate non facciano riferimento alle singole parole ma ad intere frasi o paragrafi. Avrebbe anche un senso in termini di ottimizzazione delle risorse a disposizione del motore di ricerca.

Vi invito a dare un’occhiata all’immagine che segue. Nel mio articolo sul funzionamento dell’algoritmo Panda, è presente in cima l’immagine di un Panda accompagnata da una didascalia che recita “Never say no to Panda!”. Questo testo è in cima al codice HTML (sopra il primo paragrafo di testo del post) ma visivamente mostrato sotto l’immagine, ovvero più in basso e a destra rispetto all’inizio del testo dell’articolo.

Cercando su Google [site:www.lowlevel.it “never say no to panda”], il rettangolo che evidenzia la posizione del testo all’interno della pagina racchiude correttamente la frase cercata e anche i primi paragrafi di testo che, nel codice, la seguono.

La precisione con la quale il rettangolo racchiude i testi cercati è notevole e la differenza di posizione (fisica e visuale) viene gestita bene.

La gestione dei testi nascosti

Il prossimo passo per comprendere dove possa arrivare la bontà del sistema di riconoscimento di Google è quello di tentare di capire come si comporta nei confronti dei testi invisibili, anche quelli semplicemente “a comparsa” che popolano il web (si pensi a menu di navigazione o a testi mostrati attraverso effetti AJAX).

La ricerca [site:www.plus2net.com/javascript_tutorial/hide-layer2.php “message box”] mostra un Instant Preview di una pagina nella quale il testo “Message Box” è presente ma invisibile di default.

La miniatura prodotta da Instant Preview è ritagliata in modo tale da indurre a credere che il testo invisibile non concorra a definire il perimetro dello screenshot da effettuare. Altre ricerche hanno mostrato che la zona in cui risiede un testo invisibile di default non viene mai evidenziata col rettangolo arancione, a far intendere che il riconoscimento dei testi avviene tenendo conto di eventuali layer non visibili.

Una riprova della bontà del sistema giunge dall’analisi della ricerca [site:www.easywayserver.com/blog/javascript-show-hide-layers-in-html/ “demo” “layer 1” “layer 2” “layer 3”], che mostra il testo cercato in quanto visualizzato di default sulla pagina, benché teoricamente nascondibile dall’utente cliccando su alcuni pulsanti.

Congetture finali

A quanto pare Google possiede la tecnologia per sapere in tempo reale (durante una ricerca) se i testi cercati dall’utente sono visivamente presenti sulla pagina, facendo uso di un algoritmo di riconoscimento e, con tutta probabilità, di un sistema che prevede l’immagazzinamento di informazioni sulla reale visibilità e posizione dei testi.

Quanto diffusamente potrebbe essere applicato questa analisi ai miliardi di pagine web perlustrate dal motore di ricerca? A questa domanda risponde Google stesso su questa pagina dedicata ad Instant Preview:

In general, Google updates the Instant Preview snapshot as part of our web crawling process. When we don’t have a cached preview image (which primarily happens when we can’t fetch the contents of important resources), we may choose to create a preview image on-the-fly based on a user’s request.

Per quanto non si possano trarre conclusioni certe, a mio parere si rafforza l’idea che la tecnologia per dare peso a ciò che realmente viene mostrato agli utenti esista e possa essere già applicata in maniera estesa.

Come funzionano Panda e Google: gli aspetti tecnici

Per chi ha seguito l’evolversi degli algoritmi di Google nel corso degli anni, Panda rappresenta una rivoluzione sotto molti aspetti.

L’aspetto che ritengo più interessante riguarda il fatto che Panda è il primo algoritmo il cui funzionamento viene spiegato con un grado di dettaglio molto alto, fino a qualche dettaglio matematico.

Di più, da Amit Singhal sono arrivate affermazioni che spiegano non solo il criterio seguito da Panda ma anche indicazioni sulla metodologiia di default seguita da Google per valutare i siti web e classificarli.

L’articolo su Wired.com

Il 3 marzo 2011, Wired.com pubblica un articolo dal titolo “The ‘Panda’ That Hates Farms: A Q&A With Google’s Top Search Engineers“.

Nell’articolo vengono intervistati Matt Cutts e Amit Singhal, ai quali vengono poste domande sugli obiettivi di Panda, sul metodo seguito per separare i buoni dai cattivi e sugli aspetti algoritmici dell’implementazione.

Consiglio la lettura dell’articolo a tutti coloro che vorrebbero approfondire un po’ di più il funzionamento di Panda.

Il metodo

Riassumendo quanto detto dai due portavoce di Google, ecco il metodo seguito:

• viene preso un campione di siti web
• vengono inviati a dei valutatori esterni
• ai valutatori vengono poste domande quali
• Saresti a tuo agio nel dare la tua carta di credito a questo sito?
• Saresti a tuo agio a dare ai tuoi bambini le medicine indicate su questo sito?
• Consideri questo sito autorevole?
• Vedresti bene questo contenuto su una rivista?
• Ci sono troppe pubblicità su questo sito?
• in base alle valutazioni, ciascun sito del campione viene considerato più o meno cattivo
• nello spazio a più dimensioni usato da Google per attribuire coordinate a ciascun sito conosciuto, viene tracciato un (iper)piano in modo che da un lato vi sia una maggioranza di siti considerati cattivi e dall’altro una maggioranza di siti considerati buoni
• il piano separatore viene poi usato come classificatore di tutti i siti (non solo quelli valutati manualmente) presenti nello spazio a più dimensioni

Che cosa comporta ciò?

Per comprendere le implicazioni di tale approccio, bisogna porre attenzione alla differenza tra la valutazione dei siti campione e la posizione dei siti web (tutti) all’interno dello spazio.

La valutazione dei siti campione avviene sulla base di domande che non riguardano necessariamente specifiche caratteristiche dei siti web. La domanda “Daresti a questo sito la tua carta di credito?” non tenta di individuare una specifica caratteristica ma cerca invece di registrare una sensazione provata dal valutatore umano.

La metodologia non ha interesse a comprendere perché il valutatore esprima un giudizio ma si limita a prendere atto del giudizio stesso, delle sensazioni provate, dell’opinione positiva o negativa.

Queste valutazioni non incidono sulla posizione dei siti nello spazio. Tutti i siti possiedono delle coordinate in base ad altri fattori, che possiamo solo immaginare, e legati a caratteristiche più tecniche, oggettive e facilmente misurabili (contenuti, PageRank, backlink, autorevolezza, anzianità, ecc.).

Tutta la metodologia seguita si traduce dunque nel rispondere alla seguente domanda: “Che caratteristiche tecniche possiedono i siti fisicamente vicini a quelli che non ispirano fiducia o sensazioni positive nelle persone?“. Dove per “fisicamente” si intende “geometricamente”.

Per fare un esempio pratico delle conseguenze dell’approccio di Google, si potrebbe dire, estremizzando, che se la maggioranza dei siti considerati “cattivi” usasse uno sfondo color nero, allora qualunque sito con lo sfondo color nero sarebbe fisicamente più vicino alla “zona cattiva” delimitata dal piano separatore. Posto che il colore di sfondo sia uno dei fattori usato da Google per attribuire le coordinate ai siti web.

Il metodo è interessante in quanto permette di trasporre una classificazione basata sulle sensazioni e su giudizi umani di pochi siti campione in una classificazione di tutti i siti conosciuti dal motore, sulla base delle loro caratteristiche tecniche.

Per funzionare bene, ovviamente, il metodo deve poter far affidamento su un sistema che attribuisce una coordinata a ciascun sito web conosciuto sulla base di tanti parametri. Tanti: probabilmente molti di essi vanno oltre la nostra immaginazione.

Mi verrebbe da dire che l’intero sistema di valutazione funzionerebbe meglio se Google includesse tra gli elementi raccolti anche roba del tipo “indicazione di un numero verde” o la presenza di testi e frasi tipiche di chi rispetta i diritti dei consumatori.

Quanto ci azzecca Panda?

Panda ci azzecca molto, a mio giudizio. Una delle ragioni per le quali sono di questo parere è che ricordo quando, anni fa, Google annunciava pubblicamente sui forum dei (pesanti) cambi di algoritmo, rimanendo in attesa del feedback dei webmaster e SEO.

In quelle occasioni, il clima che si viveva sui forum era lo stesso di un pubblico linciaggio da parte delle vittime innocenti. Avete presente quando i cittadini si avviano con fiaccole e forconi verso il castello del Dr. Frankenstein? Quello.

Con Panda non è stato così, le reazioni dei proprietari dei siti colpiti sono state estremamente più soft di quelle osservate in passato. La sensazione è che l’introduzione dei vecchi algoritmi abbia fatto molte più vittime innocenti. Questo non significa che Panda non abbia fatto vittime; dico solo che magari le vittime colpite stavolta considerano sé stesse meno innocenti e con meno diritto di lamentela.

A questa congettura del tutto personale, si aggiunge anche il fatto che negli ultimi anni le metodologie seguite da Google per introdurre variazioni all’algoritmo, specie variazioni corpose e destinate ad interessare una grande percentuale delle query, comprendono fasi preliminari di test su campioni di utenti, dei quali viene stimata la soddisfazione. Va online ciò che gli utenti gradiscono di più.

Anche una certa sicurezza che traspare dalle parole di Singhal e Cutts lascia intendere che stavolta ci abbiano azzeccato. Singhal dice: “It’s really doing what we said it would do.”.

Generalizzazione

Singhal ha detto che per Panda hanno usato il loro “sistema di valutazione standard”, ad intendere che l’approccio seguito non è nuovo a Google ma rappresenta in realtà il sistema usato solitamente per classificare i siti web.

In altre parole, trovano un iperpiano che divida al meglio i buoni dai cattivi; la trasposizione moderna della riga verticale che si tracciava sulle lavagne delle scuole elementari, ma usando ben più di due dimensioni.

Tutto ciò mi porta a concludere che ad ottenere maggiore visibilità saranno sempre più i siti che mostreranno di essere vicini a chi si comporta meglio.

Sceglietevi il compagno di banco giusto.