Prendi il controllo! Gestire accessi ed indicizzazione in modo efficace di Alessandro Martin | gtConference…

La parte finale era un concentrato di indicazioni utili, complimenti

@Raffaele nella domanda che poni è più utile ragionare in termini di URL invece che di directory e file. Dunque la direttiva:

User-agent: *
Disallow: /news

Bloccherà l’accesso agli spider per le URL che iniziano con “news” come:

http://www.example.org/news
http://www.example.org/newspaper
http://www.example.org/news/milano/

non verrà invece bloccata la URL

http://www.example.org/local/news/

Per fare un altro esempio, la direttiva:

User-agent: *
Disallow: /*spam*

Bloccherà qualunque URL che contiene il termine “spam”. Quindi saranno bloccate le seguenti URL:

http://www.example.org/spam/
http://www.example.org/egg/spam/
http://www.example.org/egg/spam/bacon

Spero che ora sia chiaro.

Alessandro

@Raffaele: nel caso che hai presentato è più chiaro se ragioni in termini di URL invece che in termini di directory. Quindi si può dire che la direttiva

User-agent: *
Disallow: /news

bloccherà l’accesso dello spider a qualunque URL che inizia con news. Pertanto saranno bloccate:

http://www.example.org/news
http://www.example.org/news.html
http://www.example.org/newspaper.html

Per fare un altro esempio, la direttiva:

User-agent: *
Disallow: /*spam*

bloccherà l’accesso dello spider a qualunque URL che contenga la parola spam. Quindi saranno bloccate le URL:

http://www.example.org/spam/
http://www.example.org/spam/egg/
http://www.example.org/egg/bacon/spam/

Se ci sono altri dubbi chiedi pure.

Alessandro