E poi, se faccio una ricerca su Google, mi compaiono in evidenza soprattutto i link relativi al sito di prova http://nuccio54.altervista.org cosa che vorrei evitare ovviamente, se possibile.
Per il robots,txt invece il buio è assoluto.
Adesso purtroppo sono troppo preso da altro per approfondire, come farò, ho solo l'urgenza di velocizzare i tempi.
User-Agent il valore di questo campo contiene il nome del robot che si deve attenere alle restrizioni. Con il carattere * la regola viene applicata a qualsiasi robot.
[...] ci rido su e non per questo li prendo certo in giro o me la "tiro" o peggio dispenso perle di saggezza non richieste.