:
Para levar a cabo o proceso de indización das páxinas webs, é preciso dun enxenio que visite as páxinas web e as almacene para que logo comence o proceso de indización. Este proceso é coñecido polo termo inglés Crawling. Paxinasbot é o nome que recibe o enxenio creado para paxinas.com
Paxinas.com dispón do seu propio enxenio que para identificarse leva o nome de Paxinas.com seguido da versión e despoís a URL onde se dá máis información sobre o proceso.
Cando recibe a visita deste enxenio, está a favorecer o dar a coñecer o seu web no buscador de Páxinas.com e así permitirá a difusión do seu web. O buscador de Paxinas.com será libre e gratuito e poderase consultar públicamente neste mes de maio.
Paxinasbot respeta os contidos que non quere mostrar públicamente solicitando información o arquivo robots.txt, o igual que fan a meirande parte dos buscadores, é dicir, recolle e se adapta ó estándar en materia de Crawling. Se por algún motivo non desexa que o enxenio de Paxinas.com visite o seu web ou ben que visite só determinadas páxinas ou modificando calquera outra configuración, pode evitalo modificando o arquivo chamado robots.txt . Pode atopar máis información sobre o proceso en http://www.robotstxt.org/wc/exclusion.html#robotstxt
Pode consultar máis sobre Páxinas.com en Paxinas.com