Este posibil?

[Ianna]

Am un site...anyway clientu s-a grabit si s-a bagat in campania adwords apoi dupa doua luni mi-a cerut "ajutor" i-am pus sitemap si robots.txt si am vazut ca are indexat doar 2 pagini (foarte adanc nicidecum index) si au trecut deja 2 sapt fara sa-l indexeze...
Vreo banuiala ceva ce-i wrong cu site-ul sau ce am facut eu gresit... Ca in general la orice alt site in cateva zile dupa ce submit sitemap imi indexeaza usor si frumos toate paginile...

[Krumel]

Pune un link sau robots.txt.

[Ianna]

robots.txt arata asa:

User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /twatch/
Disallow: /twatch_include/
Disallow: /admin.php
Disallow: /ticket.php
Disallow: /user.php
Sitemap: http : // www. siteulrespectiv. com /sitemap.xml.gz


si inca ceva

Your page with the highest PageRank
January Data is not available at this time.
December http : // www. site-ul respectiv .com /?loc = bankrupcy&PHPSESSID = 144fd899dc90e4fbbfcb54694a8935ff

am pus space si n-am dat site-ul ca deh e client, nu e site-ul meu.

[Krumel]

Eu am o pagina a unui client care nu e vizitat de catre roboti de vreo 10 zile. Si construiec link-uri catre el zilnic.
N-am idee ce e.

Apoi, legat de robots.txt, la fel...pus ca unele foldere sa nu fie indexate....si mi-a scos folderul si ce e dupa folder, la unele foldere...la altele le-a luat corect.

Si eu sint confuz, la mine in schimb, o sa renunt la link-urile vechi....deci modificarea e inutila.

Ne lumineaza cineva?

[iskanderul]

pai ce e asta ?

User-agent: *
Disallow:

[darkstar_tfd]

O sa le ia google dar mai slow. Incercati cu linkuri de pe forumuri - nu semnaturi sau profile - ci fie threaduri noi in zonele active, fie un post intr-un thread hot.

Ce am observat e ca forumurile inca mai merg. Linkurile de pe bloguri nu mai merg ok:

exemplu:

am 2 pagini noi create si las link dintr-un blog post - paginile respective sunt indexate dupa 5-6 zile. Blogpostul e indexat dupa 15 minute. Spiderul nu urmeaza deci linkurile la indexarea postului ( asa cum o facea acum o luna jumate spre exemplu )

am alte 2 pagini noi create si las link intr-un forum activ ( multe posturi in fiecare zi ) si le indexeaza in mai putin de 24 de ore. ( chestie care se intampla si inainte )

Daca e si site in .ro ( ambele situatii intalnite mai sus ) o sa dureze mult.

Krumel, chiar tu spuneai ca pe G.ro sunt updates cam o data pe saptamana. E un ritm foarte incet, daca e sa comparam cu .com

[Krumel]

Nu e vorba de updates.
Unul din clienti are update foarte bun, celalalt nu. Zona geografica e cam aceeasi, dar asta nu e un motiv in plus.

N-am idee daca hostul poate fi implucat aici...oricum, amnele site-uri au constat link-uri catre site.

Ptr. clientul roman, robots.txt-ul nu m-a ajutat asa cum speram, unele foldere fiind bine scoase din index, altle nu...metoda fiind identica.

[darkstar_tfd]

Unde nu vrea robots.txt , foloseste .htaccess

Options +FollowSymLinks
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} googlebot [NC]
RewriteRule ^/theforbiddendirectory/ - [F]

Hostingul nu prea poate fi de vina decat daca sunt site-urile offline. Sau daca restrictioneaza ei accesul botilor direct din server.

[iskanderul]

revenind la subiect, a doua linie din robots.txt a lui ianna este gresita, bine ca n-a trecut / ...

[Ianna]

@iskanderul am sa scot si linia respectiva sa vad daca e vreo ameliorare insa e foarte dubios! mi-a indexat o pagina si si pe aia aiurea....si sunt pe en

[Krumel]

Control Search Engine Spiders (http://www.searchenginepromotionhelp.com/m/articles/search-engine-optimization/robots-txt-explained.php), robots.txt Explained (http://www.webmasterstop.com/59.html).
Sper sa ajute.

[Ianna]

am scos linia respectiv si problema tot persista INSA linia respectiva nu ar trebui sa consiste o problema

User-agent: *
Disallow:

inseamna ca las toti robotetii sa indexeze toate paginile
daca puneam Disallow: / evident ca blocam toti roboteii sa indexeze toate paginile

[Krumel]

robots.txt arata asa:

User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /twatch/
Disallow: /twatch_include/
Disallow: /admin.php
Disallow: /ticket.php
Disallow: /user.php

Control Search Engine Spiders, robots.txt Explained.
Sper sa ajute.


Here are a few examples:

To disallow all robots from indexing a certain folder on a site, we’ll use this.

User-agent: *
Disallow: /cgi-bin/

For the User-agent line we used a wild card “*” to refer to the robot, which tells all robots to listen to this command. So once a robot reads this, it will then know that the /cgi-bin/ should not be indexed at all. This will include all folders contained in it.

Specifying certain bots is also allowed and in most cases very useful to users that utilize doorway pages or other ways of search engine optimization. Specifying certain bots will allow a site owner to tell a spider where to index and what not to index.


Cred ca dca vrei sa excluzi un folder si sa lasi restul paginilor sa fie indexate trebuie ceva de genul:

User-agent: *
Disallow: /cgi-bin


Asta ar trebui sa excluda indexarea folderului, dar nu si ale fisierelor de dupa folder sau din el.

Acum sper ca am inteles bine. Oricum, GOogle inca se comporta aiurea cu sitemaps-urile si robots.txt. :confused: