Robots.txt wap2, msg vs Linkleri Engellemiyor.

[ErtugrulBEKTIK]

Ben GSiteCravler ile site haritası çıkardım. Site haritasında wap2, msg gibi gibi linkleri de çıkarmış. Halbuki robots.txt dosyasında bu sayfaları engellemiştim. Ama PrettyURLs kullandığım için linkler değişiyor ya acaba onun bir etkisi mi var yoksa başka bir etken mi var? Aşağıda robots.txt içeriğimi paylaşıyorum.

Kod Seç Genişlet

User-agent: Googlebot-Image
Disallow: /beyblade_forum/

User-agent: YandexImages
Disallow: /beyblade_forum/

User-agent: msnbot-MM
Disallow: /beyblade_forum/

User-agent: Googlebot-Mobile
Allow: /beyblade_forum/*wap
Disallow: /beyblade_forum/

User-agent: YandexImageResizer
Allow: /beyblade_forum/*wap
Disallow: /beyblade_forum/

User-agent: MediaPartners-Google
Allow: /beyblade_forum/

User-agent: *
Allow: /beyblade_forum/$
Allow: /beyblade_forum
Allow: /beyblade_forum/*.xml
Disallow: /beyblade_forum/attachments/
Disallow: /beyblade_forum/avatars/
Disallow: /beyblade_forum/Packages/
Disallow: /beyblade_forum/Smileys/
Disallow: /beyblade_forum/Sources/
Disallow: /beyblade_forum/Themes/
Disallow: /beyblade_forum/sachat/
Disallow: /beyblade_forum/profile/
Disallow: /beygaleri/index.php/form/
Disallow: /beyblade_forum/msg
Disallow: /beyblade_forum/profile
Disallow: /beyblade_forum/help
Disallow: /beyblade_forum/search
Disallow: /beyblade_forum/mlist
Disallow: /beyblade_forum/sort
Disallow: /beyblade_forum/recent
Disallow: /beyblade_forum/register
Disallow: /beyblade_forum/groups
Disallow: /beyblade_forum/stats
Disallow: /beyblade_forum/unread
Disallow: /beyblade_forum/topicseen
Disallow: /beyblade_forum/showtopic
Disallow: /beyblade_forum/prev_next
Disallow: /beyblade_forum/imode
Disallow: /beyblade_forum/wap
Disallow: /beyblade_forum/wap2
Disallow: /beyblade_forum/all
Disallow: /beyblade_forum/action
Disallow: /beyblade_forum/PHPSESSID
Disallow: /beyblade_forum/msg
Disallow: /beyblade_forum/*profile
Disallow: /beyblade_forum/*help
Disallow: /beyblade_forum/*search
Disallow: /beyblade_forum/*mlist
Disallow: /beyblade_forum/*sort
Disallow: /beyblade_forum/*recent
Disallow: /beyblade_forum/*register
Disallow: /beyblade_forum/*groups
Disallow: /beyblade_forum/*stats
Disallow: /beyblade_forum/*unread
Disallow: /beyblade_forum/*topicseen
Disallow: /beyblade_forum/*showtopic
Disallow: /beyblade_forum/*prev_next
Disallow: /beyblade_forum/*imode
Disallow: /beyblade_forum/*wap
Disallow: /beyblade_forum/*wap2
Disallow: /beyblade_forum/*all
Disallow: /beyblade_forum/*action
Disallow: /beyblade_forum/*PHPSESSID
Crawl-delay: 5
Not: Forum ana dizinde olmadığı için kodlar öyle.
Not: Yukarıda görüldüğü gibi her ihtimale karşı * sız hallerini de yaptım (belki işe yarar diye :) ama işe yaramadı.)

[tarantula901]

GSiteCravler ile alakalı bir durum tüm linkleri taradığından dolayı öyle bir durum oluyor. pretty kurduktan sonra sitemap kısmı var GSiteCravler kullanmanıza gerek yokki onu neden kullanıyorsunuz.

[ErtugrulBEKTIK]

Çünkü PrettyURLs sadece forumu kapsıyor. Benim sitem sadece forumdan oluşmuyor. Değişik bölümler de var. Oraların da site haritasında görünmesi için onu kullandım. Ama GSiteCravler robots.txt deki engellenen dizinleri almıyor. bu actionslarda bi sıkıntı var onları site haritasına alıyor. Bir de  PrettyURLs in site haritası yapma özelliği mi var?

[tarantula901]

robots sadece arama motorları içindir bu arama motorları eğer robots için bir ayar varsa bunu kapsar yoksa robotsa ne  eklersen ekle birşey değişmez. GSiteCravler modu robots ile ilgili bir ayarı olmadığı için tüm linkleri oluşturuyor.

[ErtugrulBEKTIK]

Bu programda tarama yapmadan önce Read Robots.txt diye bi seçenek var. O yüzden okuması lazım. Ben biraz daha denemeler yapıym sonucu yazarım buraya.

[tarantula901]

GSiteCravler  bilemediğim için tam birşey diyemeyeceğim.

Smfde mod kullansanız bile bazı bölümlerde msg uzantılı linkler mevcut çünkü ilgili konunun yorumuna ulaşması için msg olması gerekiyor o linkler olabilir.