DidikleBot

DidikleBot, Didikle Türkçe Arama Motorunun siteleri gezen ve dizinleyen otomatik ajanının, örümcek robotunun adıdır. Didikle robotu her gün on binlerce web sayfasını gezerek incelemekte, değerlendirmekte ve Didikle arama motorunun tanıdığı diğer sayfalarla kıyaslayarak uygun bir biçimde sıralamaktadır. DidikleBot'un bu becerisi sayesinde her gün yüz binlerce Didikle kullanıcısına aradıklarına en uygun sayfalar sunulur.

DidikleBot, robots.txt robot kontrol standardını desteklemektedir. Bu robots.txt dosyası sizin web sitenizin ana klasörüne yerleştirdiğiniz ve arama motorlarına gezilmesini istemediğiniz sayfa ve klasörlerinizi belirttiğiniz bir dosyadır. robots.txt dosyanızda belirttiğiniz kurallara uyacağından, DidikleBot web sunucunuza ek bir yük getirmeyerek, sitenizi incelerken yavaşlamaya yol açmaz.

Örneğin, sitenizin ana klasörüne koyacağınız örnek şu iki satırla DidikleBot dahil arama motorlarına, sitenizin ayarlarını yaptığınız admin.php linklerinin gezilmemesini belirtebilirsiniz:

User-agent: *
Disallow: /admin*

Benzer şekilde sadece belli bir klasörü, belli bir dosyayı ya da benzerlerini engelleyebileceğiniz örnekler şunlar:

User-agent: *
Disallow: /resim/
Disallow: /user.php
Disallow: /images* 

Web siteniz gezilmeye başlarken sayfalarınızın site haritası olup olmadığı da kontrol edilir. Eğer varsa, içeriği sitemap standardında belirtilmiş olan sitemap.xml dosyanız kullanılarak web siteniz çok daha kısa sürede Didikle Arama Motorundaki yerini alır. Site haritanızı sitemap.xml adıyla ana klasörünüze koyabileceğiniz gibi, şu şekilde robots.txt dosyanızda da tam adını ve yerini belirtebilirsiniz:

Sitemap: http://www.siteniz.com/sitemap.xml