SEO için WordPress Robots.txt Dosyası: Adım Adım Kılavuz

Robots.txt dosyası, web sitenizde sahip olduğunuz en kritik verilerden biridir. O kadar önemlidir ki, yanlış yazılmış bir robot.txt dosyası sizi arama motorlarından bile uzaklaştırabilir.

Bu kılavuzda, sizin için özel bir robots.txt dosyasının nasıl oluşturulacağını göstereceğim. WordPress Provoco Kayıt.

SEO birçok faktörden oluşur, ancak arama motorları web sitenizi tarayamazsa hiçbir şey işe yaramaz. Bu nedenle, robots.txt dosyasına geçmeden önce neyin taradığını anlamalısınız.

Arama Motoru Tarayıcısı Nedir?

Arama motorlarında, "botlar" veya "web örümcekleri" olarak da bilinen tarayıcılar adı verilen programlar bulunur.

Bu tarayıcılar, sayfaların içeriği ve diğer bilgiler hakkında bilgi içeren bilinen tüm bağlantıların bir arama motoru dizinini hazırlamak için tüm web sayfalarını ziyaret eder, tarar ve okur.

Bu tarayıcılar, tüm web ağlarında gezinmek ve internetteki yeni gönderileri, web sitelerini ve diğer güncellemeleri keşfetmek için çalışır.

Tarayıcıların sabit bir bütçesi vardır, bir web sitesini ne kadar tarayabileceklerine ve bunu yapmak için harcadıkları zamana ilişkin bir sınır. – Bu, tarama hızı sınırı veya bütçe olarak bilinir.

Ayrıca tarama talebine de bağlıdır: Bir tarayıcının web sitenizde taramak istediği ve taraması gereken URL'lerin ve sayfaların sayısı.

Botun web sitenizin gereksiz kısımlarını taramasına izin verirseniz ve tarama hızı sınırına ulaşılırsa veya talep karşılanırsa, sitenizden ayrılır ve Google'da sıralamak istediğiniz önemli sayfaları taramayabilir.

Robots.txt nedir

Tarayıcılar, tüm sayfalar okunana kadar bir web sitesindeki diğer tüm sayfaların bağlantılarını takip etmeye devam eder ve robots.txt, tarayıcıya bunu durdurması veya kontrol etmesi için bir talimat vermek için kullanılır.

Robots.txt, tarayıcılara taramadan tek veya belirli bir sayfa ve bağlantı grubu bırakmalarını söyler. Botlar tarafından taranmazlarsa, büyük olasılıkla arama motoru sonuç sayfalarında görünmezler.

Tarayıcıya bağlıdır. robots.txt'nin talimatlarına uyuyorsa, onları zorlayamazsın.

Robots.txt, sunucunuzun kök klasöründe bulunan bir metin dosyasıdır. Örneğe bakın.

“Robot dışlama protokolü ve robot dışlama standardı” olarak da bilinir. olarak bilinen belirli bir dili konuşur ve anlarlar. robotlar hariç tutma protokolü. 

Arama motoru tarayıcıları web sitenizi ziyaret ettiğinde, taradığı ilk şey robots.txt'tir. Ya dosyanızda verilen talimatı takip edecek ya da görmezden gelecektir.

Arama motoru tarayıcısının robots.txt talimatınızı görmezden gelme olasılığı daha düşüktür, onları her seferinde yok sayacak olan kötü amaçlı yazılımlar veya "kötü" botlardır ve onları durdurmak için hiçbir şey yapamazsınız.

Robots.txt'in Temelleri

Bilmeniz gereken birkaç talimat komutu vardır, yani:

  1. User-agent: *
  2. Izin ver: /
  3. Disallow: /

Yukarıdaki 3 temel komut, bir robots.txt dosyasının tamamını oluşturur.

İlk önce, bir kullanıcı aracısı yazarsınız:

User-agent: *

sonra bir yıldız işareti "kullanıcı aracısı" robots.txt talimatının web sitesini ziyaret eden her bot için geçerli olacağı anlamına gelir.

Bir botun web sitenizin bir sayfasını taramasına izin vermek istediğinizde şunları kullanırsınız:

Izin ver: /

Sayfanızın taranmasını istemiyorsanız şunu kullanın:

Disallow: /

Genellikle, yalnızca belirli sayfalara izin vermemek istersiniz, bu nedenle eğik çizgiden sonra bir URL sağlamanız gerekir. Yukarıda gösterildiği gibi izin verme komutunu kullanırsanız, tarayıcıların web sayfalarınızdan herhangi birini taramasını durduracaktır.

Çoğu durumda bunun olmasına izin vermezsiniz, bu nedenle izin verme komutundan sonra tarayıcıların taramasını istemediğiniz bir URL koyarsınız.

Bir WordPress blogu için Temel Robots.txt Talimatları:

Aşağıda, blogunuzda kullanmak üzere kopyalayıp yapıştırabileceğiniz WordPress için temel bir robots.txt komutu yazdım:

Kullanıcı aracısı: * İzin verme: /wp-admin/ İzin ver: /wp-admin/admin-ajax.php

Robots.txt dosyanızda yukarıdaki komutların kullanılması gereklidir.

SEO Optimize Edilmiş Robots.txt

Kullanıcı aracısı: * İzin Verme: /cgi-bin/ İzin Verme: /wp-admin/ İzin Verme: /?* İzin Verme: /index.php İzin Verme: /xmlrpc.php

WordPress'in giriş sayfası URL üzerinden "/ Wp-admin”ve bu sayfanın hiçbir değeri yok arama motorları. Onları engellemek daha iyidir.

Benzer şekilde “/index” sayfası da sunucunuzda bulunan dosyalarınızdan oluştuğu için arama motorlarında çıkmak istemeyeceğiniz bir sayfadır. Onları da engellersin.

Ardından WordPress'te pingback ve geri izleme için “/xmlrpc” kullanılır ve ayrıca disallow komutuna “/?*” eklemelisiniz. Botların dahili arama sonuçlarınızı taramasını engelleyecek ve yinelenen ve çok fazla sayfanın oluşmasını önlemeye yardımcı olacaktır.

Bu, çok fazla tasarruf etmenize yardımcı olur tarama bütçesi.

Robots.txt Dosyası Nasıl Oluşturulur

Öncelikle robots.txt dosyanız olup olmadığını kontrol etmelisiniz.

Site içinde alaniniz.com/robots.txt" kontrol etmek.

*“alaniniz.com”u gerçek alan adınızla değiştirin domain.

Halihazırda bir robots.txt dosyası varsa, onu kolayca düzenleyebilirsiniz. Sunucunuzda bir robots.txt dosyası yoksa, onu oluşturmanız gerekecek demektir.

WordPress web siteniz için bir robots.txt dosyası oluşturmanın zahmetsiz bir yolu, aşağıdakileri yüklemektir: Squirrly eklentisi.

Squirrly bir SEO eklentisi aktivasyon üzerine web siteniz için otomatik olarak bir robots.txt dosyası oluşturacaktır. Gelişmiş ayarlara giderek düzenleyebilirsiniz:

Ancak, fiziksel bir robots.txt oluşturmaz, bu nedenle gelecekte bu eklentiyi ve verilerini silerseniz robots.txt dosyanız da kaybolur. WordPress, yoksa sunucunuzda sanal bir robots.txt dosyası oluşturur. Düzenlemek için Squirrly veya Yoast kullanabilirsiniz.

gibi web barındırıcıları CloudWays başlangıçta robots.txt dosyanızı şu şekilde düzenlemenizi engeller: SEO eklentileri. Destek ekibiyle iletişime geçmeniz veya aşağıdaki FTP yöntemini kullanmanız gerekir.

Sunucunuzda bir robots.txt dosyası oluşturup yüklemenizi öneririm.

1. Sunucunuza FTP düzeyinde erişin.

Web barındırma sunucunuza erişmek için önce PC'nize bir FTP istemcisi yüklemelisiniz. tercih ederim Filezilla bunu yapmak için.

Filezilla'yı kurun ve FTP/SFTP kullanıcı adınızı ve şifrenizi kullanarak sunucunuza bağlanın. Bunları bilmiyorsanız, barındırma sağlayıcınıza sorun.

2. robots.txt dosyasını public.html'de bulun

FTP sunucu alanınızdaki public.html klasörüne tıklayın. Aşağıda robots.txt dosyasını göreceksiniz. Halihazırda bir robots.txt dosyanız yoksa onu göremeyebilirsiniz. Bu durumda, bir tane oluşturmanız gerekecek.

3. Bir metin düzenleyici açın

Not defteri işe yarayacaktır. Bilgisayarınızda Not Defteri'ni açın ve bu robots.txt talimatını kopyalayın/yapıştırın:

Kullanıcı Aracısı: * İzin Verme: /wp-admin İzin Verme: /xmlrpc İzin Verme: /index.php
İzin ver: /wp-admin/admin-ajax.php

Site haritanızı buraya da ekleyebilirsiniz, ancak bunu yapmanız gerekmez.

Bu metin dosyasını kaydedin ve robots.txt olarak adlandırın. “.txt” uzantısını koyduğunuzdan emin olun ve ad alanına “.txt” eklemeyin.

4. Sunucunuzun kök dizinine yükleyin

Filezilla'ya geri dönün ve public.html klasörüne tıklayın.

Robots.txt dosyanızı bilgisayar ekranınızın sol tarafındaki boş alana sürükleyip bırakın.

Bu kadar. robots.txt dosyanız artık yayında.

Güncelleme 2019: Google kısa süre önce duyurdu: nofollow etiketi (rel=”nofollow) bir ipucu olarak değerlendirilecektir. Bu, Google'ın Nofollow etiketine saygı duyabileceği veya vermeyebileceği anlamına gelir. Google, "UGC (kullanıcı tarafından oluşturulan içerik)" ve "sponsorlu" adlı iki yeni etiket tanıttı.

rel=”UGC” etiketi, blog yorumları, forum bağlantıları gibi kullanıcı tarafından oluşturulan içerikler için kullanılabilir ve rel=” sponsorlu” etiketi, bağlı kuruluş bağlantıları ve ortak bağlantıları için dava edilebilir. şurayı okuyabilirsiniz resmi duyuru burada.

Umarım artık WordPress web siteniz için SEO için optimize edilmiş bir robots.txt dosyasını nasıl hazırlayacağınızı biliyorsunuzdur. Artık arama motoru tarayıcıları, web sitenizin ve blogunuzun gereksiz sayfalarını taramayacak ve tarama bütçesinden tasarruf sağlayacaktır.

Bu, sıralamak istediğiniz tüm sayfaları taramalarına izin verecektir.

Aşağıdaki yorumlar bölümünde düşüncelerinizi bize bildirin.

Paylaş:

5 Yorumlar

  1. Robots.txt hakkında okuduğum en iyi rehberlerden biri. Robots.txt dosyasını optimize etmek artık çok kolay, teşekkürler.

  2. Bakımını yaptığımız WordPress sitelerinde, kötü botları engellemek ve çok agresif olan diğerlerini boğmak için WordFence kullanıyoruz.
    Botları engellemek sunucumuzdaki yükü de azaltır. Robots.txt birçok yönden önemlidir.

  3. Çok bilgilendirici makale. kimse robot.txt dosyası hakkında tartışmaz ama bu, WordPress'iniz için önemli bir dosyadır.
    Çok teşekkür ederim

Yorum bırak

E-posta hesabınız yayımlanmayacak.