robot.txt dosyası nedir

bir web sitenin herhangi bir kısımda içeriklerinin google arama motoru tarafından index almamasını sağlayan unsurdur.

robot engelleme standardı.

robot.txt dosyanızı özenle hazırlamalısınız. çünkü indexlenmeler konusunda siteye gelecek robotların yol olup olmamasını belirler.