شرکت طراحی سایت وب سازان مرصاد

Robots txt

فایل robots.txt یک فایل متنی است که در ریشه دامنه وب سایت قرار می‌گیرد. این فایل برای ارتباط با موتورهای جستجوی وب مانند گوگل استفاده می‌شود و دستوراتی را به موتورهای جستجو ارسال می‌کند که در مورد نحوه اسکن و فهرست‌بندی صفحات وب سایت تعیین کننده است.