Robots txt
فایل robots.txt یک فایل متنی است که در ریشه دامنه وب سایت قرار میگیرد. این فایل برای ارتباط با موتورهای جستجوی وب مانند گوگل استفاده میشود و دستوراتی را به موتورهای جستجو ارسال میکند که در مورد نحوه اسکن و فهرستبندی صفحات وب سایت تعیین کننده است.