| Толковый словарь терминов по робототехнике | |
| robots.txt | robots.txt |
| Стандарт исключений для роботов | Файл ограничения доступа роботам к содержимому на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта/robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. |
| robotlar uchun istisno standarti | Robotlarning http-server tarkibidan foydalanishini cheklash fayli. Fayl saytning o‘zagida bo‘lishi kerak (ya’ni sayt/robots.txt nomiga nisbatan yo‘lga ega bo‘lishi kerak). Agar bir nechta subdomen mavjud bo‘lsa, fayl ularning har birining asosiy katalogida joylashgan bo‘lishi kerak. |