Идеальный robots.txt

Когда я был начинающим блоггером, то долго не мог понять, что это за файл robots.txt Конечно я понимал только общие понятия «нужен для помощи поисковикам»,...