Супер простой плагин – Robots.txt File позволит вам прямо в админ-панели wordpress, создать файл robots.txt и управлять им. Установить плагин вы сможете прямо из админ-панели wordpress. Перейдите по вкладке: Плагины – Добавить новый, введите название плагина в форму поиска, нажмите Enter, установите и активируйте плагин.
После установки и активации плагина, перейдите по вкладке: Настройки – Чтение, внизу страницы у вас появится специальное поле для файла robots.txt. Всё, что вам нужно сделать, это добавить текст файла в данное поле и сохранить настройки, всё готово ! Теперь файл всегда у вас под рукой, можно быстро редактировать.
Вот и всё, здесь всё очень просто, ссылку на готовый файл robots.txt я дал выше, просто замените в файле мой адрес сайта на свой и вставьте его себе на сайт.