Если бы вы по-старинке писали свой файл на html и делали его на статичных страничках, то тут с дублями страниц никаких сложностей бы не возникало — сколько страничек вы создали, столько поисковые системы и проиндексируют. Но если вы все же перешли на самописную или найденную в Интернете CMS, если вы сделали динамичный сайт, то тут дубли одних и тех же страниц могут плодиться и размножаться чуть ли не в геометрической прогрессии, так как ваш движок сайта будет создавать их автоматически.
Что мы в итоге получаем? Дублирование контента на вашем сайте. То есть тот же самый копипаст, который так не любят все поисковые системы, а особенно Яндекс, но в пределах одного сайта, а не на других Интернет ресурсах. Многие вебмастера, которые только начинают создавать сайты, об этом даже не думают и не догадываются, а потом удивляются, почему вдруг сайт ни с того ни с сего попал под фильтр Яндекса, который почему-то особенно негативно относится к копипасту в частности, и к дублированному контенту в принципе. Что делать? Исключать из индекса и запрещать к индексации те страницы, которые в индексе не нужны. Делается это с помощью файла Robots.txt, который вы должны сами создать в блокноте и разместить в корне вашего сайта. Про meta robots в wordpress и про то, как правильно составить файл Robots.txt для CMS WordPress читайте на блоге АлаичЪа.
Какие же файлы вообще стоит закрывать от индексации поисковиками? Чаще всего — это все служебные файлы, которые генерирует ваш движок. Самое известное и распространенное — это страницы меток и категорий. Представьте сами — во скольких разных местах, на скольких страницах у вас может появиться один и тот же анонс. На главной, в категории, а то и двух, если вы поставили галочки в двух местах, на странице каждой метки, которую вы прописали для поста, а не которые ведь и по десятку меток прописывают. Плюс, если у вас есть календарь записей в сайдбаре — в архиве данного года, месяца и дня. И это уже минимум десяток, а поисковикам достаточно отдать анонс на главной и саму страницу полного поста. Удачи!