سلام
برای این کار باید از فایل robots.txt استفاده بشه.
دایرکتوری که فایل های pdfهست یک فایل index.html و robots.txt بسازید.
بعد داخل robots.txt متن زیر رو کپی کنید. و بعد سیو کنید.
خط اول انتخاب تمامی ربات هاکد:User-Agent: * Disallow: / Disallow: /*.pdf
خط دوم - دستور عدم دسترسی به دایرکتوری
خط سوم هم - عدم دسترسی به pdf ها.
به همین سادگی.
بعد از قرار دادن کد به من پخ بزنین تا دایرکتوری تون رو تست کنم.