robots.txt ক্রলারকে জানায় সাইটের কোন অংশ ক্রল করা যাবে; XML সাইটম্যাপ জানায় কোন URL-গুলো আপনি খুঁজে পেতে চান। robots.txt দিয়ে পেজকে সার্চ রেজাল্ট থেকে নিশ্চিতভাবে সরানো যায় না — তার জন্য `noindex` — আর সাইটম্যাপ ইনডেক্সের গ্যারান্টি দেয় না।
নিরাপদ শুরুর robots.txt
বেশিরভাগ ছোট সাইটের জন্য সব অনুমতি দিন এবং সাইটম্যাপ দেখিয়ে দিন:
`User-agent: *` · `Allow: /` · `Sitemap: https://example.com/sitemap.xml`
সাইটম্যাপে কী থাকবে
- শুধু ক্যানোনিকাল, ইনডেক্সযোগ্য, 200 রিটার্ন করা URL।
- কনটেন্ট সত্যিই বদলালে তবেই `lastmod` বদলান।
- রিডাইরেক্ট, noindex বা এরর পেজ নয়।
- বেশিরভাগ CMS নিজেই তৈরি করে (WordPress SEO)।
জমা দিন ও নজর রাখুন
- Search Console-এর Sitemaps অংশে যোগ করুন (Search Console গাইড)।
- Bing Webmaster Tools-এও জমা দিন।
- Pages রিপোর্টে বাদ পড়া URL দেখুন।
যে ভুলে সাইট লুকিয়ে যায়
- স্টেজিং থেকে রয়ে যাওয়া `Disallow: /`।
- পেজ দেখানোর জন্য দরকারি CSS বা JavaScript ব্লক করা।
- robots.txt-এ ব্লক করে আবার noindex দেওয়া — ক্রল করতে না পারলে গুগল noindex দেখতেই পায় না।
সূত্র ও সীমাবদ্ধতা
এটি পাবলিক ডকুমেন্টেশন ও দৈনন্দিন SEO কাজের অভিজ্ঞতার ভিত্তিতে লেখা একটি ব্যবহারিক গাইড। এতে কোনো নিজস্ব ডেটাসেট নেই, কোনো র্যাংকিংয়ের গ্যারান্টি বা নির্দিষ্ট সময়সীমার প্রতিশ্রুতি নেই।
প্রায়শই জিজ্ঞাসিত প্রশ্ন
ছোট সাইটে কি সাইটম্যাপ লাগে?
ভালোভাবে লিংক করা ছোট সাইটে জরুরি নাও হতে পারে, তবে যোগ করা সহজ এবং নজরদারিতে সাহায্য করে।
robots.txt কোথায় থাকে?
ডোমেইনের রুটে, যেমন example.com/robots.txt।
গুগল থেকে পেজ সরাব কীভাবে?
noindex দিয়ে ক্রল করতে দিন, অথবা পেজ মুছে 404/410 দিন।