شنبه ۰۷ دی ۹۸ ۱۶:۰۷ ۱,۶۴۸ بازديد
موتورهای کاوش در سه مرحله کلی تحت فعالیت خویش را انجام میدهند، هر مرحله نیز تسک های یگانه به خویش را داراست:
سئو در مشهد
خزیدن(Crawling)
تثبیت کردن(Indexing)
بازیابی یا این که ساخت فیض(Creating Results)
ما درین یادگرفتن صرفا با او‌لین مرحله رمز و فعالیت داریم، جایی که اسپایدر(Spider) یا این که خزنده(Crawler) موتور کاوش وظیفه گردآوری و تامین داده های مایحتاج یک موتور کاوش را بر عهده دارااست، برای مثال اسپایدر گوگل بات که وابسته به کاوشگر گوگل میباشد به وبسایت های متفاوت سرک می‌کشد و با به کارگیری از تکنیک هایی که در دست داراست کارایی می نماید پیوند ها، پوشه های HTML، CSS، Javascript و … را دنبال نماید.
اسپایدرها در هنگام بازدید صفحه های از هر پیوندی(داخلی و فرنگی) برای کشف کردن و کشف صفحه های نو استعمال میکنند و در غایت داده های گردآوری گردیده را برای سازماندهی، سازمان دهی و تثبیت به موتور جستجوی مربوطه ارسال میکنند، آن‌ها این عملیات را به صورت مداوم انجام میدهند و حتی تغییرات تازه یک تارنما را به راحتی شناسایی میکنند.
آیا راهی موجود هست که‌این اخلاق پیش فرض اسپایدر را تغییر‌و تحول دهیم و از ایندکس شدن صفحه ها و پوشه های مدنظرمان خودداری کنیم؟
جواب مثبت میباشد، برای اینکار میتوانید از طریق های پایین استعمال فرمائید:
فولدر robots.txt
متا تگ robots
تگ X‑Robots
در اولی و همه گیرترین شیوه بایستی یک پوشه متنی بی آلایش با اسم robots.txt در روت تارنما تان ساخت نمایید و بعد از آن محدودیت های مدنظرتان را در قالب ضوابط(Rules) برای اسپایدرها معلوم فرمایید. جزئیات بی نقص این فولدر را میتوانید در نوشته‌ی‌علمی آنچه می بایست از فولدر Robots.txt بدانید! مطالعه نمایید.
متا تگ robots هم یک تگ HTML عادی میباشد که در بخش Head ورقه اینترنت قرار میگیرد، در واقع این تگ تنها در صفحه ها اینترنت قابل به کار گیری میباشد.
تحت عنوان مثال کد پایین به اسپایدر موتور کاوش میگوید که‌این ورقه را ایندکس مکن.
Copy
تگ X‑Robots چه می باشد؟
متا تگ robots برای noindex کردن صفحه ها اینترنت بسیار مطلوب میباشد، البته برای دوری از ایندکس پوشه های PDF، کلیپ یا این که تصاویر چکاری می بایست انجام دهیم؟
در چنین مواردی به کار گیری از تگ X-Robots و پوشه robots.txt راه‌حل قابل قبولی خواهد بود.
مثلا ضوابط تحت بازدارنده ایندکس فولدر های PDF سایت به وسیله اسپایدر گوگل بات خواهد شد، کافی میباشد خطوط ذیل را به پوشه robots.txt بیشتر نمائید.
- ۰ ۰
- ۰ نظر
