فایل robots.txt چیست

فولدر robots.txt: یکی موردها اساسی در seo تکنیکال که با استعمال از آن می قدرت سئو در مشهد نرخ دارایی تارنما را تهیه و تنظیم کرد. برای کسب داده ها بیشتر درباره ی آن، این نوشته‌علمی را مطالعه فرمایید.

فولدر robots.txt چه چیزی است و چه کاربردی داراست؟
کل عمل ها و اقدامات seo که بر روی وبسایت انجام می‌دهیم می بایست به وسیله ربات های گوگل ایندکس گردد تا اثر گذاری آن بر درجه بندی وبسایت مشخص و معلوم گردد و در حاصل در مرتبه های بهتری قرار بگیرد. به همین برهان می بایست گوگل را به گونه ای هدایت کنیم که صفحه ها تارنما ما به طور درست و طبق نرم‌افزار ایی که برای بهینه سازی وب سایت داریم ایندکس خواهد شد.

این نوشته‌ی علمی از مطالب فراگیری بهینه سازی گروه اینترنت وان میباشد که امید است آیتم اعتنا شما قرار بگیرد.

پوشه robots.txt چه است؟
ازموارد فنی( seo تکنیکال) که برای با صرفه کردن ایندکس صفحه ها تارنما به فعالیت میرود استعمال از پوشه robots.txt میباشد. Robots.txt یک فولدر متنی میباشد که برای هدایت ربات های موتور کاوش برای شیوه خزیدن و ایندکس صفحه های سایت به کار گیری می گردد. ازآنجاکه پوشه robots.txt ربات های کاوش را درباره ی روش خزیدن صفحه ها متفاوت سایت شما ارشاد می نماید، پی بردن شیوه به کارگیری و تهیه این فولدر بسیار اساسی میباشد. برای پرهیز از ایندکس شدن صفحه ها می اقتدار از طریق های دیگر مانند تگ noindex بهره مند شد ولی هنگامی که بخواهید یک دسته از صفحه ها ایندکس نشوند، نمی توانید برای هر یک از صفحه های به طور غیر وابسته از تگ noindex به کارگیری فرمایید. در اینجا robots.txt به یاری شما می‌آید.
قایل robots.txt چه چیزی است

در صورتی یک فولدر robots.txt اشتباه تهیه و تنظیم گردیده باشد ، قادر است منجر غلط در ایندکس شدن صفخات وب سایت خواهد شد. به این ترتیب، هر توشه که یک کمپین بهینه سازی نو را استارت میکنید، پوشه robots.txt خویش را با ابزار نوشتاری روبات های Google چک فرمایید.

مطالب دارای ارتباط: seo وب سایت فروشگاهی
از ایندکس شدن چه صفحاتی بایستی خودداری گردد؟
با استعمال از فولدر robots.txt میتوان از ایندکس شدن بخش اعظمی از صفحه های مانند دسته بندی ها، تگ ها و صفحه ها خاص دوری کرد. بعضی از صفحاتی که بایستی بوسیله robots.txt از ایندکس شدن دوری شوند، موردها پایین میباشد.
صفحاتی که محتوای تکراری دارا‌هستند ( duplicate content)
تگ ها و برچسب هایی که منجر ساخت‌و‌ساز محتوای تکراری و یا این که اضافه در تارنما می‌شوند
غربال بندی صفحه ها مال که دربرگیرنده غربال های ارزش، رنگ و ... میشوند
صفحاتی که با سرچ کردن در خویش وب سایت ساخت و ساز میشوند ( در صورتیکه که صفحه های مهم و اصلی شما بوسیله یوزرها در وبسایت سرچ نشود)
همه صفحه های ادمین و پنل وب سایت
شیت پروفایل یوزرها تارنما
صفحه های چت
بعضی از فولدر های قالب که نیازی به چشم شدن به وسیله گوگل ندارند
پرهیز از ایندکس فولدر ها به وسیله robots.txt

در نمونه های بالال به ربات گوگل توصیه می‌دهیم که از خزیدن و ایندکس کردن کل صفحه ها مرتبط با اکانت های کاربری، سبد خرید و صفحه های پویا که یوزرها در نوار کاوش ساخت و ساز می نمایند و یا این که ساخت و ساز سازمان دهی بر پایه ی ارزش و غیره، خودداری نماید.
پوشه robots.txt به صورت همگانی در اینترنت جانور میباشد. برای دسترسی به پرونده robots.txt، به آسانی تایپ نمائید:
www.website-example.com/robots.txt
این در دسترس بودن بدان معنا میباشد که شما نمی توانید هیچ داده ای را داخل آن ایمن یا این که پنهان فرمایید. علاوه بر این ، ربات های بد و خزنده های مخرب می‌توانند از یک فولدر robots.txt به کارگیری نمایند و از آن تحت عنوان یک نقشه تفصیلی برای تکان در وب سایت شما به کار گیری نمایند.

همینطور به خیال داشته باشید که اوامر robots.txt تنها راهبرد می‌باشند. این بدان مضمون‌ میباشد که رباتهای کاوش میتوانند وبسایت شما‌را خزش کرده و ایندکس نمایند، حتی در‌صورتی‌که به آن ها امر دهید. خبر خوب این میباشد که اکثر موتورهای کاوش (مانند گوگل، بینگ، یاهو و یاندکس) به راهبرد های robots.txt احترام میگذارند.

مطالب دارای ارتباط: اهمیت سرعت تارنما و رویکرد های ارتقاء آن
شیوه به کار گیری از robots.txt
پوشه های Robots.txt بسیار انعطاف پذیر می‌باشند و از اکثری جهات قابل استعمال می باشند. بهره مهم آن ها این میباشد که متخصصان بهینه سازی را کارکشته می‌سازند چند شیت را همزمان و فارغ از نیاز به دسترسی به کدهای هر برگه، از ایندکس شدن خودداری نمایند. به کار گیری از robots.txt برای دوری از ایندکس شدن کافیست یک فولدر متنی صحیح فرمائید و از فرمان پایین به کار گیری نمایید.
در هر فولدر robots.txt از سه فرمان مهم به کارگیری می گردد که موردها تحت می باشند:
User-agent
در اولِ این فولدر و پیش از تایپ کردن هر دستوری می بایست عبارت User-agent نوشته شوند. این عبارت نشان می‌دهد که شما کدام یک از ربات های خزنده در اینترنت را غرض قرار گرفته ایید تا به آن امر بدهید. بعداز تایپ کردن عبارت User-agent و قرا دادن دو نقطه در جلوی آن، اسم رباتی که می‌خواهید به آن فرمان بدهید را می نویسید مثلا وقتی که بخواهیم به ربات گوگل فرمان بدهیم از عبارت User-agent: googlebot به کارگیری می‌کنیم.
نکته قابل توجه: چنانچه بخواهیم همگی ربات های خزنده اینترنت را مقصود قرار دهید کافی میباشد یک * در جلوی عبارت در اختیار بگذاریم. به‌این شکل: User-agent: *

مطالب دارای ارتباط: میزبانی اینترنت و تاثیر آن بر seo
امر Allow و Disallow
دستورها پوشه robots.txt

بعد از مشخص و معلوم کردن ربات مقصود می بایست دستورها مایحتاج را به آن ها بدهید. درین امرها به ربات ها میگویید که کدام یک از صفحه های شما اذن ایندکس شدن دارا هستند یا این که ندارند. برای اذن دادن به خزش بوسیله ربات متبوع از دستورAllow و برای پرهیز از خزش از امر Disallow به کار گیری میشود. بعداز تایپ کردن یکی این دو عبارت و قرار دادن دو نقطه : در جلوی آن می بایست ورقه و یا این که دسته صفحاتی که قصد اعمال کردن امر به آنان را دارید وارد می‌کنید. برای وارد کردن این قسمت نیازی وجود ندارد مجموع نشانی url برگه را تایپ فرمائید. صرفا از نصیب / به آنگاه وارد فرمائید و دامنه را وارد نکنید. تحت عنوان در شرایطی‌که صفحه های ادمین وبسایت شما کلیه با پارامتر admin درurl معین گردیده اند یعنی به طور www. example.com/admin می باشند برای خودداری از ایندکس گردیده آن از امر تحت به کار گیری میکنیم:
User-agent: *
Disallow: /admin/
و برای اذن دادن ایندکس شدن صفخات کافیست طبق همین امر از عبارت Allow به کار گیری فرمایید.
صفحاتی که در‌این پوشه از ایندکس ان ها دوری میکنید را در وبسایت مپ قرار ندهید.
کلیه مورد ها و دسته صفحه ها ما یحتاج را طبق فرمان های بیان شده در یک فولدر متنی با اسم robots.txt ذخیره نمائید و در وبسایت آپلود نمائید.

مطالب دارای ارتباط: شناخت با اسکیما برند آپ
قرار دادن robots.txt در سرچ کنسول گوگل
بعد از کامل شدن پوشه و قرار دادن در وب سایت می بایست از سرچ کنسول گوگل نیز تغییرات را اعمال فرمائید. برای این عمل بایستی نصیب robots.txt tester را در سرچ کنسول وبسایت خویش که در سرچ کنسول ورژن سابق جای‌دارد پیدا نمائید. در صورتی نتوانستید در سرچ کنسول به‌این قسمت دسترسی پییدا فرمایید با سرچ کردن تیتر همین ابزار در گوگل میتوانید وارد این نصیب شوبد. در یک قسمت به شما اذن تایپ کردن متن داده میشود کل متن پوشه robots.txt را قرار دهید تا گوگل به راحتی اوامر شمارا ببیند. در قسمت آزمایش نیز می‌توانید url های وبسایت را آزمایش فرمایید تا مشاهده کنید کدام url ها بر روی ربات های گوگل بسته گردیده اند.
پوشه robots.txt از موردها حساس برای seo تارنما شماست بنابرین برای ساخت دستورها در آن اعتنا فرمایید. در شرایطی‌که به غلط صفحه ها اساسی وب سایت خویش را ببندید ممکن میباشد تمام سئوی شما مبتلا اختلال گردد و مرتبه های خویش را از دست بدهید.