• فناوری
  • سرگرمی


❶ساخت آنلاین و سریع و رایگان فایل robots.txt ساختن فایل روبات.TXT برای وبمستر 


نکات کلیدی سئو سایت که بایدبرای یک استارت آپ بکار ببریم
معرفی محبوب ترین بازی مزرعه داری به نام هی دی و بررسی ویژگی های آن
رشد منفی شاخص تولید صنایع برای چهارمین ماه متوالی/علت و راهکار
رد معجزه های قرآن (مقاله کامل) بررسی کامل معجزه قرآن نقد قرآن و اسلام
چگونگی رشد و نمو استخوان ها
سوالات استخدامی مصاحبه دانشگاه افسری و پدافند و نیروی دریایی
نقش اَبَر سیاهچاله‌ها در شکل‌گیری کهکشان‌‌ها
پیش به سوی اقتصاد کمونیستی! در عصر انجماد تفکر سیستمی به سر می‌بریم!
انواع چوب و خواص فیزیکی و شیمیایی تمام چوب ها
کاربرد گل گاوزبان و خواص گل گاوزبان در پزشکی و درمان بیماری ها
دانلود تمام سوال های سال سوم دبیرستان ( راهنمایی ) پیام های آسمانی نهم
راهنمای ایجاد ثبت و تولید شناسه در ایرنیک NIC.ir
دکترین سیناترا چیست | لباس شخصی هایی که دست به آشوب و آسیب اموال عمومی می‌زنند
بررسی موارد استفاده، عوارض و چیستی قرص پنتوپرازول
لیست مقام ها و کرسی ها و پست های غلامعلی حداد عادل + سمت ها!
آیا فواید خوردن پوست پرتقال را می دانید؟
دستورالعمل تهیه سوسپانسیون و کاربرد و خواص آن ها
جامعه آرمانی سوسياليسم و کمونیست ها | موسی غنی‌نژاد
انیمیشن ساختار موتور موشک ها ، هواپیما ، جت ها و طیاره ها GIF
نقدینگی پایه پولی و ضریب فزاینده در گزارش آبان ۱۴۰۰ بانک مرکزی
جهان هستي علم نجوم دانسنتی های هفت آسمان
گلچین بهترین مداحی محرم عبدالرضا هلالی دانلود عزاداری امام حسین
بانکداری بدون ربا چگونه محقق می‌شود ؟!
پاسخ صادق زیباکلام به وزیربهداشت نهاد رهبری در دانشگاه‌ها
آیا دولت سیزدهم استقراض از بانک مرکزی را متوقف کرده است؟
ویژگی های پلیمر و کاربرد آنها و خواص شیمیایی پلاستیک
کاربرد فیزیک در زندگی چیست (سوال کتاب فیزیک دهم)
افشای اختلاف عمیق روحانی با همتی طعنه همتی به روحانی
دانلود فیلم پایان سفر Journey’s End 2017
الکتریسیته (برق) چیست ؟
فیزیک و کاربرد های فیزیک در زندگی و فناوری
ادعای شاخدار خودرو آبسوز | آیا آبسوز کردن خودرو ممکن است؟
12 خواسته پمپئو وزیر امور خارجه آمریکا از ایران + توضیحات کامل
تداوم محاصرۀ «غزه» باعث تغییر افکار عمومی به‌نفع «فلسطینی‌ها» شده
دانلود سخنرانی صوتی در مورد امام جواد + زندگی نامه کامل
مشخصات نارنگی | خواص کامل فیزیکی و شیمیایی نارنگی
دانلود آهنگ جدید امیر تتلو بنام این دل دیوونه
بیوگرافی مایکل جکسون و همسرش + ناگفته از زندگی شخصی + تجاوز
دانلود رایگان کل مجموعه سریال گلشیفته قسمت 1 تا 12
38 خاصیت مهم «هویج» ، 38 خاصیت هویج + جدول ارزش غذایی
ساخت آنلاین فایل Robots.txt
Create Online File Robots.txt

صفحه اصلی راهنما | مرور راهنما | تماس با واحد پشتیبانی

مطالب مرتبط :





robots.txt
ساخت آنلاین فایل robots.txt


همه ی روبات ها:
مدت بروزرسانی:
آدرس سایت:
نقشه سایت:

شناسایی دستی روبات های معروف جهان

Google   googlebot MSN Search   msnbot
Yahoo   yahoo-slurp Ask/Teoma   teoma
Cuil   twiceler GigaBlast   gigabot
Scrub The Web   scrubby DMOZ Checker   robozilla
Nutch   nutch Alexa/Wayback   ia_archiver
Baidu   baiduspider Naver   naverbot, yeti

Specific Special Bots:

Google Image   googlebot-image Google Mobile   googlebot-mobile
Yahoo MM   yahoo-mmcrawler MSN PicSearch   psbot
SingingFish   asterias Yahoo Blogs   yahoo-blogs/v3.9

پوشه هایی که نمی خواهین ایندکس شود


برای ایندکس نکردن فایل هایی که در یک پوشه قرار دارند
به عبارت دیگر نرفتن سایت ها در نتیجه متور های جستو جو که در یک پوشه قرار دارند
برای مثال در پوشه ای فایل هایی هستند که شما نمی خواهین در نتیجه های متور جستو جو نمایش داده شوند.
مثلا صفحه پنل کاربران سایت که نمی خواهین در نتیجه های گوگل نمایش داده شوند









معرفی فایل robots.txt

امروزه، تعداد بازدید و ترافیک دریافتی هر وب سایت تا مقدار زیادی محتاج موتور های جستجو می باشد. بنابراین برای جذب مشتریان جدید و کسب درامد از طریق وب سایت خود، باید تنظیمات لازمی را جهت معرفی سایت به موتورهای جستجو انجام دهید. این تنظیمات در صورتیکه به درستی انجام نپذیرند نیز می توانند در برخی از مواقع، برای سایت شما مشکل ساز شده و حتی باعث متحمل شدن ضرر مالی برای شما گردند. بنابراین تسلط به راهکار های کنترلی و اعمال محدودیت های لازم در این زمینه یکی از عوامل ضروری برای نگهداری وب سایت می باشد.
به غیر از تنظیمات هر موتور جستجو که با معرفی وب سایت به آن و معمولا از طریق ابزارهای Webmaster همان موتور خاص انجام می پذیرد، پاره ای دیگر از تنظیمات کلی را نیز می تواند به صورت مرکزی در وب سایت خود اعمال نمود، تا با استفاده از آن، مواردی همچون ایندکس شدن وب سایت در یک موتور خاص، ایندکس شدن پوشه هایی خاص و ... را تنظیم نمود.
تمامی موارد فوق الذکر را می توان از طریق قرار دادن فایل متنی ساده ای به نام robots.txt در فضای وب سایت اعمال نمود. مدیران وب سایت با استفاده از این فایل توضیحات لازمی را برای روبات های موتورهای جستجو آماده می کنند که به این توضیخات Robots Exclusion Protocol گفته می شود.
برای مثال فرض کنید که روبات سایت گوگل قصد چک نمودن آدرس وب سایت شما را به آدرس (http://www.natilos.ir) دارد. در صورتیکه شما از قبل فایل robots.txt لازم را در فضای میزبانی خود قرار داده باشید، بنابراین روبات گوگل قبل از رفتن به URL اصلی وب سایت شما به URL فایل مذکور یعنی http://www.natilos.ir/robots.txt رجوع نموده و با عبارت زیر مواجه می گردد:
User-agent: *
Disallow: /



عبارت User-agent: * مشخص می کند که تنظیمات پیش رو در خط های بعدی باید بر روی تمامی روبات ها (از جمله روبات های گوگل، یاهو و بینگ) اعمال شوند. و عبارت Disallow: / اجازه دسترسی هیچ روباتی را به هیچ یک از پوشه ها یا فایلهای مربوطه نمی دهد. بنابراین زمانیکه روبات گوگل نیز با این عبارات مواجه می شود، دیگر آدرس دیگری از سایت را مشاهده و ایندکس نمی کند.

دو نکته قابل ملاحظه در زمان کار با فایل robots.txt وجود دارد:
* برخی از روبات ها، مخصوصا روبات های مخرب (Malware) می توانند فایل robots.txt شما را نادیده بگیرند. برخی از روبات های مخرب از اینکار استفاده کرده تا قادر باشند وب سرور را برای مشاهده ضعف های امنیتی اسکن نمایند و یا آدرس ایمیل های مفید را برای افراد اسپمر جمع آوری کنند.
* فایل robots.txt برای نمایش به عموم آزاد می باشد. بنابراین همه میتوانندتنظیمات اعمال شده توسط شما را در این فایل مشاهده نمایند.
بنابراین بهتر است از این فایل برای مخفی نمودن اطلاعات خود استفاده نکنید.

چگونگی ساخت فایل robots.txt

به سادگی می توانید فایلی با فرمت txt در داخل پوشه روت فضای وب سایت خود ساخته و کدهای مربوطه را داخل آن تایپ نمایید. در ساخت این فایل دقت نمایید که نام آن را تماما با حروف کوچک یعنی robots.txt بنویسید.
فایل robots یک فایل متنی بوده که شامل یک تا چند رکورد می باشد. نمونه کد زیر مثالی از محتویات فایل robots.txt می باشد:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/





در نمونه کد فوق، دایرکتوری های cgi-bin، tmp و همچنین ~joe از لیست فولدرهای قابل ایندکس شدن حذف گردیده و روبات موتور جستجو از پوشه های مذکور صرف نظر می کند.
دقت نمایید که برای خارج نمودن چند فولدر از لیست ایندکسینگ باید هریک را همانند مثال فوق در سطری جداگانه تعریف نمایید و امکان درج آن ها به صورت یکجا یعنی "Disallow: /cgi-bin/ /tmp/" وجود ندارد.
علامت ستاره "*" به معنای تمامی روبات های جستجو گر می باشد.
خارج کردن فولدرهای خاص از لیست ایندکسینگ وب سایت بسته به نوع سرور و وب سایت شما متفاوت می باشد و باید با درنظر گرفتن نکات مختلفی انجام پذیرد. در هر حال در دسترس خارج کردن تمامی پوشه ها از تمامی روبات ها چندان توصیه نمی شود، زیرا با این کار سایت شما دیگر توسط روبات ها ایندکس نشده و در نتایج موتورهای جستجو نیز نمایش داده نمی شود. در ادامه برخی از نمونه کدهای مورد استفاده در فایل robots.txt شرح داده می شود.

ممنوع نمودن تمامی روبات ها از کل وب سایت (یا سرور):
User-agent: *
Disallow: /



دسترسی تمامی روبات ها به تمامی پوشه های وب سایت:
User-agent: *
Disallow:



ممنوع کردن یک روبات خاص از دسترسی به سایت:
User-agent: BadBot
Disallow: /



اعطای دسترسی به یک روبات خاص:
User-agent: Google
Disallow:





  • فناوری
  • سرگرمی

لطفا نظر خود را درباره مطلبی که خوانده‌اید، بنویسید...
نام شریف شما :
آدرس ایمیل:
مطلب :
کپی از مطالب این سایت تنها با ذکر فاتحه رایگان است
مجله تفریحی، سرگرمی و اطلاع رسانی   Natilos.ir © 2024 - 2015
V 9.8