Semalt: Darodar Robots.txt ကိုဘယ်လိုပိတ်ဆို့မလဲ

Robots.txt file သည်ပုံမှန် text file တစ်ခုဖြစ်ပြီး web crawlers (သို့) bot များသည် site တစ်ခုကိုမည်သို့ crawl လုပ်ရန်ညွှန်ကြားချက်များပါ ၀ င်သည်။ ၄ င်းတို့ရဲ့အသုံးချမှုကိုကောင်းမွန်တဲ့ဝက်ဘ်ဆိုက်များစွာမှာတွေ့ရလေ့ရှိတဲ့ ရှာဖွေရေးအင်ဂျင် bot တွေမှာတွေ့နိုင်တယ်။ Robots Exclusion Protocol (REP) ၏တစ်စိတ်တစ်ပိုင်းအနေဖြင့် robots.txt ဖိုင်သည်ဝက်ဘ်ဆိုက်အကြောင်းအရာများကိုအညွှန်းကိန်းများနှင့်အသုံးပြုသူတောင်းဆိုမှုများကိုမှန်ကန်ကြောင်းအတည်ပြုရန်ဆာဗာကိုခွင့်ပြုသည်။

Julalt Vashneva, Semalt Senior Customer Success Manager, ကဆက်သွယ်မှုသည်သင်၏နယ်ပယ်အတွင်းရှိအခြားဒိုမိန်းများမှအသွားအလာများရရှိခြင်းပါ ၀ င်သည့် Search Engine Optimization (SEO) ၏ရှုထောင့်တစ်ခုဖြစ်ကြောင်းရှင်းပြသည်။ link сокကိုလွှဲပြောင်းရန် "လိုက်နာသော" link များအနေဖြင့်သင်၏ site နှင့် server ကို server နှင့်အပြန်အလှန်ဆက်သွယ်မှုကိုလမ်းညွှန်သူအဖြစ်ဆောင်ရွက်ရန်နေရာထားရှိသည့်သင်၏ site ပေါ်တွင် robots.txt ဖိုင်ထည့်သွင်းရန်မရှိမဖြစ်လိုအပ်သည်။ ဒီ archive မှအချို့သောအသုံးပြုသူအေးဂျင့်များ၏ပြုမူပုံကိုခွင့်ပြုခြင်း (သို့) တားခြင်းအားဖြင့်ညွှန်ကြားချက်များကိုတင်ပြသည်။

robots.txt ဖိုင်၏အခြေခံပုံစံ

robots.txt ဖိုင်တွင်မရှိမဖြစ်လိုအပ်သောလိုင်းနှစ်ခုပါဝင်သည်။

အသုံးပြုသူ - အေးဂျင့် - [အသုံးပြုသူ - ကိုယ်စားလှယ်အမည်]

ခွင့်မပြုပါ။

robots.txt ဖိုင်အပြည့်အစုံတွင်၎င်းလိုင်းနှစ်ခုပါ ၀ င်သင့်သည်။ သို့သော်၎င်းတို့ထဲမှအချို့သည် user-agent နှင့်ညွှန်ကြားချက်များလိုင်းများစွာပါ ၀ င်နိုင်သည်။ ဤအမိန့်များတွင်ခွင့်ပြုခြင်း၊ တားမြစ်ခြင်းသို့မဟုတ်တွားတွန့်ဆုတ်ခြင်းစသည့်ကဏ္aspectsများပါ ၀ င်နိုင်သည်။ တစ်ခုချင်းစီကိုညွှန်ကြားချက်အစုကိုခွဲခြားသောလိုင်းချိုးများသောအားဖြင့်ရှိပါတယ်။ ခွင့်ပြုခြင်းသို့မဟုတ်တားမြစ်ခြင်းတစ်ခုချင်းစီကိုအထူးသဖြင့် robots.txt အတွက်မျဉ်းကြောင်းများစွာခွဲခြားခြင်းဖြင့်ခွဲခြားထားသည်။

ဥပမာများ

ဥပမာအားဖြင့် robots.txt ဖိုင်တွင်အောက်ဖော်ပြပါကုဒ်များပါ ၀ င်နိုင်သည်။

အသုံးပြုသူကိုယ်စားလှယ် - darodar

Displow: / plugin ကို

Disallow: / API

တားမြစ်သည် / _comments

ဤကိစ္စတွင်ဤသည်မှာ robodar.txt ဖိုင်ပိတ်ဆို့မှုတစ်ခုဖြစ်ပြီးသင်၏ဝဘ်ဆိုက်သို့ဝင်ရောက်ရန် Darodar ဝက်ဘ်ရှာဖွေသူအားကန့်သတ်ထားသည်။ အပေါ်က syntax တွင် website သည် plugins, API နှင့် comments section စသည်တို့ကိုပိတ်ဆို့ထားသည်။ ဤဗဟုသုတဖြင့်စက်ရုပ်၏စာသားဖိုင်ကိုထိထိရောက်ရောက်အကောင်အထည်ဖော်ခြင်းမှအကျိုးများစွာရရှိနိုင်ပါသည်။ Robots.txt ဖိုင်များသည်လုပ်ဆောင်ချက်များစွာကိုလုပ်ဆောင်နိုင်သည်။ ဥပမာအားဖြင့်၊

၁။ ဝဘ်ဆိုက်ရှာဖွေသူများအားဝက်ဘ်ဆိုက်စာမျက်နှာတစ်ခုသို့ခွင့်ပြုပါ။ ဥပမာအားဖြင့်;

အသုံးပြုသူကိုယ်စားလှယ် - *

တားမြစ်သည် -

ဤကိစ္စတွင် ၀ ဘ်ဆိုဒ်တစ်ခုသို့ ၀ င်ရောက်ရန်တောင်းခံသည့်မည်သည့်ဝဘ်ဆိုက်မှမဆိုအသုံးပြုသူအကြောင်းအရာအားလုံးကိုကြည့်ရှုနိုင်သည်။

သတ်သတ်မှတ်မှတ်ဖိုင်တွဲတစ်ခုမှတိကျသောဝဘ်အကြောင်းအရာများကိုပိတ်ပါ။ ဥပမာ;

အသုံးပြုသူ - Googlebot

Disallow: / example-subfolder /

ဂူဂယ်လ်ဘော့တွင်အသုံးပြုသူ - ကိုယ်စားလှယ်အမည်ပါသောဤ syntax သည် Google ဖြစ်သည်။ www.ourexample.com/example-subfolder/ ရှိမည်သည့်ဝဘ်စာမျက်နှာကိုမဆို ၀ င်ရောက်ခြင်းကို bot ကတားမြစ်သည်။

တိကျသောဝဘ်စာမျက်နှာတစ်ခုမှတိကျသောဝဘ်ရှာဖွေစက်ကိုပိတ်ထားပါ။ ဥပမာ;

အသုံးပြုသူ - ကိုယ်စားလှယ် Bingbot

တားမြစ်သည်။ /example-subfolder/blocked-page.html

အသုံးပြုသူ - Bing bot သည် Bing ဝဘ်ဆိုဒ်ရှာဖွေခြင်းမှပိုင်ဆိုင်သည်။ ဤ robots.txt ဖိုင်အမျိုးအစားသည် Bing web crawler အား www.ourexample.com/example-subfolder/blocked-page နှင့်သက်ဆိုင်သောစာမျက်နှာတစ်ခုသို့ ၀ င်ရောက်ခြင်းကိုတားမြစ်သည်။

အရေးကြီးသောသတင်းအချက်အလက်

• အသုံးပြုသူတိုင်းသည်သင်၏ robts.txt ဖိုင်ကိုအသုံးပြုသည်မဟုတ်ပါ။ အသုံးပြုသူများသည်၎င်းကိုလျစ်လျူရှုရန်ဆုံးဖြတ်နိုင်သည်။ ထိုကဲ့သို့သော web crawlers အများစုမှာ Trojan များနှင့် malware များပါဝင်သည်။
• Robots.txt ဖိုင်ကိုမြင်နိုင်ရန်အတွက်၎င်းသည်ထိပ်ပိုင်းဝက်ဘ်ဆိုက်လမ်းညွှန်တွင်တွေ့နိုင်သည်။
• "robots.txt" အက္ခရာများသည်စာလုံးအကြီးအသေးအရေးကြီးသည်။ ရလဒ်အနေနှင့်သင်သည်အချို့သောရှုထောင့်များ၏အရင်းအနှီးအပါအဝင်မည်သည့်နည်းနှင့်မျှမပြောင်းလဲသင့်ပါ။
• "/robots.txt" သည်အများပိုင်ဖြစ်သည်။ မည်သူမဆိုမည်သည့် URL မဆိုပါ ၀ င်သောအရာများကိုထည့်ခြင်းဖြင့်၎င်းအချက်အလက်များကိုရှာတွေ့နိုင်သည်။ သင်သူတို့ကိုသီးသန့်ထားစေလိုသည့်မရှိမဖြစ်လိုအပ်သောအသေးစိတ်အချက်အလက်များသို့မဟုတ်စာမျက်နှာများကိုမဖော်ပြသင့်ပါ။