سنتعرف في هذا الموضوع عن كيفية انشاء ملف Robots.txt مخصص لمدونات بلوجر وكيفية تصدر محركات البحث بالطرق الصحيحة .
يقوم في البداية بالتحقق من http://www.taqani-news.com/robots.txt ، ويعثر على:
User-agent: *
Disallow: /
فهم الأوامر الموجودة في هذا الملف :
The "User-agent: *"
يعني في هذا القسم أنه ينطبق على جميع الروبوتات.
"Disallow: /"
وهذا يخبرالروبوتات أنه لا يجب زيارة أي صفحات على الموقع.
Sitemap:https://www.taqani-news.com/atom.xml?redirect=false&start-index=1&max-results=500
وهذا أمر خاص بخريطة الموقع التي ستقوم برامج الربورت بتصفحها
سنقوم بإنشاء خريطة الموقع وتعرف بـ Sitemap
سنذهب للموقع التالي :
http://ctrlq.org/blogger/
ومن ثم لصق رابط مدونتك أو موقعك في المربع الظاهر ومن ثم تضغط على
Generate Sitemap
سوف يظهر ملف ال SiteMap بعدها , بعدها عليك التحقق منه واضافة الجزء الخاص باعلانات أدسنس حتى يصبح الملف جاهزاً وكاملاً كالتالي :
(يمكنك نسخ هذا الكود التالي جاهز عليك فقط استبدل الرابط الموجود بالكود برابط موقعك )
 |
| كيفية انشاء ملف Robots.txt لبلوجر |
User-agent: *
Disallow: /
فهم الأوامر الموجودة في هذا الملف :
The "User-agent: *"
يعني في هذا القسم أنه ينطبق على جميع الروبوتات.
"Disallow: /"
وهذا يخبرالروبوتات أنه لا يجب زيارة أي صفحات على الموقع.
Sitemap:https://www.taqani-news.com/atom.xml?redirect=false&start-index=1&max-results=500
وهذا أمر خاص بخريطة الموقع التي ستقوم برامج الربورت بتصفحها
سنقوم بإنشاء خريطة الموقع وتعرف بـ Sitemap
سنذهب للموقع التالي :
http://ctrlq.org/blogger/
ومن ثم لصق رابط مدونتك أو موقعك في المربع الظاهر ومن ثم تضغط على
Generate Sitemap
سوف يظهر ملف ال SiteMap بعدها , بعدها عليك التحقق منه واضافة الجزء الخاص باعلانات أدسنس حتى يصبح الملف جاهزاً وكاملاً كالتالي :
(يمكنك نسخ هذا الكود التالي جاهز عليك فقط استبدل الرابط الموجود بالكود برابط موقعك )
---------------------------------------------------------------------------------
User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /
Sitemap:https://Example.com/atom.xml?redirect=false&start-index=1&max-results=500
---------------------------------------------------------------------------------
ملاحظة هامة :
ملف robots.txt متاح للجمهور, ويمكن لأي شخص النظر على أقسام الخادم التي لا تريد أن يستخدمها الروبوت. لذلك حاول عدم استخدام robots.txt لإخفاء المعلومات.