چگونه صفحات در پایگاه داده ای Database  لیست میشود؟

هنگامیکه robot ها و یا یک برنامه گردشگر دیگر بطور اتوماتیک گردش خود را شروع میکند، به محض یافتن یک سایت جدید در وب ابتدا به سراغ فایلی بنام robots.txt میگردد، سپس مطالب قسمت HEAD و بدنبال آن اطلاعات …

هنگامیکه robot ها و یا یک برنامه گردشگر دیگر بطور اتوماتیک گردش خود را شروع میکند، به محض یافتن یک سایت جدید در وب ابتدا به سراغ فایلی بنام robots.txt میگردد، سپس مطالب قسمت HEAD و بدنبال آن اطلاعات نوشته شده در متاتگها را جمع آوری میکند و پس از یک پردازش دقیق با استفاده از یک الگوریتم مخصوص، صفحات را در پایگاه داده ای خود ذخیره و لیست میکند.