هنگامیکه robot ها و یا یک برنامه گردشگر دیگر بطور اتوماتیک گردش خود را شروع میکند، به محض یافتن یک سایت جدید در وب ابتدا به سراغ فایلی بنام robots.txt میگردد، سپس مطالب قسمت HEAD و بدنبال آن اطلاعات …
هنگامیکه robot ها و یا یک برنامه گردشگر دیگر بطور اتوماتیک گردش خود را شروع میکند، به محض یافتن یک سایت جدید در وب ابتدا به سراغ فایلی بنام robots.txt میگردد، سپس مطالب قسمت HEAD و بدنبال آن اطلاعات نوشته شده در متاتگها را جمع آوری میکند و پس از یک پردازش دقیق با استفاده از یک الگوریتم مخصوص، صفحات را در پایگاه داده ای خود ذخیره و لیست میکند.
نظر شما چیست؟
لیست نظرات
نظری ثبت نشده است