Khai báo file Robots.txt giúp website bạn có số má cao trong bộ máy tìm kiếm

Khi một search engine tìm đến (nguyên văn Crawler) Website nào đó, nó sẽ tìm một file đặc biệt trước tiên, đó là file robots.txt. File robots.txt cho search engine đó biết rằng, Website này có thể index hoặc không (tùy theo lệnh được viết trong file robots.txt).
Ví dụ:
User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/
 ----------------------------------------
User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
 ----------------------------------------
User-agent: Googlebot-Image
Disallow: / 
Disallow: /images/mymugshot.jpg

+Phải chắc chắn các mệnh đề, từ sử dụng trong lệnh là đúng. Ví dụ  thư mục là "image" (viết thường), nhưng khí vào lệnh, bạn lại viết là "Image" (Viết hoa chữ I) thì các spider sẽ không hiểu. Nói chung phải chính xác tuyệt đối. Xem thêm ở search engine of google để biết nhiều hơn.

Nhận xét

Đăng nhận xét

Bài đăng phổ biến từ blog này

dung lượng RAM lớn nhất mà HĐH cấu trúc 32-bit nhận được

Hình ảnh
dung lượng RAM lớn nhất mà HĐH cấu trúc 32-bit nhận được 1Gb =1024MB 1Mb=1024Kb 1Kb=1024byte 1byte=8bit Như vậy 1Gb ram sẽ có chứa số bit là 2^10 x 2^10 x 2^10 x 2^3 = 2^33 bit. 4Gb ram sẽ là 2^2 x 2^33 = 2^35 bit. Vậy với 4Gb ram sẽ có 2^35 địa chỉ ô nhớ . Trong khi đó win 32 bit chỉ hỗ trợ max là 2^32 bit địa chỉ ô nhớ. Chính vì sự chênh lệch này mà nó sẽ ko thể nhận đủ 4Gb ram khi hoat động. Win 64bit thì support vô tư vì nó có thể xử lí được đến 2^64 địa chỉ ô nhớ Due to fallout from a recent computer catastrophe at work, I had the opportunity to salvage 2 GB of memory. I installed the memory in my work box, which brings it up to 4 gigabytes of RAM-- 4,096 megabytes in total. But that's not what I saw in System Information: Only 3,454 megabytes. Dude, where's my 4 gigabytes of RAM? The screenshot itself provides a fairly obvious hint why this is happening: 32-bit Operating System . In any 32-bit operating system, the virtual address space is limited, by definiti...
Đọc thêm

Ký tự viết tắt trong chat & email

AAK Alive And Kicking AAR At Any Rate AAS Alive And Smiling ADN Any Day Now AFAIK As Far As I Know AFK Away From the Keyboard AFN that's All For Now AOTA All Of The Above a/s/l or asl Age/Sex/Location - (used to ask a chatter their personal information) AV Avatar - Graphical representation (a picture) often used in chat rooms to depict a person that is in the room and chatting. b4 Before BAK Back At Keyboard (I'm back) BBL Be Back Later BBS Be Back Soon BCNU I'll Be Seeing You. b/f Boyfriend (also shown as bf, B/F, or BF) BEG Big Evil Grin BFN Bye For Now BMA Bite My A** (became popular with the Simpson's cartoon show) boot To get kicked out of a chat room, or have to restart the computer because you couldn't talk in the chat room anymore. BR Best Regards BRB Be Right Back BRH Be Right Here BSEG Big S**t Eatin Grin BTA But Then Again.... BTW By The Way btw BeTWeen you and me ... chat room A web page where peopl...
Đọc thêm

Ubuntu LAMP Server

Get this content from link http://www.zaphu.com/2007/08/07/ubuntu-lamp-server-setup-guide-with-desktop-gui/ Step 1: Install Ubuntu Server Edition with LAMP server components. Download the disk image (*iso) for Ubuntu Server Edition (currently version 8.04 Hardy Heron) and burn it to a CD. Ensure that your BIOS is configured to boot from the CD-ROM drive. Restart with the Ubuntu disk in the drive and the machine should boot into the Ubuntu installation shell. If you would like to configure a static IP address, select F6 - Other Options and enter netcfg/disable_dhcp=true at the end of the options string, and the install script will prompt you for network information during the installation. Otherwise, the static IP must be configured post installation as per the second part of step 2 below, and your network will be automatically configured using DHCP (as long as DHCP is enabled on your router). In either scenario, you must enter a hostname when prompted. As you work through the installat...
Đọc thêm