Naon Mapay a? alat Mapay "Yandex" na Google

Saban poé aya dina Internet aya jumlah badag bahan anyar pikeun nyieun website diropéa kaca web heubeul, unggah poto sareng video Anjeun. Tanpa disumputkeun ti mesin pencari teu bisa kapanggih dina World Wide Web, euweuh dokumén ieu. Alternatif kawas program robotic iraha wae dibikeun teu aya. Naon téh robot pilarian, naha anjeun perlu eta na kumaha beroperasi?

Naon téh robot pilarian

situs Mapay (search engine) - eta mangrupa program otomatis nu geus bisa nganjang ka jutaan kaca web, gancang nganapigasi ngaliwatan internet tanpa intervensi operator. Bot nu terus scan spasi tina World Wide Web, nyungsi kaca web anyar jeung rutin didatangan acan saestuna. Ngaran séjén keur web crawlers spiders, crawlers, bot.

Naha spiders search engine

Fungsi utama anu ngalakukeun spiders pilarian engine - kaca web saestuna, kitu ogé téks, gambar, audio jeung payil video anu di aranjeunna. Bot pariksa rujukan, loka eunteung (salinan) jeung apdet. The robot ogé nedunan kontrol HTML-kode keur standar Conformity of Organisasi Dunya, nu tumuwuh tur implements standar téhnologis keur World Wide Web.

Naon indexing, sarta naha eta diperlukeun

Indexing - ieu, dina kanyataanana, aya prosés ngadatangan hiji kaca web kucara mesin pencari. program nu nyeken téks dina situs ieu, gambar, vidéo, Tumbu outbound, teras kaca nembongan dina hasil teangan. Dina sababaraha kasus, loka teu bisa discan otomatis, mangka bisa ditambahkeun kana search engine sacara manual webmaster. Ilaharna, ieu lumangsung dina henteuna of Tumbu éksternal ka kaca husus (mindeng ukur nembe dijieun).

Kumaha spiders engine milarian

Unggal search engine boga bot sorangan jeung robot pilarian Google bisa rupa-rupa nyata nurutkeun mekanisme di jalan dina program nu sarupa, "Yandex" atawa sistem lianna.

Sacara umum, hiji prinsip gawé robot téh saperti kieu: program "asalna" dina situs jeung tumbu kaluar tina kaca utama, "berbunyi" Web sumberdaya (kaasup jelema pilari overhead anu teu tingali pamaké). Kapal téh kumaha carana napigasi antara Kaca loka sarta ngaléngkah ka batur.

program bakal milih nu loka pikeun indéks? Beuki sering ti moal "lalampahan" lancah nu dimimitian ku loka warta atanapi directories sumberdaya utama na aggregators kalawan beurat rujukan badag. Mapay terus nyeken kaca hiji-hiji, dina laju jeung konsistensi of indexing faktor di handap:

• Internal: perelinovka (tumbu internal antara kaca ti sumberdaya sarua), ukuranana loka, kodeu nu bener, jeung saterusna ramah-pamaké;
• Éksternal: total rujukan beurat, anu ngabalukarkeun loka.

Hal kahiji anu maluruh pilarian robot dina ramatloka wae ku robots.txt. indexing sumberdaya Salajengna anu dipigawé dumasar kana informasi nu narima éta tina dokumen ieu. Ieu koropak ngandung paréntah husus pikeun "spiders" nu bisa ngaronjatkeun Chances kaca kadatangan ku mesin pencari, jeung, konsékuénsina, pikeun ngahontal hiji situs hit mimiti dina "Yandex" atanapi Google.

Program analogs crawlers

Mindeng istilah "pilarian robot" ieu patalina jeung calakan, pamaké atawa ajen otonom, "sireum" atawa "cacing". Immersed béda anu signifikan ukur di ngabandingkeun jeung agén, definisi séjén tingal jenis sarupa ngeunaan robot.

Contona, agén tiasa:

• intelektual: program, nu dipindahkeun ti loka pikeun loka, sacara mandiri mutuskeun kumaha lumangsungna; aranjeunna henteu pisan umum dina Internét;
• Otonom: agén ieu mantuan pamaké dina milih hiji produk, pilarian, atawa ngeusian kaluar bentuk, nu disebut saringan, nu mangrupakeun saeutik patali ka program jaringan;.
• pamaké: program nyumbang kana interaksi pamaké jeung World Wide Web, browser anu (contona, Opera, IE, Google Chrome, Firefox), utusan (Viber, telegram) atawa program e-mail (MS Outlook na Qualcomm).

"Sireum" jeung "cacing" téh leuwih sarupa jeung search engine "spiders". Bentuk munggaran antara jaringan jeung konsistén interaksi kawas koloni sireum kieu, "cacing" téh bisa ngayakeun réplikasi dina ngahormat sejenna sarua jeung Mapay baku.

Rupa robot search engine

Ngabedakeun antara loba rupa crawlers. Gumantung kana Tujuan program nu sipatna:

• "Eunteung" - duplikat keur ngotéktak jaba.
• Mobile - fokus kana versi mobile kaca wéb.
• Gancang - ngalereskeun informasi anyar gancang ku nempo apdet panganyarna.
• Rujukan - indéks rujukan, cacah angka maranéhanana.
• Indexers tipena béda eusi - program husus pikeun téks, audio, video, gambar.
• "Spyware" - pilari kaca nu teu acan ditampilkeun dina search engine.
• "Woodpecker" - périodik didatangan situs mariksa relevansi jeung efisiensi maranéhanana.
• Nasional - ngotéktak sumberdaya Web lokasina di salah sahiji domain nagara (misalna .mobi, atawa .kz .ua).
• Global - indéks sakabeh situs nasional.

Robot mesin pencari utama

Aya ogé sababaraha spiders search engine. Dina tiori, fungsionalitas maranéhanana bisa rupa-rupa, dina prakna nu program anu ampir sarua. Bedana utama indexing kaca web robot dua mesin pencari utama nyaéta kieu:

• The stringency of nguji. Hal ieu dipercaya yén mékanisme Mapay "Yandex" perkiraan rada stricter situs keur patuh kana standar World Wide Web.
• Pelestarian of integritas loka. The indexes Mapay Google sakabeh loka (kaasup eusi media), "Yandex" bisa ogé nempo eusi selektif.
• test speed kaca anyar. Google nambihan sumberdaya anyar dina hasil teangan dina sababaraha poé, dina kasus "ku Yandex" proses butuh dua minggu atawa leuwih.
• Frékuénsi ulang indexing. Mapay "Yandex" pariksa keur apdet dua kali saminggu, sarta Google - salah unggal 14 poé.

Internét, tangtosna, moal dugi ka dua mesin pencari. mesin pencari séjén boga robot maranéhanana anu nuturkeun parameter indexing sorangan. Sajaba ti éta, aya sababaraha "spiders" nu dirancang daya teu utama pilarian, sarta tim individu atawa webmasters.

misconceptions umum

Sabalikna mun kapercayaan popular, "spiders" ulah ngolah informasi. program hijina nyeken tur nyimpen kaca web jeung ngolah salajengna nyokot robot lengkep béda.

Ogé, loba nu yakin yén spiders search engine boga dampak negatif na "ngabahayakeun" Internet. Malah sababaraha versi ngeunaan "spiders" nyata bisa overload server. Aya ogé faktor manusa - anu webmaster, anu dijieun program, bisa nyieun kasalahan dina konfigurasi robot. Acan paling sahiji program aya nu dirancang ogé sarta junun professionally, sarta naon baé masalah munculna promptly dihapus.

Kumaha carana ngatur indexing nu

robot search engine nu program otomatis, tapi proses indexing bisa sawaréh dikawasa ku webmaster nu. Ieu greatly mantuan éksternal na optimasi internal tina sumberdaya nu. Tambahanana, Anjeun sacara manual bisa nambahkeun situs anyar ka search engine: daya badag boga formulir husus tina pendaptaran kaca Wéb.