Kif tneħħi sit jew frammenti tagħha mill-indiċi Google

Skond il-kunċett indiċjar adottata mill-Google, ammontaw għal kompletezza, oġġettività tat-tagħrif u l-konformità tiegħu mal-mistoqsija tfittxija fil-ħruġ tar-riżultati. Jekk l-indiċi taqa websajt b'kontenut illegali, jew riżors għall-ispam, il-paġni ta 'dan is-sit mhux se tkun immarkata fil-search engine komuni database. Lilna huwa importanti li titgħallem kif tneħħi sit mill-ħruġ tar-riżultati tal-server tfittxija.

Varjanti ta 'indiċjar Google żero

Ladarba l-robot tfittxija - programm biex jiġbru informazzjoni dwar ir-riżorsi ġodda - se skennjati l-paġna sit billi paġna, mbagħad, meta taħt ħtiġiet tal-politika Google għal parsing, se jiġu indiċjati. Iżda aħna wkoll juru kif tneħħi sit tiegħek jew frammenti għall-magni tat-tiftix permezz ta 'robots.txt inti - indiċi u tfittxija fl-istess ħin waqfien.

Li teskludi mill-ħruġ tar-riżorsa kollha kemm hi, fil-folder għerq tal-server li fuqu jinsab is-sit, joħloq ċerta żona test - qal robots.txt. Din iż-żona huwa ttrattat bl-search engines u jaġixxu skond l-istruzzjonijiet jinqara.

Wieħed iżomm f'moħħu li l-indiċi search engine Google il paġna, anki jekk utent ikollu aċċess għall iħarsu lejn pprojbiti. Meta l-browser jirrispondi 401 jew 403 "L-aċċess huwa invalidu", dan japplika biss għall-viżitaturi, aktar milli programmi li jiġbru għal dan search engine.

Biex tifhem kif tneħħi l-post minn indiċjar search engine, test pointer irid idaħħal lill-linji li ġejjin:

Utent aġent: Googlebot

Tippermettix: /

Dan jindika li l-tkaxkir għall-indiċi tal-projbizzjoni ta 'kull kontenut fuq is-sit. Hawn kif tneħħi sit Google, b'tali mod li din tal-aħħar ma cache-riżorsa fil-lista ta skoperti.

Embodiments ta skanjar għal protokolli differenti

Jekk għandek bżonn li lista istandards ta 'komunikazzjoni individwali, li għalihom inti tixtieq li tapplika regoli speċjali għall indiċjar Google, per eżempju, separatament għal Portugues protokolli http / https, huwa wkoll meħtieġ li jirreġistraw fil-robots.txt fil-mod li ġej (eżempju).

(Http://yourserver.com/robots.txt) - isem ta 'dominju tas-sit tiegħek (xi)

Utent aġent: * - kwalunkwe search engine

Ħalli: / - jippermetti indiċjar sħiħa

Kif tneħħi sit mill-ħruġ kompletament għall-protokoll https

(Https://yourserver.com/robots.txt):

Utent aġent: *

Tippermettix: / interdizzjoni sħiħa dwar indiċjar

Mħaffa indirizzi riżorsi URL- tneħħija mill-Google SERPs

Jekk inti ma tridx li tistenna għal-indiċjar mill-ġdid, u s-sit inti tixtieq li jaħbu simili, nirrakkomanda li jużaw il-http://services.google.com/urlconsole/controller servizz jista 'jkun malajr. robots.txt pre għandha titqiegħed fid-direttorju għerq tal-server sit. Għandu jkun preskritt struzzjonijiet xierqa.

Jekk il-pointer għal xi raġuni ma tistax tiġi editjat fid-direttorju għerq, joħolqu dan biżżejjed fil-folder mal-miri li għalihom inti tixtieq li jaħbu mill-magni tat-tiftix. Ladarba inti tagħmel dan u jirreferu għas-servizz awtomatikament tneħħi l-indirizzi Portugues, Google mhux se scan folders li mfissra difett fil-robots.txt.

Il-perjodu ta 'dan inviżibbiltà huwa stabbilit għal 3 xhur. Wara dan il-perjodu, id-direttorju rtirati mis kwistjoni, għal darb'oħra se tiġi pproċessata mill-Google server.

ow H tneħħi sit biex scan parzjalment

Meta bot tfittxija taqra l-kontenut ta 'robots.txt, li ċerti deċiżjonijiet huma magħmula fuq il-bażi tal-kontenut tagħha. Ejja ngħidu li inti tixtieq li teskludi milli juri l-direttorju kollu imsejħa anatom. Huwa biżżejjed li jippreskrivi dawk ir-regolamenti:

Utent aġent: Googlebot

Tippermettix: / anatom

Jew, per eżempju, inti tixtieq li ma indiċi tipi kollha immaġni gif. Biex tagħmel dan, żid il-lista li ġejja:

Utent aġent: Googlebot

Tippermettix: /*.gif$

Hawn eżempju ieħor. Ħallihom jitħassru mill parsing informazzjoni fuq il-paġni ġġenerati dinamiku, filwaqt li jżid it-tip entrata indiċi:

Utent aġent: Googlebot

Tippermettix: / *?

Dan huwa madwar, u tispjega r-regoli għall-magni tat-tiftix. Ħaġa oħra hija li huwa ħafna aktar konvenjenti għall-użu biss dan il-tikketta META. U webmasters spiss jużaw biss tali standard li jirregola l-operat ta 'search engines. Iżda aħna ser tiddiskuti dan fl-artikoli futur.