Conţinut
- Definiție - Ce înseamnă Spider?
- O introducere în Microsoft Azure și Microsoft Cloud | În acest ghid, veți afla despre ce este vorba despre cloud computing și despre cum Microsoft Azure vă poate ajuta să migrați și să conduceți afacerea din cloud.
- Techopedia explică Spider
Definiție - Ce înseamnă Spider?
În conținutul internetului, un păianjen este un software specializat conceput pentru a crawlea și a răsfoi sistematic pe World Wide Web, de obicei în scopul indexării paginilor Web, pentru a le oferi drept rezultate de căutare pentru interogările de căutare ale utilizatorilor. Cel mai cunoscut dintre astfel de păianjeni este crawler-ul principal Googlebot, Googles, care ajută la asigurarea returnării rezultatelor relevante pentru interogările de căutare.
Păianjenii sunt, de asemenea, cunoscuți sub numele de crawlere web, roboți de căutare sau pur și simplu bot.
O introducere în Microsoft Azure și Microsoft Cloud | În acest ghid, veți afla despre ce este vorba despre cloud computing și despre cum Microsoft Azure vă poate ajuta să migrați și să conduceți afacerea din cloud.
Techopedia explică Spider
Un păianjen este, în esență, un program folosit pentru recoltarea informațiilor de pe World Wide Web. Se glisează prin paginile site-urilor web extrăgând informații și indexându-le pentru o utilizare ulterioară, de obicei pentru rezultatele motorului de căutare. Păianjenul vizitează site-urile și paginile lor prin diferitele link-uri către și dinspre pagini, astfel încât o pagină fără un singur link care va merge la ea va fi dificil de indexat și poate fi clasată într-adevăr scăzută pe pagina rezultatelor căutării. Și dacă există o mulțime de link-uri îndreptate către o pagină, aceasta ar însemna că pagina este populară și ar apărea mai sus în rezultatele căutării.
Pașii implicați în ramparea web:
- Păianjenul găsește un site și începe să își croiască paginile.
- Păianjenul indexează cuvintele și conținutul site-ului.
- Păianjenul vizitează linkurile găsite pe site.
Păianjenii sau browserele web sunt doar programe și, ca atare, respectă regulile sistematice stabilite de programatori. Proprietarii de site-uri web pot intra de asemenea în această situație, spunându-i păianjenului ce porțiuni ale site-ului trebuie să indice și care nu. Acest lucru se realizează prin crearea unui fișier "robots.txt" care conține instrucțiuni pentru păianjen cu privire la ce porțiuni de indexat și link-uri care trebuie urmate și care ar trebui să le ignore. Cele mai semnificative păianjeni de acolo sunt cele deținute de motoarele de căutare majore, precum Google, Bing și Yahoo, și cele destinate mineritului și cercetării datelor, dar există și câteva păianjeni rău intenționate scrise pentru a găsi și colecta s pentru ca utilizatorul să vândă publicității. companii sau pentru a găsi vulnerabilități în securitatea Web.