Ce este indexarea site-urilor? Cum se întâmplă? Puteți găsi răspunsuri la aceste și alte întrebări în articol. Indexarea web (indexarea în motoarele de căutare) este procesul de adăugare a informațiilor despre un site în baza de date de către un robot motor de căutare, care este ulterior folosit pentru a căuta informații despre proiectele web care au trecut printr-o astfel de procedură.
Datele despre resursele web constau cel mai adesea în cuvinte cheie, articole, link-uri, documente. Audio, imaginile și așa mai departe pot fi, de asemenea, indexate. Se știe că algoritmul de detectare a cuvintelor cheie depinde de motorul de căutare.
Există anumite limitări privind tipurile de informații indexate (fișiere flash, javascript).
Gestionarea inițierii
Indexarea unui site este un proces complex. Pentru a o gestiona (de exemplu, pentru a interzice atașarea unei anumite pagini), trebuie să utilizați fișierul robots.txt și instrucțiuni precum Permiteți, Interziceți, Întârzierea cu crawlere, Agent utilizator și altele.
De asemenea, etichetele și elementele de recuzită sunt folosite pentru indexare, ascunzând conținutul resursei de roboții Google și Yandex (Yahoo folosește eticheta).
În motorul de căutare Goglle, site-urile noi sunt indexate de la câteva zile la o săptămână, iar în Yandex - de la una la patru săptămâni.
Doriți ca site-ul dvs. să apară în interogările privind rezultatele motorului de căutare? Apoi trebuie procesat de Rambler, Yandex, Google, Yahoo și așa mai departe. Trebuie să informați motoarele de căutare (păianjeni, sisteme) despre existența site-ului dvs. web, iar apoi îl vor accesa cu crawlere în întregime sau parțial.
Multe site-uri nu au fost indexate de ani de zile. Informațiile care se află pe ele nu sunt văzute de nimeni, cu excepția proprietarilor lor.
Metode de procesare
Indexarea unui site se poate face în mai multe moduri:
- Prima opțiune este adăugarea manuală. Trebuie să introduceți datele site-ului dvs. prin intermediul formularelor speciale oferite de motoarele de căutare.
- În al doilea caz, robotul motorului de căutare însuși găsește site-ul dvs. web prin link-uri și îl indexează. El vă poate găsi site-ul prin link-uri din alte resurse care duc la proiectul dumneavoastră. Această metodă este cea mai eficientă. Dacă un motor de căutare găsește un site în acest fel, îl consideră semnificativ.
Timing
Indexarea site-ului nu este prea rapidă. Termenele variază, de la 1-2 săptămâni. Link-urile din resurse autorizate (cu PR și Titz excelente) accelerează semnificativ plasarea site-ului în baza de date a motorului de căutare. Astăzi, Google este considerat cel mai lent, deși până în 2012 ar putea face această treabă într-o săptămână. LaDin păcate, lucrurile se schimbă foarte repede. Se știe că Mail.ru lucrează cu site-uri web în acest domeniu de aproximativ șase luni.
Indexarea unui site în motoarele de căutare nu este posibilă pentru fiecare specialist. Momentul de adăugare a unor noi pagini în baza de date a unui site deja procesat de motoarele de căutare este afectat de frecvența actualizării conținutului acestuia. Dacă pe o resursă apar în mod constant informații proaspete, sistemul le consideră actualizate frecvent și utile oamenilor. În acest caz, munca ei este accelerată.
Puteți urmări progresul indexării unui site web în secțiuni speciale pentru webmasteri sau pe motoarele de căutare.
Modificări
Deci, ne-am dat deja seama cum este indexat site-ul. Trebuie remarcat faptul că bazele de date ale motoarelor de căutare sunt actualizate frecvent. Prin urmare, numărul de pagini din proiectul dvs. adăugate acestora se poate modifica (atât să scadă, cât și să crească) din următoarele motive:
- sancțiuni pentru motorul de căutare împotriva site-ului;
- prezența erorilor pe site;
- schimbarea algoritmilor motorului de căutare;
- hosting dezgustător (inaccesibilitatea serverului pe care se află proiectul) și așa mai departe.
Răspunsuri Yandex la întrebări frecvente
„Yandex” este un motor de căutare folosit de mulți utilizatori. Ocupă locul cinci printre sistemele de căutare din lume în ceea ce privește numărul de solicitări de cercetare procesate. Dacă ați adăugat un site la acesta, este posibil să dureze prea mult pentru a adăuga la baza de date.
Adăugarea unei adrese URL nu garantează indexarea acesteia. Aceasta este doar una dintre metodele prin care i se spune robotului de sistemdespre o nouă resursă. Dacă există puține sau nu există linkuri către un site de pe alte site-uri, adăugarea acestuia vă va ajuta să îl găsiți mai rapid.
Dacă indexarea nu a avut loc, trebuie să verificați dacă au existat erori pe server în momentul creării unei aplicații pentru aceasta de la robotul Yandex. Dacă serverul raportează o eroare, robotul își va încheia activitatea și va încerca să o finalizeze într-o ordine dus-întors. Angajații Yandex nu pot crește viteza de adăugare a paginilor la baza de date a motorului de căutare.
Indexarea unui site în Yandex este o sarcină destul de dificilă. Nu știți cum să adăugați o resursă la un motor de căutare? Dacă există link-uri către acesta de pe alte site-uri web, atunci nu trebuie să adăugați un site special - robotul îl va găsi automat și îl va indexa. Dacă nu aveți astfel de linkuri, puteți utiliza formularul „Adăugați URL” pentru a spune motorului de căutare că site-ul există.
Rețineți că adăugarea unei adrese URL nu garantează că creația dvs. va fi indexată (sau indexată).
Mulți oameni se întreabă cât timp durează indexarea unui site în Yandex. Angajații acestei companii nu oferă garanții și nu prevăd termeni. De regulă, de când robotul a aflat despre site, paginile sale în căutare apar în două zile, uneori în câteva săptămâni.
Proces
„Yandex” este un motor de căutare care necesită acuratețe și atenție. Indexarea site-ului constă din trei părți:
- Robotul de căutare accesează cu crawlere paginile de resurse.
- Conținut(conținutul) site-ului este înregistrat în baza de date (index) a sistemului de căutare.
- În 2-4 săptămâni, după actualizarea bazei de date, puteți vedea rezultatele. Site-ul dvs. va apărea (sau nu) în rezultatele căutării.
Verificare de indexare
Cum se verifică indexarea site-ului? Există trei moduri de a face acest lucru:
- Introduceți numele companiei dvs. în bara de căutare (de exemplu, „Yandex”) și verificați fiecare link de pe prima și a doua pagină. Dacă găsiți acolo adresa URL a creației dvs., atunci robotul și-a finalizat sarcina.
- Puteți introduce adresa URL a site-ului dvs. în bara de căutare. Veți putea vedea câte foi de internet sunt afișate, adică indexate.
- Înregistrați-vă pe paginile webmasterilor din Mail.ru, Google, Yandex. După ce treceți de verificarea site-ului, veți putea vedea rezultatele indexării și alte servicii ale motoarelor de căutare create pentru a îmbunătăți performanța resursei dvs.
De ce eșuează Yandex?
Indexarea unui site în Google se realizează astfel: robotul introduce în baza de date toate paginile site-ului, de calitate scăzută și de în altă calitate, fără a selecta. Dar doar documentele utile sunt incluse în clasament. Și „Yandex” exclude imediat toate gunoiul web. Poate indexa orice pagină, dar motorul de căutare va elimina în cele din urmă tot gunoiul.
Ambele sisteme au un index incremental. Ambele pagini de calitate scăzută afectează clasamentul site-ului web în ansamblu. Există o filozofie simplă la lucru aici. Resursele preferate ale unui anumitutilizatorul va ocupa pozitii superioare in emiterea sa. Dar aceeași persoană va avea greu să găsească un site care nu i-a plăcut data trecută.
De aceea, în primul rând, este necesar să acoperiți copiile documentelor web de la indexare, să verificați dacă există pagini goale și să împiedicați indexarea conținutului de calitate scăzută.
Accelerează Yandex
Cum pot accelera indexarea site-urilor în Yandex? Urmați acești pași:
- Instalați browserul Yandex pe computer și utilizați-l pentru a naviga prin paginile site-ului.
- Confirmați drepturile de gestionare a resursei în Yandex. Webmaster.
- Postați un link către articol pe Twitter. Se știe că Yandex cooperează cu această companie din 2012.
- Adăugați căutare de la Yandex pentru site. În secțiunea „Indexare”, puteți introduce propriile adrese URL.
- Introduceți codul „Yandex. Metrica” fără a bifa „Trimiterea paginilor pentru indexare este interzisă”.
- Produceți un Sitemap care există numai pentru robot și nu este vizibil pentru public. Verificarea va începe cu el. Adresa Sitemap-ului este introdusă în robots.txt sau în formularul corespunzător în „Webmaster” - „Setări de indexare” - „Fișiere Sitemap”.
Acțiuni intermediare
Ce trebuie făcut până când pagina web este indexată de Yandex? Motorul de căutare intern ar trebui să considere site-ul ca sursă principală. De aceea, chiar înainte de publicarea articolului, este imperativ să adăugați conținutul acestuia la forma „Texte specifice”. In caz contrarplagiatorii vor copia înregistrarea în resursa lor și vor fi primii în baza de date. Drept urmare, ei vor fi recunoscuți ca autori.
Baza de date Google
Pentru Google, aceleași recomandări pe care le-am descris mai sus sunt potrivite, doar serviciile vor fi diferite:
- Google+ (înlocuind Twitter);
- Google Chrome;
- Instrumente Google pentru programatori - „Scanare” - „Arata ca Googlebot” - opțiunea „Scanare” - opțiunea „Index”;
- căutare într-o resursă de la Google;
- Google Analytics (în loc de Yandex. Metrics).
Interdicție
Ce este interdicția de indexare a site-urilor? Îl puteți suprapune atât pe întreaga pagină, cât și pe o parte separată a acesteia (link sau fragment de text). De fapt, există atât o interdicție globală de indexare, cât și una locală. Cum este implementat?
Să luăm în considerare interdicția de a adăuga un site web la baza de date a motorului de căutare în Robots.txt. Folosind fișierul robots.txt, puteți exclude indexarea unei pagini sau a unui întreg titlu de resursă, astfel:
- User-agent:
- Disallow: /kolobok.html
- Disallow: /foto/
Primul punct spune că instrucțiunile sunt definite pentru toate PS-urile, al doilea indică faptul că indexarea fișierului kolobok.html este interzisă, iar al treilea nu permite adăugarea întregii umpluturi a folderului foto la Bază de date. Dacă trebuie să excludeți mai multe pagini sau dosare, vă rugăm să le specificați pe toate în Robots.
Pentru a preveni indexarea unei anumite foi de internet, puteți utiliza metaeticheta robots. Este diferit de robots.txtfaptul că dă instrucțiuni tuturor PS-urilor deodată. Această metaetichetă urmează principiile generale ale formatului html. Ar trebui să fie plasat în titlul paginii între etichete. O intrare pentru o interdicție, de exemplu, ar putea fi scrisă astfel:.
Ajax
Cum indexează Yandex site-urile Ajax? Astăzi, tehnologia Ajax este folosită de mulți dezvoltatori de site-uri web. Desigur, are un mare potențial. Cu ajutorul acestuia, puteți crea pagini web interactive rapide și productive.
Cu toate acestea, robotul motorului de căutare „vede” lista web diferit decât utilizatorul și browserul. De exemplu, o persoană se uită la o interfață confortabilă cu foi de internet încărcate mobil. Pentru un crawler, conținutul aceleiași pagini poate fi gol sau prezentat ca restul conținutului HTML static, pentru care scripturile nu funcționează.
Puteți folosi o adresă URL cupentru a crea site-uri Ajax, dar motorul de căutare nu o folosește. De obicei, partea URL dupăeste separată. Acest lucru trebuie luat în considerare. Prin urmare, în loc de o adresă URL precum https://site.ru/example, el face o aplicație către pagina principală a resursei aflată la https://site.ru. Aceasta înseamnă că este posibil ca conținutul foii de internet să nu intre în baza de date. Drept urmare, nu va apărea în rezultatele căutării.
Pentru a îmbunătăți indexarea site-urilor Ajax, Yandex a acceptat modificări în robotul de căutare și regulile de procesare a adreselor URL ale acestor site-uri web. Astăzi, webmasterii pot indica motorului de căutare Yandex necesitatea indexării prin crearea unei scheme adecvate în structura resurselor. Pentru aceasta aveți nevoie de:
- Înlocuiți simbolulîn adresa URL a paginilorpe !. Acum robotul va înțelege că poate aplica pentru versiunea HTML a conținutului acestei foi de internet.
- Versiunea HTML a conținutului unei astfel de pagini ar trebui plasată pe o adresă URL unde ! înlocuit cu ?_escaped_fragment_=.
