Kereső cégek weboldal rangsorolás fejlesztésének története

A mai, széles körben elterjedt internetes keresőmotorok az 1990-es évek elején kezdődő elektronikus információáradat következtében alakultak ki. Az internet kialakulásának első éveiben az összes elérhető webes tartalom a CERN által 1989-ben létrehozott – legelső – weboldalon került listázásra. Ekkor a világháló segítségével elérhető információk halmaza nem igényelt különösebb rendszerezést, így néhány évig nem volt szükség a fejlettebb keresési eljárások megalkotására. Az első internetes keresőmotor az Archie 1990-ben jelent meg, mivel ekkorra az online tartalmak száma – a WWW, a hipertext protokoll, valamint a grafikus böngészők és a telefonvonalas internetkapcsolat elterjedése miatt – jelentősen megnőtt, így a web szerverek listája kezelhetetlen méreteket öltött. A következő években sűrűn követték egymást az újabb és finomabb keresést biztosító keresőmotorok, melyek közül napjainkra a Google, a Yahoo, az Ask és a Microsoft keresője vált a legelterjedtebbé a kifinomult és releváns találati listák kialakításának köszönhetően.

A webmesterek és tartalomszolgáltatók az 1990-es évek közepén kezdték el a keresőoptimalizálást, az első webes keresők megjelentével. Kezdetben a webmestereknek csak be kellett küldeniük a weblap címét avagy URL-jét a keresőmotorokba és megvárni, amíg azok egy keresőrobotot küldenek az oldalra és indexelik azt.[5] A folyamat során a keresőrobot letölti az oldalt a kereső szerverére, majd egy második program, az úgynevezett indexáló kinyeri az információkat, például a tartalmazott szavakat és ezek helyét, a specifikus szavak súlyozását és a lap által tartalmazott összes linket, amelyeket a keresőrobot a későbbiekben szintén letölt.

A weboldal-tulajdonosok felismerték oldaluk jól pozicionáltságának fontosságát, ezáltal mind white hat (etikus módszerek), mind black hat (etikátlan módszerek) SEO-nak lehetőséget adva. Danny Sullivan iparági elemző alapján a keresőoptimalizálás kifejezést először 1997-ben használták,[6] a szó első dokumentált használata John Audette-hez és cégéhez, a Multimedia Marketing Grouphoz köthető az MMG weboldalán.[7]

A keresőalgoritmusok korai verziói a webmester által megadott információkon alapultak, például a keyword (kulcsszó) meta tag és a keresőkben (pl. ALIWEB) indexelt fájlokon. A meta tagok minden lap tartalmához útmutatót nyújtanak. A meta tagok használata megbízhatatlannak bizonyult, hiszen amennyiben a webmester által megadott kulcsszavak pontatlan képét nyújthatják a valódi tartalomnak.[8] A tartalomszolgáltatók is számos HTML-attribútumot manipuláltak.[9] A kulcsszósűrűséget nagy mértékben előtérbe helyezés miatt a korai keresők a helyezésmanipulációtól szenvedtek. A jobb találati eredmények elérése érdekében a keresőmotoroknak biztosítaniuk kellett a legjobb és legrelevánsabb találatok megjelenítését, hiszen a webes keresők sikerét nagyban befolyásolja a valódi találatok aránya. A keresőmotorok komplexebb algoritmusokat hoztak létre, bennük olyan faktorokkal, amelyet a webmesterek nem ismertek és nehezebben tudtak manipulálni.

A Stanfordos diák Larry Page és Sergey Brin létrehozták a „Backrub”-ot, egy keresőmotort, amely az oldalakat egy matematikai algoritmus alapján értékelte. A számot a PageRank (Larry Page-ről kapta a nevét), a visszalinkelések mennyiségén és erősségén alapuló függvény számolta ki.[10] A PageRank azt számolja ki, hogy milyen eséllyel éri el a random szörfölő felhasználó az adott weboldalt. Ez azt jelenti, hogy némely linkek erősebbek másoknál, hiszen a nagyobb PageRank-ű oldalakat nagyobb valószínűséggel találja meg a felhasználó.

Page és Brin 1998-ban megalapították a Google-t. A Google egyszerű dizájnjával és zavaró reklámokat mellőző felülettel nagy felhasználótábort vonzott.[11] Az oldalon kívüli faktorok (PageRank, hiperlink-analízis) éppúgy beleszámítottak a találati listába, mint az oldal (kulcsszavak, meta tagok, fejlécek, struktúra), ezáltal a Google ellenállóbb lett a más keresőkben megtalálható manipulációnak. Habár a PageRankkal nehezebb volt trükközni, a webmesterek már kifejlesztettek automatikus linkbeküldőket, amelyek az Inktomi keresőt manipulálták és ezek a PageRank esetében is hasonlóan működtek. Rengeteg weboldal foglalkozott linkmegosztással, linkvásárlással és linkeladással. Egy részük igen nagy skálán történt, akár külön oldalakat, úgynevezett linkfarmokat is létrehoztak a linkek spammelése céljából.[12]

2004-re a keresők igen sok nyilvánosságra nem hozott faktort emeltek be. A Google állítása szerint több, mint 200 különböző módszert használ. A vezető keresők, a Google, a Bing és a Yahoo nem publikálják metódusaikat. SEO-sok, mint például Rand Fishkin, Barry Schwartz, Aaron Wall és Jill Whalen különböző keresőoptimalizálási eljárásokat tanulmányoztak és eredményeiket fórumokon és blogokon hozták nyilvánosságra.[14] A SEO-sok a keresőmotorok által benyújtott szabadalmakat is tanulmányozhatják az algoritmusokba való jobb betekintés érdekében.[15]

2005-ben a Google elkezdte a bejelentkezett felhasználók számára személyesíteni a találati listát a keresési előzmények alapján. 2008-ban Bruce Clay kijelentette, hogy a rangsorolás halott, mivel egy weblap potenciálisan felhasználónként más-más helyen jelenik meg a listában.[17]

2007-ben a Google a fizetett linkek elleni küzdelmet jelentette be. 2009-ben a Google bejelentette, hogy méréseket végeztek a hatás csillapítása érdekében a nofollow attribútummal. Matt Cutts, a Google szoftvertervezője bejelentette, hogy a jövőben a nofollow linkek nem lesznek egyenértékűként kezelve a PageRank-szobrászat megszüntetése érdekében.[19] Ennek eredményeképp a nofollow a PageRank "eltűnését" eredményezi. Ennek megelőzésére SEO-sok a nofollow attribútumot összekevert JavaScripttel helyettesítik. Alternatív megoldás az iframe, a Flash és a Javascript.

2009-ben a Google bejelentette a keresési előzmények használatát a személyesített találati listához minden felhasználónak. A Google Instant-ot 2009 végén jelentették be, amely gyorsabb, frissebb és relevánsabb találatokat eredményez. Korábban a weboldal-tulajdonosok hónapokat töltöttek oldaluk optimalizálásával, ám a szociális média elterjedésének köszönhetően mára rövid idő alatt bekerül a weblap.[21] 2009 szeptemberében a Google nyilvánosan elismeri, hogy a keresőjük figyelmen kívül hagyja a - korábban az egyik legfontosabb SEO eszköznek tekintett - keyword(kulcsszó) meta tag-okat, a gyakori visszaélések miatt.[22] Még ugyanebben az év októberében a Yahoo is bejelenti, hogy nem fogja használni, a Bing kereső pedig alacsony jelentőségűnek degradálta a meta keyword szerepét.[23]

2011-ben a Google bejelentette a Panda nevű frissítést, amely a másoló weboldalakat bünteti. Korábban oldalak a más weblapok tartalmának egy az egyben történő átemeléséből profitáltak és szereztek új látogatókat, melynek lehetőségét ez a frissítés megszüntette.

2012-ben a Google azt ígérte, hogy a túloptimalizált weboldalakat akkor is megbüntetik, ha tételesen semmi más szabályt nem szegtek meg. Büntetést alatt az értendő, hogy a Google keresőjében a weboldal hátrébb kerül a találati listában.[25][26]

A Google 2019. szeptember 10-én bejelentette a nofollow link attribútumának változásait. Eszerint a továbbiakban direktíva helyett csupán javaslatként fogja venni a weboldaltulajdonosok által beállított nofollow linkeket, így a linkelt oldal rangsorolásába beleszámíthat a nofollow link is. 2020. március 1-e után pedig az indexelés és feltérképezés során is figyelembe veheti a nofollow attribútumot. A bejelentés során nyilvánosságra került két új attribútum is, a rel="ugc" és rel="sponsored". Előbbi a felhasználó által generált tartalmakra-, utóbbi a fizetett linkekre alkalmazható.

Kapcsolat a keresőkkel

A Google Kína főépülete a kínai Szilícium-völgyben, Pekingben
1997-re a keresőcégek realizálták, hogy a webmesterek felismerték a jobb helyezés szükségességét a találati listákon és a cél érdekében, akár a keresőrobotok manipulálásával. Ezért a korai keresők, például az Altavista az algoritmusaik módosításával próbáltak ez ellen küzdeni.

A jó céltalálatok magas marketing értéke miatt a SEO-sok és a keresőmotorok között potenciális érdekellentétes viszony áll fent. 2005-ben egy konferenciát, az, AIRWeb-et (Adversarial Information Retrieval on the Web,)[28] hozták létre az agresszív tartalomszolgáltatók hatásának megvitatására és minimalizálására. A túlzottan agresszív módszereket alkalmazó cégeket kitiltják a keresési találatok közül. 2005-ben a Wall Street Journal egy céget, a Traffic Power-t, miszerint az kockázatos eljárásokat használ és ezt partnereinek nem adja tudomására.[29] A Wired magazin pedig azt jelentette, hogy ugyanez a cég beperelte a SEO-st és bloggert, Aaron Cutts-ot, mivel az a kitiltásról írt.[30] Matt Cutts a Google-től később megerősítette, hogy a Google kitiltotta a Traffic Power-t és néhány ügyfelét.[31]

Némely kereső megszólítja a SEO-ipart és szemináriumokat, előadásokat vagy épp beszélgetéseket szponzorál a témában, továbbá segítséget nyújt a weboldal minél jobb optimalizálásában. A Googlenek van egy Sitemaps (Oldaltérképek) programja, amely megmutatja, ha a Google-nek problémája van a weblap indexelésével.[32] A Bing Toolbox pedig olyan eszközt nyújt, amellyel oldaltérkép és feed küldhető be, továbbá megtekinthető az indexelt lapok száma.