Duplicate Content: Why It Happens and How to Fix It

Head of Content @ Ahrefs (or, selkokielellä, I ’ m the guy responsible for ensure that every blog post we publish is EPIC).

päällekkäinen sisältö aiheuttaa jatkuvaa ahdistusta monille sivuston omistajille.

Lue lähes mitä tahansa siitä, ja tulet pois uskoen, että sivustosi on tikittävä aikapommi päällekkäisistä sisältöongelmista. Googlen rangaistus on vain päivien päässä.

onneksi tämä ei ole totta—mutta päällekkäinen sisältö voi silti aiheuttaa SEO-ongelmia. Ja 25-30% web on päällekkäistä sisältöä, se on hyödyllistä tietää, miten välttää ja korjata tällaisia ongelmia.

tästä oppaasta selviää:

• mitä päällekkäinen sisältö on;
• miksi päällekkäinen sisältö on huono SEO: lle;
• onko Googlella päällekkäistä sisältöä koskeva rangaistus;
• yleiset syyt päällekkäiseen sisältöön;
• Miten tarkistaa (ja korjata) päällekkäistä sisältöä

mikä on päällekkäistä sisältöä?

päällekkäinen sisältö on tarkkaa tai lähes päällekkäistä sisältöä, joka näkyy verkossa useammassa kuin yhdessä paikassa. Se voi tapahtua yhdellä sivustolla tai cross-domain.

esimerkiksi, jos julkaisisin tämän postauksen uudelleen osoitteessa ahrefs.com/blog/duplicate-content-copy/, se olisi päällekkäistä sisältöä. Se olisi myös totta, jos julkaisisin sen uudelleen toisella verkkosivustolla.

Googlen mukaan suurin osa päällekkäisestä sisällöstä ei ole alkuperältään harhaanjohtavaa.

miksi kaksoiskappale on huono SEO: lle?

päällekkäinen sisältö voi haitata SEO-suorituskykyäsi muutamasta syystä.

1. ei-toivotut tai epäystävälliset URL-osoitteet hakutuloksissa;
2. Käänteinen diluutio;
3. Burns crawl budget;
4. raaputettu tai syndikoitu sisältö päihittää sinut.

tutkitaan näitä syvällisemmin.

ei-toivotut tai epäystävälliset URL-osoitteet hakutuloksissa

Kuvittele, että sama sivu on saatavilla kolmessa eri URL-osoitteessa:

1. domain.com/page /
2. domain.com/page/?utm_content = puskuri&utm_medium = social
3. domain.com/category/page/

ensimmäisen pitäisi näkyä hakutuloksissa, mutta Google voi erehtyä. Jos näin tapahtuu, ei-toivottu URL voi ottaa sen paikan.

koska ihmiset saattavat olla vähemmän taipuvaisia klikkaamaan epäystävällistä URL-osoitetta, voi olla vähemmän orgaanista liikennettä.

Käänteislaimennus

Jos sama sisältö on saatavilla monissa URL-osoitteissa, kukin näistä URL-osoitteista voi houkutella käänteislinkkejä. Tämä johtaa ”link Equityn” jakamiseen URL-osoitteiden välillä.

näyttääksesi esimerkin tästä luonnossa, katso nämä kaksi sivua buffer.com:

nämä sivut ovat lähes tarkkoja kaksoiskappaleita. Ja heillä on 106 ja 144 viittaavaa verkkotunnusta (linkkejä ainutlaatuisilta verkkosivustoilta), vastaavasti.

ennen kuin panikoit, tiedä, että tämä ei aina ole ongelma, koska Google käsittelee päällekkäistä sisältöä.

yksinkertaistaen, kun ne havaitsevat päällekkäistä sisältöä, ne ryhmittelevät URL-osoitteet yhdeksi klusteriksi. He sitten ”valita, mitä mieltä on ”paras” URL edustaa klusterin hakutuloksissa ”ja” vahvistaa ominaisuuksia URL-osoitteiden klusterin, kuten linkki suosio, edustavan URL.”

joten yllä olevassa tapauksessa Googlen tulisi näyttää vain yksi URL-osoitteista orgaanisessa haussa ja liittää kaikki viittaavat verkkotunnukset klusterissa (106+144) kyseiseen URL-osoitteeseen.

mutta niin ei käy, sillä näemme molempien URL-osoitteiden sijoittuvan Googlessa vastaaville avainsanoille.

tässä tapauksessa Google ei todennäköisesti konsolidoi ”link equityä” yhteen URL-osoitteeseen.

Burns crawl budget

Google löytää uutta sisältöä verkkosivuiltasi indeksoinnin kautta, eli he seuraavat linkkejä olemassa olevilta sivuilta uusille sivuille. He myös uudelleenkirjoittavat aika ajoin tietämiään sivuja nähdäkseen, onko mikään muuttunut.

päällekkäisen sisällön omaaminen vain luo niille lisää työtä. Tämä voi vaikuttaa nopeuteen ja taajuuteen, jolla he ryömivät uusia tai päivitettyjä sivuja.

se on huono asia, koska se voi johtaa viiveisiin uusien sivujen indeksoinnissa ja päivitettyjen sivujen uudelleen lukemisessa.

kaavittu sisältö, joka ylittää sinut

joskus, voit sallia toisen verkkosivuston julkaista sisältösi uudelleen. Sitä kutsutaan syndikoinniksi. Muina aikoina sivustot voivat kaapia sisältösi ja julkaista sen uudelleen ilman lupaa.

molemmat skenaariot johtavat sisällön päällekkäisyyteen useilla verkkotunnuksilla, mutta ne eivät yleensä aiheuta ongelmia. Se on vain silloin, kun kaavittu tai uudelleen sisältöä alkaa ylittää alkuperäisen sivustosi, että ongelmia syntyy.

hyvä uutinen on, että tämä on harvinaista, mutta niin voi käydä.

onko Googlella päällekkäistä sisältörangaistusta?

Google on todennut useaan otteeseen, ettei heillä ole päällekkäistä sisältörangaistusta.

meillä ei ole päällekkäistä sisältörangaistusta. Kyse ei ole siitä, että alentaisimme sivustoa siitä, että sillä on paljon päällekkäistä sisältöä.

John Mueller, Webmaster Trends Analyst Google

Let ’ s put this to bed and for all, folks: There’s no such thing as a duplicate content penalty.

Susan Moskwa, Former Webmaster Trends Analyst Google

DYK Google doesn’t have a duplicate content penalty.

Gary Illyes, Webmaster Trends Analyst Google

But, this isn’t entirely true. Jos päällekkäistä sisältöä on vahingossa eikä tulos tahallisen manipuloinnin hakutuloksia tai roskapostia käytäntöjä, niin et saa rangaistaan. Jos on, niin saatat.

Google vahvistaa, että tässä:

niissä harvoissa tapauksissa, joissa Google havaitsee, että päällekkäistä sisältöä saatetaan näyttää tarkoituksenaan manipuloida rankingiamme ja hämätä käyttäjiämme, teemme myös asianmukaisia muutoksia kyseessä olevien sivustojen indeksointiin ja rankingiin. Tämän seurauksena sivuston ranking voi kärsiä, tai sivusto saatetaan poistaa kokonaan Googlen indeksistä, jolloin se ei enää näy hakutuloksissa.

kysymys kuuluu, mikä lasketaan ”aikomukseksi manipuloida rankingiamme ja pettää käyttäjiämme”?

Googlella on siitä paljon tietoa täällä. Mutta pohjimmiltaan, se on asioita, kuten:

• tarkoituksellisesti luoda useita sivuja, aliverkkotunnuksia tai verkkotunnuksia, joissa on paljon päällekkäistä sisältöä.
• julkaisemalla paljon raaputettua sisältöä
• julkaisemalla Amazonin tai muiden sivustojen raaputtamaa affiliate—sisältöä (eikä lisäarvoa lisätä)

kuitenkin, kuten edellä on mainittu, päällekkäinen sisältö voi silti vahingoittaa SEO: ta-jopa ilman rangaistusta.

yleiset syyt päällekkäiselle sisällölle

ei ole yhtä syytä päällekkäiselle sisällölle. Niitä on monta.

Faceted/filted navigation

Faceted navigation on paikka, jossa käyttäjät voivat suodattaa ja lajitella sivulla olevia kohteita. Verkkokaupan sivustot käyttävät sitä paljon.

tällainen navigointi liittää parametrit URL-osoitteen loppuun.

koska näitä suodattimia on yleensä monia yhdistelmiä, faceted navigation johtaa usein paljon päällekkäistä tai lähes päällekkäistä sisältöä.

Katso esimerkiksi näitä kahta sivua:

URL-osoitteet ovat ainutlaatuisia, mutta sisältö on lähes identtinen.

Plus, parametrien järjestyksellä ei usein ole väliä. Esimerkiksi sama sivu löytyy molemmista URL-osoitteista:

seurantaparametreja

Parametroituja URL-osoitteita käytetään myös seurantatarkoituksiin. UTM-parametreilla voi seurata esimerkiksi Google Analyticsin uutiskirjekampanjan käyntejä:

esimerkki: example.com/page?utm_source=newsletter

Istuntotunnukset

Istuntotunnukset tallentavat tietoa kävijöistä. Ne liittävät yleensä pitkän merkkijonon URL-osoitteeseen näin:

esimerkki: example.com?sessionId=jow8082345hnfn9234

HTTPS vs. HTTP, and non-www vs. www

Most websites are accessible at one of these four variations:

• https://www.example.com (HTTPS, www)
• https://example.com (HTTPS, non-www)
• http://www.example.com (HTTP, www)
• http://example.com (HTTP, non-www)

If you’re using HTTPS, it’ll be one of the first two. Onko se www tai ei-www versio on sinun valintasi.

kuitenkin, jos et määritä palvelinta oikein, sivustosi on käytettävissä kahdella tai useammalla näistä muunnelmista. Se ei ole hyvä ja voi johtaa päällekkäisiin sisältöongelmiin.

Kirjainherkät URL-osoitteet

Google pitää URL-osoitteita kirjainherkinä.

URL-osoitteet ovat kirjainkokoisia, mutta valitse haluamasi tapaus.- 🍌 John 🍌 (@JohnMu) June 22, 2017

eli nämä kolme URL-osoitetta ovat kaikki erilaisia:

• example.com/page
• example.com/PAGE
• example.com/pAgE

Jälkiviivat vs. ei-perään-viillot

Google pitää URL-osoitteita viilloilla ja ilman niitä ainutlaatuisina. Tämä tarkoittaa, että nämä kaksi URL-osoitetta ovat ainutlaatuisia Googlen silmissä:

• example.com/page /
• example.com/page

jos sisältösi on käytettävissä molemmissa URL-osoitteissa, se voi johtaa päällekkäisiin sisältöongelmiin.

Jos haluat tarkistaa, onko tämä ongelma, yritä ladata sivu perään viivan kanssa tai ilman. Ihannetapauksessa vain yksi versio latautuu. Toinen ohjaa.

esimerkiksi, jos yrität ladata tämän viestin ilman perään viivaa, se ohjaa URL-osoitteeseen jälkiviivan kanssa.

Googlen mukaan tällainen käyttäytyminen on ihanteellista.

Jos vain yksi versio voidaan palauttaa (eli toinen ohjaa siihen), se on hienoa! Tämä käyttäytyminen on hyödyllistä, koska se vähentää päällekkäistä sisältöä.

Tulostusystävällisissä URL-osoitteissa

Tulostusystävällisissä versioissa on sama sisältö kuin alkuperäisessä. Se on vain URL, joka eroaa.

• example.com/page
• example.com/print/page

mobiiliystävälliset URL-osoitteet

mobiiliystävälliset URL-osoitteet, kuten tulostusystävälliset URL-osoitteet, ovat kaksoiskappaleita.

• example.com/page
• m. esimerkki.com/page

AMP: n URL-osoitteet

nopeutetut mobiilisivut (AMP) ovat kaksoiskappaleita.

• example.com/page
• example.com/amp/page

tagi-ja luokkasivut

useimmat CMS: n luomat omat tagisivut, kun käytät tageja.

esimerkiksi, jos sinulla on artikkeli orgaanisesta heraproteiinista, ja käytät sekä ”proteiinijauhetta” että ”heraa” tageina, päädyt kahteen tagisivuun kuten nämä:

joka ei aina itsessään aiheuta päällekkäistä sisältöä, mutta voi.

näin on tässä, koska sivustolla on vain yksi sivu, jossa on nämä kaksi tagia—joten jokainen tagisivu on identtinen.

Liitetiedostokuvan URL-osoitteet

monet CMS: t luovat omat sivut kuvanliitteille. Näillä sivuilla ei yleensä näy muuta kuin kuva ja joku kattilalevykappale.

koska tämä kopio on sama kaikilla automaattisesti luoduilla sivuilla, se johtaa päällekkäiseen sisältöön.

Sivukommentit

WordPress ja muut CMS ” sallivat sivukommentit. Tämä aiheuttaa päällekkäistä sisältöä, koska se luo tehokkaasti useita versioita samoista URL-osoitteista.

• example.com/post /
• example.com/post/comment-page-2
• example.com/post/comment-page-3

lokalisointi

jos palvelet samanlaista sisältöä eri paikkakunnilla asuville ihmisille, jotka puhuvat samaa kieltä, se voi aiheuttaa päällekkäistä sisältöä.

esimerkiksi, saatat olla eri versioita sivuston ihmisille Yhdysvalloissa, Iso-Britanniassa ja Australiassa. Koska kullekin paikkakunnalle tarjotun sisällön välillä on todennäköisesti vain pieniä eroja (esim.hinnat dollareina tai Englannin puntina), versiot ovat lähes kaksoiskappaleita.

hakutulossivuilla

monilla verkkosivuilla on hakuruutuja. Näiden käyttäminen vie tyypillisesti parametrisoituun HAKUOSOITTEESEEN.

Example: example.com?q=search-term

Googlen entinen Webspamin johtaja Matt Cutts totesi, että:

tyypillisesti web-hakutulokset eivät tuo lisäarvoa käyttäjille, ja koska päätavoitteemme on tarjota paras mahdollinen hakutulos, jätämme yleensä hakutulokset pois verkkohakuindeksistämme. (Kaikki URL-osoitteet, jotka sisältävät asioita, kuten ” / results ”tai” /search”, eivät tietenkään ole hakutuloksia.)

Matt Cutts, Webspam Googlen entinen johtaja

Staging environment

staging environment on testaustarkoituksiin käytetty sivustosi toisinto tai lähes kaksoiskappale.

kuvittele esimerkiksi, että haluat asentaa uuden liitännäisen tai muuttaa jotain koodia verkkosivustollasi. Et ehkä halua työntää sitä suoraan satojatuhansia päivittäisiä kävijöitä sisältävälle livesivustolle. Katastrofin riski on liian suuri. Ratkaisu on testata ensin lavastusympäristön muutokset.

Lavastusympäristöistä tulee SEO-ongelma, kun Google indeksoi ne, koska se johtaa päällekkäiseen sisältöön.

kuinka tarkistaa sivustosi päällekkäistä sisältöä

Siirry Ahrefsin Sivustotarkastukseen ja aloita ryömintä.

kun valmista, suuntaa sisällön laatuselvitykseen.

Etsi päällekkäisyyksien ja lähikopioiden klustereita ilman kanonista. Nämä on korostettu oranssilla.

Napsauta mitä tahansa näistä klustereista nähdäksesi kyseiset sivut.

tutkitaan syy päällekkäiseen sisältöön ja ryhdytään sitten asianmukaisiin toimiin.

huomaa, että nämä eivät aina ole asioita, jotka kaipaisivat korjaamista, varsinkaan jos kyseessä on lähes kaksoiskappaleet.

voit myös tarkistaa päällekkäisiä otsikkotunnisteita, metakuvauksia ja H1S: iä HTML tagien raportista.

huonot kaksoiskappaleet ovat etsimäsi asia. Nämä ovat sivuja päällekkäisiä metatunnisteita, mutta eri canonicals.

valitse nämä klikkaamalla ”huonot kaksoiskappaleet” – toggle alla HTML tagit & content.

Klikkaa mitä tahansa keltaista palkkia nähdäksesi kyseiset sivut.

sivut, joilla on päällekkäiset otsikot, metakuvaukset tai H1: t, ovat usein hyvin samankaltaisia.

esimerkiksi näillä kahdella on sama nimilappu, ja sisältö on lähes identtinen, koska tuote on sama. Ainoa ero on, että yksi sivuista on 3-pack instant Valaistus firelogs, kun taas toinen on vain yksi.

Googlen mukaan vastaavaa sisältöä tulisi minimoida näin:

jos sinulla on useita sivuja, jotka ovat samanlaisia, harkitse jokaisen sivun laajentamista tai sivujen yhdistämistä yhdeksi.

kuitenkin pieni määrä vastaavia sivuja tuskin on suuremmin ongelma.

päällekkäisten sisältöongelmien tarkistaminen verkossa

sisällön kaavinta ja syndikointi voivat myös johtaa päällekkäisiin sisältöongelmiin. Mutta se on vain yleensä ongelma, jos näet kaavittu versiot sisällöstä päihittää sinut.

tapahtuuko näin? Kyllä, mutta se on usein enemmän ongelma uusia tai heikkoja sivustoja. Miksi? Koska sisältöä raaputtavat sivustot ovat usein arvovaltaisempia. Että joskus ”temppuja” Google ajatella, että heidän on alkuperäinen.

Jos sinulla on pieni verkkosivusto, voit usein löytää raaputettua sisältöä etsimällä Googlesta pätkän tekstiä sivultasi lainausmerkeissä.

suuremmissa kohteissa on käytettävä automaattista työkalua, kuten Copyscapea. Tämä etsii web muita tapahtumia sisältöä sivulla(s).

käytetystä menetelmästä riippumatta suurin osa tuloksista tulee spammyilta ja heikkolaatuisilta sivustoilta.

yleisesti ottaen näissä ei ole mitään hätää. Kuitenkin, jos näet, että laillinen sivusto kaavittu sisältöä, ja ovat huolissaan siitä, että se voi varastaa liikennettä, heittää URL Ahrefs’ Site Explorer nähdä orgaanisen liikenteen arvio.

Jos se saa enemmän liikennettä kuin sivusi, voi olla ongelma.

tässä tapauksessa sinulla on kolme vaihtoehtoa:

1. kurota ja pyydä heitä poistamaan sisältö.
2. pyydä heitä lisäämään kanoninen linkki alkuperäiseen sivustoosi.
3. lähetä DMCA: n poistopyyntö Googlen kautta.

Jos tahallaan syndikoi sisältöä muille verkkosivustoille, niitä kannattaa pyytää lisäämään kanoninen linkki alkuperäiseen. Tämä poistaa päällekkäisten sisältöongelmien riskin.

lopulliset ajatukset

eivät stressaa liikaa päällekkäisestä sisällöstä. Se on yleensä paljon pienempi ongelma kuin luullaan.

Jos sinulla on kourallinen päällekkäisiä tai lähes päällekkäisiä sivuja, ongelmia ei todennäköisesti ole paljon. Sama pätee, kun lainaat sisältöä toiselta verkkosivustolta tai muilta sivustosi sivuilta. Pieniä määriä päällekkäistä tai kattilalevyä sisällön pitäisi olla kunnossa. Googlella on käytössä järjestelmiä tällaisten asioiden hoitamiseen.

mitä sinun täytyy olla hakevat ovat teknisiä SEO vahinkoja, jotka johtavat sukupolven satoja tai tuhansia sivuja päällekkäistä sisältöä, kuten virheellinen täytäntöönpano faceted navigointi verkkokauppasivustoilla.

nämä voivat aiheuttaa tuhoa muun muassa ryömimisbudjetissasi.