Duplicate content به محتواهایی گفته می‌شود که URLهای متفاوتی دارند اما متن و محتوای موجود در این صفحات، یکسان یا بسیار مشابه است. محتوای داپلیکیت برای کاربران جذابیتی ندارد و موتورهای جست‌و‌جو را هم سردرگم می‌کند. 

Duplicate content محتوایی تکراری است که در دو یا چند صفحه‌ی مجزا منتشر شده‌است. در واقع هر یک از این محتواهای تکراری، یک آدرس اینترنتی یا URL جداگانه دارند. حتی ممکن است این محتواها در یک یا در چند وب‌سایت مختلف تکرار شده باشند.
داپلیکیت شدن دو محتوا در یک وب‌سایت، به‌این‌ترتیب است که دو URL مختلف داریم؛ مانند:

www.mywebsite.com/what-is-x
www.mywebsite.com/article/what-is-x
محتوای هر دو صفحه، درباره مبحث X است. اگر بخش قابل‌توجهی از آن‌ها مشابه باشد (حتی اگر کاملاً یکسان نباشند) می‌توان آن‌ها را داپلیکیت دانست.
محتوای تکراری اغلب در محتوای محصولات یا بخش بلاگ دیده می‌شود. از طرفی اغلب اوقات، این اتفاق ناخواسته اتفاق می‌افتد. برای مثال ممکن است وقتی یک محتوای جدید منتشر می‌کنید، به‌اشتباه، دو یا چند URL برای همان محتوا ساخته شود و این یعنی Duplicate!
گوگل تمایلی به رتبه‌بندی محتواهای تکراری ندارد و معمولاً یکی از این صفحات را حذف کرده یا رتبه‌های پایین را به آن‌ها می‌دهد. بر این اساس، اگر محتوایی دارید که شباهت زیادی با محتوای صفحات دیگر وب‌سایت خودتان یا وب‌سایت‌های دیگر دارد، این می‌تواند آفت سئوی صفحات باشد.

تفاوت محتوای تکراری و کپی

محتوای کپی شده یکی از نقاط ضعف جدی در بسیاری از وب‌‍سایت‌ها است؛ اما نباید با محتوای داپلیکیت اشتباه گرفته شود! فرض کنید دو صفحه از دو وب‌سایت مختلف را دارید که به موضوع X پرداخته‌ است:

www.mywebsite.com/what-is-x
www.newsite.com/x- Definition
اگر محتوای یکی از این صفحات، دقیقاً از دیگری کپی شده باشد، به آن محتوای کپی (Copy) می‌گویند. اما اگر شباهت‌‌های نسبی بین آن‌ها وجود داشته باشد، داپلیکیت اتفاق افتاده است. بین دو محتوای کپی و داپلیکیت، سه تفاوت اصلی وجود دارد:

Duplicate content در سئو، به معنی شباهت کلمه‌‎به‌کلمه نیست؛ محتواهایی که نسبتاً شبیه است هم Duplicate محسوب می‌شود. اما محتوای کپی، دقیقاً و به‌صورت کلمه‌به‌کلمه مثل یک محتوای دیگر است.
محتوای کپی‌شده، اغلب از منابع دیگر کپی شده و نوعی سرقت ادبی محسوب می‌شود. کاری که غیرقانونی و غیراخلاقی است و توسط الگوریتم‌هایی مانند پاندا (Google Panda) شناسایی می‌شود. اما محتوای داپلیکیت، بیشتر در خود وب‌سایت و به‌صورت سهوی رخ می‌دهد.
جریمه Duplicate content اغلب فقط شامل نشان ندادن یکی از صفحات در نتایج جست‌و‌جو است. اما محتوای کپی می‌تواند منجر به کاهش رتبه صفحه (و حتی حذف آن از نتایج گوگل) باشد. از طرفی این محتواها اعتبار وب‌سایت را به‌شدت نزد گوگل پایین می‌آورند.

اثرات منفی محتوای تکراری بر سئو

تاثیر Duplicate content بر سئو در بهترین حالت خنثی است! یعنی این محتوا هیچ ارزشی به سئوی سایت اضافه نمی‌کند. اما اغلب اوقات ماجرا از این فراتر رفته و کنیبالیزیشن (Cannibalisation) رخ می‌دهد.

در این صورت، موتورهای جست‌و‌جو در تشخیص نسخه اصلی محتوا دچار مشکل می‌شوند. بنابراین نمی‌توانند این صفحات را به‌خوبی رتبه‌بندی کنند و حتی از بین چند محتوای داپلیکیت، فقط یکی را در نتایج نمایش می‌دهند.
گوگل در این باره می‌گوید:

تلاش ما همواره بر این است که محتواهای متفاوت و یونیک را ایندکس کند و به کاربران نمایش دهد.

دلایل ایجاد Duplicate Content چیست؟

محتوای تکراری در بیشتر موارد ناخواسته ایجاد می‌شود. اما چرا؟ در ادامه مهم‌ترین دلایل داپلیکیت شدن محتواها را بررسی می‌کنیم.

۱. وجود URL اضافه

مهم‌ترین دلیل ایجاد Duplicate content داخلی، اضافه شدن پارامترها یا کلمات اضافه به URLها است. هر جایی که یک URL متفاوت با محتوای تکراری داشته باشید، به معنی Duplicate Content است. دلیل وقوع این اتفاق نیز معمولاً در یکی از موارد زیر نهفته است:

تگ Session ID: بعضی وب‌سایت‌ها با ورود کاربر به سایت، یک شناسه نشست (Session ID) به URL اضافه می‌کند. اضافه شدن این شناسه، باعث ایجاد چند آدرس متفاوت با محتوای تکراری می‌شود.
ویژگی پرینت صفحه: اگر برای صفحات، نسخه‌ای مخصوص چاپ (Print-Friendly) از محتوا داشته باشید که در URL جداگانه ذخیره می‌شود، احتمالاً درگیر محتوای داپلیکیت هستید.
دو نسخه HTTP و HTTP: اگر صفحات در دو نسخه HTTP و HTTPS (بدون ریدایرکت مناسب) در دسترس باشد، باعث ایجاد محتوای تکراری در تعداد بالا می‌شود.
پیشوند WWW: در دسترس بودن سایت با دو نسخه WWW و بدون WWW بدون ریدایرکت نیز محتوای تکراری را رقم می‌زند.
صفحه‌بندی برای نظرات: اگر نظرات کاربران در URL‌هایی که شامل عباراتی مانند page=1 و page=2 است نشان داده شود، محتوا تکراری خواهد بود.
حروف کوچک و بزرگ در URLها: یک URL که با حروف کوچک نوشته شود، متفاوت از همان URL با حروف بزرگ است. پس اگر دو مدل URL برای یک صفحه دارید، باید آن‎‌ها را ریدایرکت کنید.
صفحات مخصوص تصاویر: بعضی وب‎‌سایت‌ها برای هر تصویر یک صفحه اختصاصی با محتوای تکراری دارد که باعث ایجاد صفحات اضافه و داپلیکیت می‌شود.
فیلتر محصولات در سایت فروشگاهی: فیلترهای رنگ، برند، سایز و…. URLهای مختلفی را برای یک صفحه واحد می‌سازد.
محتوایی که در چند دسته‌بندی وجود دارد: اگر یک محصول در چند دسته تعریف شده باشد، می‌تواند داپلیکیت شود؛ مانند:
example.com/shoes/sneakers/nike
example.com/brands/nike/shoes

۲. محتوای تکراری ناخواسته

وقتی یک محتوا به هر دلیلی و هر چند ناخواسته، با صفحات خودِ وب‌سایت یا وب‌سایت‌های دیگر داپلیکیت می‌شود، گوگل معمولاً یکی از آن‌ها را ایندکس نکرده یا رتبه‌های پایین را برایشان در نظر می‌گیرد.
اما چطور محتوای بعضی صفحات به‌صورت ناخواسته داپلیکیت می‌شود؟ به دلایل زیر:

کپی کردن محتوا از وب‌سایت اصلی یا تأمین‌کننده برای محصولات و دسته‌ها.
نمایش خودکار مطالب وب‌سایت‌های دیگر (RSS Feed) که باعث Duplicate content خارجی می‌شود.
نمایش یک محتوا در چند صفحه آرشیو (مانند آرشیو ماهانه، دسته‌بندی، برچسب و…).