중복 컨텐츠 솔루션 (표준 URL 설정)

중복 컨텐츠 (Duplicate Content)

SEO 진단 시 가장 먼저 확인하는 것은 중복 컨텐츠 검사입니다. 그만큼 가장 많이 발견되는 문제이기도 하고, 대부분의 검색 성적이 좋지 않은 웹사이트에서 발생하는 문제이기도 합니다. 대부분 전반적으로 체계적이지 못하게 홈페이지를 관리하거나, SEO 친화적인 URL구조가 무시되어 있는 경우이지만, 또 많은 경우에서는 서브도메인, 멀티도메인, 다국어 지원 홈페이지에서 발생되는 문제이기도 합니다. 

중복 컨텐츠는 구글뿐만이 아니라 네이버 검색에서도 치명적인 SEO 결함으로 분류합니다. 검색 엔진 특성상 일단 검색은 검색 자원을 낭비하는 가장 큰 원인은 중복 페이지 크롤링이며, 컨텐츠의 고유성이 검색의 최고의 가치라고 여기기 때문에 더욱 그렇습니다. 
 

표준 URL

표준 URL 코드(rel=”canonical”)는 다수의 중복 컨텐츠에 대하여 대표되는 표준 컨텐츠를 규정하여 검색엔진에게 신호를 주는 가장 일반적으로 사용되는 코드입니다. 구글 서치 센트럴에서 존 뮬러가 매주 받는 질문 중에 하나가 이 표준 URL 코드에 관련된 내용이라고 할 정도로 SEO 웹마스터들에게는 중요한 이슈이기도 합니다. 표준 URL 코드는 컨텐츠가 다국어로 여러 페이지를 통해서 제작되거나 또는 중복 컨텐츠가 다른 도메인을 통해 게시되는 것과 같이 신디케이션 되는 사이트에 주로 사용됩니다. 검색엔진은 코드를 통해 표준으로 설정된 URL를 검색 결과에 보여주며, 나머지 URL은 생략합니다. 

출처: moz.com

 

검색 엔진 반영

구글 서치 센트럴에서 존 뮬러는 구글 순위 요소와 표준 URL 설정에 대한 질문을 받았습니다. 결론적으로 말씀드리면 반영되는 것이 맞습니다. 우선 컨텐츠 중복은 컨텐츠의 고유성이 결여된 것이고, 일반적으로 순위에 불리하게 적용됩니다. 표준 URL코드가 설정된 경우 표준 URL은 기타 URL의 순위 신호를 공유하게 됩니다. 즉 기타 URL의 신호가 결합되어 검색 결과에 반영되고 이는 검색엔진에 ‘정리된 웹사이트’라는 신호를 주게 됩니다. 이 신호가 오히려 검색 결과에 좋게 반영될 수 있다고 유추할 수 있습니다. 여기서 ‘유추’할 수 있다고 표현한 것은 해당 내용에 대해서는 구글 서치 센트럴에서 존 뮬러가 언급한 것이나 구글 공식 가이드에는 언급되지 않았기 때문입니다.

 

20분 40초 참조

In general, I’d recommend using a rel="canonical" for duplicate content rather than a noindex. With a noindex, you’re telling us this page should not be indexed at all. With a canonical, you’re telling us this page is essentially the same as this other page I have, and that helps us because then we can take all of the signals that we have for both of these pages and combine them into one. Whereas if you just have a noindex, or if you block it with robots.txt, then the signals that are associated with that page that’s blocked or has a noindex on it are lost, they’re dropped.

그러나, 표준 URL이 설정 되었다고 하더라도 무시되는 경우들도 있습니다. 2019년 레딧에서 이에 대한 문의가 있었고 구글의 존 뮬러가 이에 대하여 답변한 내용이 있습니다. 질문 내용은 몇 천 개의 페이지를 표준 URL 설정을 하였는데, 구글은 설정하지 않은 URL를 검색 결과에 보여준다는 것이었습니다. 이에 대하여 존 뮬러는 몇 가지 가능성 높은 원인을 제기하였습니다. 원인은 아래 정도로 요약하였습니다. 

• 체계 없는 URL 구조
• 체계적이지 않는 구조의 코드 (HTML과 JS간의 비호환성)
• 지연되는 리소스 및 서버 응답

전반적인 원인을 분석해보면 이는 표준 URL의 문제가 아닌, 크롤링 단계에서 코드를 인지하지 못하는 구조로 설정된 경우 입니다. 특히나 모바일 크롤러의 경우 소스를 처음부터 끝까지 모두 크롤링하지 않습니다. 크롤링 환경이 최적화되지 않은 경우 크롤러는 표준 URL 코드를 인식하기 전에 크롤링을 중단할 수 있습니다. 또는 코드 환경에 따라서 해당 코드를 무시하고 지나갈 수도 있다는 것입니다. 


 

결론

결론적으로 중복 컨텐츠는 검색 순위에 영향을 미치며 어떻게 설정하느냐에 따라서 코드가 적용될 수도 혹은 무시될 수도 있다는 것입니다. 명확한 기준은 가이드라인에 제시하지 않지만, 모니터링을 통해 반영 여부는 확인하고 조치할 수 있습니다. 단, 무엇보다 가장 중요한 것은 고유의 컨텐츠를 생산하는 것입니다. 어디까지나 표준 URL은 관리 차원의 솔루션이며, 표준 URL의 컨텐츠 자체가 고유하지 않다면 검색엔진은 해당 페이지 자체를 경쟁력 있는 위치에 노출하지 않기 때문입니다.