구글 검색 크롤링 용량 제한 15MB

https://developers.google.com/search/docs/advanced/crawling/googlebot

구글 서치 센트럴 업데이트

지난 6월 24일 Google Search Central을 통해 업데이트된 내용에 대하여 Google 검색 엔진 최적화 관련 이슈가 있습니다. 업데이트된 내용은 Googlebot(구글 크롤러)가 HTML 페이지의 15MB만을 크롤링하고 멈춘다는 내용입니다. 한마디로 15MB를 초과하는 분량에 대한 컨텐츠는 구글이 수집하지 않는다는 내용인데요. 이 내용은 일부 페이지 컨텐츠를 크게 사용해야 하는 웹마스터들에게는 컨텐츠 사이즈 사용 부담으로 다가오게 되었습니다. 특히나 고해상도 이미지 및 영상에 의지해야 하는 웹사이트의 경우 컨텐츠 사이즈를 줄이는 것은 큰 부담이기 때문입니다. 

HTML 파일 용량에만 적용

이에 대하여 업데이트 당일 트위터를 통해 한 사용자가 Google 검색 대변인 John Mueller(@johnMu)에게 해당 용량은 컨텐츠에만 적용되는 것인지 이미지 및 동영상 등 에셋에도 적용되는 것인지 문의하였고, 이에 대하여 John Mueller는 이는 HTML 파일에만 적용되는 것이라고 일축하였습니다. 

https://twitter.com/HeySannidhi/status/1540211103203962880

크롤링 용량 제한의 의미

사실 15MB라는 용량은 HTML 소스로는 상당히 큰 용량입니다. 아마 HTML만으로 15MB가 넘는 페이지를 찾기는 쉽지 않습니다. 그럼에도 불구하고 크롤링 용량에 대하여 Google이 제한하는 이유는 네트워크 광대역 인프라가 빠르게 발전하면서 웹페이지의 가용량 기대치가 높아지는데 반하여 구글에 가용할 수 있는 크롤링 예산은 제한적이기 때문일 것입니다. Statista의 2021년 자료에 따르면 평균 고정 광대역 다운로드 속도는 105.15 Mbps이고 모바일은 55.95 Mbps로 15Mb 페이지를 로딩하는 데에는 전혀 문제가 될 것 같지는 않으나, 코드 팽창, 결함 및 기타 문제로 인해 페이지의 크기가 검색 엔진 최적화 차원에서 골칫거리가 될 수 있기 때문이기도 합니다. 

SEO 최적화 HTML 파일 사이즈

그렇다면 SEO 최적화 HTML 파일 사이즈는 얼마나 될까요? 전반적 컨센서스는 HTML 소스의 용량을 100kb이하로 유지하는 것을 권장합니다. E-commerce 페이지의 경우 제품 이미지 수에 따라 150kb~200kb 정도의 페이지로 구성되는 것을 권장합니다. 이는 검색 크롤러의 한계 용량을 고려한 것이 아니라 사용자 경험 기준으로 책정된 추천사항입니다. 실제로 많은 SEO 도구들에서 HTML 파일 사이즈의 크기 기준을 100kb~150kb로 책정하는 것으로 보면 알 수 있습니다. 하지만 무엇보다 균형이 핵심입니다. (HTML 파일 사이즈 확인: SEOsitecheckup)

코어 웹 바이탈(Core Web Vital)

구글의 사용자 경험 지표인 Core Web Vitals 또한 HTML 크롤링 제한 용량과는 다르게 사용자 경험 측면에서 페이지를 평가하는 요소입니다. 이미지, 동영상 등을 포함하여 페이지 로딩 속도에 영향을 미칠 수 있는 에셋들을 관리하는 부분도 놓치지 말아야 할 부분입니다. (참고로, Core Web Vital은 검색 순위에 다소 간접적 영향(Tie-breaker)을 주므로, 해당 지표 향상은 어디까지나 보조 지표로 참고해야 합니다.)

의미

HTML 파일의 크롤링 제한 용량에 대한 Google의 공식적인 언급은 이번 업데이트를 통해 이루어졌으나, 페이지 평가 방식이 변경된 것은 아닙니다. 이에 대하여 John Mueller는 트윗을 통해 기존 크롤링 방식에서 변화된 것은 아니며, Google Search Central을 통해 기존의 방식이 언급된 것뿐이라고 말하였습니다. 기존의 크롤링 방식의 변화는 없으니 이를 통한 검색 순위의 변화는 없을 것입니다. 단, 이번 언급을 통해 최근 구글이 HTML 파일 용량과 크롤링 방식에 대한 고려가 있었고 웹사이트 관리자들에게 HTML 파일 용량뿐만 아니라 사용자 경험에 대한 재점검의 필요성을 시사했다고 해석할 수도 있을 것 같습니다.

2021.01.04 - [디지털 마케팅/검색엔진최적화] - 구글 코어 웹 바이탈이란? (Core Web Vital/핵심적인 웹 지표)

구글 코어 웹 바이탈이란? (Core Web Vital/핵심적인 웹 지표)