어느 순간 Google에서 검색하면 결과에 위와 같은 외계 사이트들이 검색되고 해당 사이트로 접속 시 다른 사이트로 이동되는 경우가 많아졌습니다. 이런 상황을 보고 Google이 맛이 갔다, Chat GPT로 자동 발행되는 글들이 많아진 것이다. 등등 다양한 분석들이 존재합니다.
하지만 원인은 둘째 치고 Google에서는 현재 이걸 개선할 생각이 별로 없는 것으로 보이기 때문에 정 불편하다면 직접 문제를 해결하는 것이 빠른데요.
이런 부분들이 불편한 경우 도메인 확장자들을 하나하나 차단하거나 내 브라우저로 접속하는 사이트가 나를 사람이 아닌 Google 검색 봇으로 인식하도록 속여 스팸사이트로 이동되지 않도록 우회 조치를 하면 임시방편으로 보이지 않도록 할 수 있으며 자세한 적용 과정은 다음과 같습니다.
튜토리얼 환경: 윈도우 11, 크롬 버전 113.0.5672.93
도메인 코드 수동 차단
일반적으로 리다이렉트 도메인들은 특정한 규칙이 존재하는 데 이런 도메인 코드들을 직접 수동으로 등록해서 검색 엔진에서 보이지 않도록 차단하는 방식입니다. 스팸 메시지 키워드 차단과 비슷한 방식이죠.
- 크롬 웹스토어 이동 후 좌측 검색 필드에
ublacklist로 검색 후 결과에서 해당 확장 프로그램을 설치 합니다. 아래 바로가기를 통해 확장 프로그램 상세 페이지로 바로 이동할 수 있습니다. uBlacklist는 사용자가 지정한 사이트나 키워드를 검색 결과에서 제외하도록 설정할 수 있게 해주는 도구입니다. Chrome 확장 프로그램 사용 방법 알아보기
바로가기: uBlacklist
- 확장 프로그램이 추가되면 해당 확장 아이콘을 마우스 오른쪽 버튼으로 클릭 해 메뉴로 이동합니다.
- 옵션 페이지 상단 필드 에 아래 정리해 둔 와일드카드 형태의 도메인 목록을 붙여넣기 후 버튼 으로 적용합니다.
*://*.pl/*
*://*.es/*
*://*.it/*
*://*.ru/*
*://*.nl/*
*://*.lv/*
*://*.fi/*
*://*.lt/*
*://*.pw/*
*://*.cz/*
*://*.sk/*
*://*.si/*
*://*.ch/*
*://*.fr/*
*://*.pl/*
*://*.gh/*
*://*.at/*
*://*.ua/*이제 해당 사이트 도메인 확장자를 가진 사이트들은 검색 결과에서 보이지 않게 됩니다. 새로운 사이트가 보이면 하나씩 추가하면 되겠죠.
브라우저 UA 변경
위 방식은 초보 사용자들도 간단하게 차단할 수 있어 유용하지만, 해당 도메인 확장자를 가진 정상적인 사이트들도 차단될 확률이 있습니다.
현재 검색 결과에 노출되는 사이트들은 사용자 브라우저의 사용자 정보인 UAUser-Agent를 악용하는 것으로 이 정보를 수정하면 사용자를 Google의 검색 수집 로봇인 것처럼 인식하도록 속여 스팸 사이트로의 악의적인 이동을 방지할 수 있습니다.
UA란
User-Agent(이하 UA) 란 웹 브라우저에서 서버로 전송되는 HTTP 요청 헤더의 일부분으로 이 헤더에는 브라우저의 종류, 버전, 운영 체제, 하드웨어 플랫폼 등과 같은 정보를 포함합니다.
일반적으로 검색 결과에 표시되는 사이트들은 이 UA 문자열을 이용하여 웹 페이지의 내용을 다르게 제공할 수 있습니다. 이는 브라우저가 모바일 기기인 경우에는 모바일용 페이지를 제공하고, 브라우저가 PC인 경우에는 PC용 페이지를 제공하는 식으로 지극히 정상적으로 사용되는 것인데 이를 악용해 스팸 사이트로 강제로 이동시켜 버리는 것입니다.
좀 더 쉽게 말해 UA 문자열을 확인하여 웹 페이지의 내용을 조작하거나, 특정 조건에 따라 다른 페이지로 리디렉션하는 등의 악성 동작을 수행할 수 있으며 실제 이렇게 하고 있는 것이 현재 스팸 사이트들입니다.
UA 확인(선택 사항)
구글봇Googlebot은 Google의 검색 엔진에서 사용되는 자동화된 프로그램으로, 웹 페이지를 수집하고 색인하는 역할을 합니다. 구글 봇은 웹 크롤러라고도 불리며, 인터넷 상의 수많은 웹 페이지를 탐색하고 그 내용을 Google의 데이터베이스에 저장합니다.
이런 구글봇은 여러 가지 버전이 있으며, 각각의 버전마다 다른 User-Agent(이하 UA) 문자열을 가지고 있습니다. Google은 이러한 UA 문자열을 공식 문서에서 제공하고 있으며, 이를 사용하여 웹 사이트의 로그 파일이나 분석 도구를 통해 구글봇의 활동을 확인할 수 있습니다. 우리도 이 정보를 이용해야 하니 구글봇의 UA를 우선 확인할 필요가 있습니다.
참고: 아래 내용을 모르더라도 UA문자열 마지막에 Googlebot이라고만 표시하면 구글봇으로 인식시킬 수 있어 리다이렉트되지 않도록 할 수 있습니다.
UA 문자열은 브라우저의 개발자 도구를 열고 네트워크 탭을 선택한 후 웹 사이트를 방문하면 또는 섹션에서 를 확인할 수 있습니다.
보다 간편한 방법으로 Google 검색엔진을 사용하고 있다면 검색창에 my useragent 또는 user agent strings키워드로 검색 시 아래와 같은 형식으로 된 문자열 이 바로 표시됩니다.
Mozilla/[version] ([system and browser information]) [platform] ([platform details]) [extensions]브라우저의 UA 변경하기
위 과정으로 확인한 UA 또는 Googlebot 의 UA인 Googlebot 텍스트를 자신의 UA 문자열에 추가하면, Google 검색 엔진이 웹 페이지를 색인할 때 자신의 크롤러로 인식하도록 할 수 있습니다.
UA는 개발자 도구에서 변경할 수 있는데 이건 일회성으로 수정하거나 확장 프로그램으로 브라우저에서 웹 페이지를 요청할 때마다 자동으로 정의된 UA 값을 사용하도록 설정할 수 있습니다.
개발자 도구에서 변경하기
- 크롬 브라우저를 기준으로 안내합니다. 크롬 브라우저를 실행 후 오른쪽 상단에 위치한 아이콘
을 마우스로 클릭 해 메뉴를 확장합니다. - 메뉴에서 > 로 진입합니다.
- 우선 상단의 탭을 로 전환 후 우측에 아이콘을 클릭한 뒤 의 를 선택합니다.
- User agent 섹션의 확인란의 체크를 해제 후 아래 입력 필드에
Googlebot과 같이 사용할 UA 값을 입력합니다.
확장 프로그램으로 변경하기
위 방식은 일회성으로 잠시 수정하는 것으로 세션이 종료되면 다시 기본 상태로 돌아갑니다. 지속적으로 유지되도록 하고 싶은 경우 다음의 확장 프로그램을 사용합니다.
주의: 관공서 등 일부 웹 사이트는 UA 값을 확인하여 적절한 페이지를 제공하는 경우가 있기 때문에 Googlebot으로 인식 되면 특정 웹 페이지가 제대로 작동하지 않거나 차단 될 가능성이 있습니다.
- 크롬 웹스토어 이동 한 뒤 좌측 검색 필드에
User-Agent Switcher for Chrome등으로 검색 후 User-Agent Switcher for Chrome 을 설치합니다. 검색 시 동일한 기능의 다른 확장프로그램도 다양하게 존재하지만 User-Agent Switcher for Chrome이 좀더 직관적이고 편하기 때문에 이 프로그램을 사용합니다. 아래 바로가기를 통해 확장 프로그램 상세 페이지로 바로 이동할 수 있습니다.
바로가기: User-Agent Switcher for Chrome
- 확장 프로그램을 추가 후 확장 프로그램의 자체 메뉴로 이동합니다.
- 옵션 페이지로 이동하면 위와 같은 화면을 볼 수 있으며, 여기에 여러 입력 필드가 존재하는데 아래와 같이 지정 후 버튼 으로 규칙을 추가합니다.
- : 식별을 위한 이름, 본문에서는
Googlebot으로 진행합니다. - : 이 부분이 중요합니다. 추가할 UA 문자열 이름을 입력하며 본문에서는
Googlebot으로 입력해 주었습니다. - : 식별을 위한 이름, 본문에서는
Googlebot으로 진행합니다. - : Replace 와 Append 중 선택이 가능한데 기존 UA 문자열의 일부를 교체하고 싶다면 Replace를 사용하지만 본문에서는 문자열 뒤에 추가하는 것이니 Append를 선택합니다.
- : 식별을 위한 이름, 본문에서는
- 브라우저의 User-Agent를 Googlebot으로 변경하는 규칙이 정상적으로 추가 되었습니다.
이렇게 변경된 UA로 웹 페이지를 요청하면 구글 검색 엔진의 크롤러인 Googlebot으로 인식되고 스팸 사이트들이 보이지 않게 됩니다.
마치며
이번 포스트에서는 Google의 검색 결과에서 보여지는 스팸 사이트들을 차단하는 방법들에 대해 알아보았습니다. 위 방식으로 현재 보여지는 스팸 사이트들을 모두 보이지 않게 할 수도 없고 지속성이 높다고 할 수는 없지만 꽤나 효과를 볼 수 있는 방법입니다.
필자 또한 Google을 메인 검색엔진으로 사용하고 있어 구글에서 하루 빨리 위 문제를 심각하게 여겨 올바른 조치가 이루어지길 바라고 있는데요. 이처럼 구글 검색 결과의 암적인 스팸 사이트들을 조금이라도 줄이고 싶다면 위 안내한 차단 방식을 적용해 보시길 바랍니다.