웹사이트에서 AI 크롤러 차단? 현명한 접근법이 필요합니다!
반갑습니다, 여러분! 오늘은 AI 크롤러가 웹사이트에 어떤 영향을 미치고 있는지, 그리고 우리가 대처할 수 있는 방법에 대해 이야기해보려 합니다. 만약 여러분이 웹사이트 운영자라면, 이 글은 꼭 읽어보셔야 할 것 같아요. 최근 호스팅 업체 Hostinger의 분석에 따르면, AI 훈련용 크롤러와 AI 검색 도구 크롤러가 웹에서 다른 경로를 따라가고 있다는 사실을 알 수 있었습니다.
AI 크롤러의 두 얼굴: 훈련용과 보조용
훈련용 AI 크롤러들은 점점 웹사이트들로부터 차단되고 있지만, 사용자 보조용 크롤러들은 그 반대의 상황에 놓여 있습니다. 예를 들어 OpenAI의 GPTBot은 웹사이트 데이터 수집을 통해 모델 훈련에 사용되는데, 최근에는 그 사용 범위가 축소되었습니다. 이는 많은 사이트들이 AI의 무제한적인 데이터 활용을 막기 위해 차단을 강화했기 때문이죠.
반면 OpenAI의 OAI-SearchBot 같은 보조형 크롤러는 ChatGPT와 같은 AI 검색 기능을 위해 웹 콘텐츠를 가져옵니다. 이 크롤러들은 사용자 요청에 의해 작동하기 때문에, 사이트 운영자들 또한 이 크롤러들에 대해 상대적으로 개방적인 태도를 보이고 있습니다.
전통적인 크롤러와의 비교
구글이나 빙 같은 전통적인 검색 엔진 크롤러들은 여전히 견고한 지위를 유지하고 있습니다. 예를 들어, 구글봇은 여전히 72%의 평균 범위를 차지하고 있으며, 이는 AI 크롤러와 비교할 때 매우 중요한 시사점을 줍니다. 이를 통해 전통적인 크롤러 차단은 검색 가시성에 직접적인 영향을 미칠 수 있음을 우리는 알 수 있습니다.
웹 관리자에게 주는 메시지
Hostinger는 웹사이트 운영자들이 AI 크롤러에 대한 명확한 분리된 접근을 취할 것을 권장하고 있습니다. 훈련용 크롤러는 차단하되, 검색 보조 크롤러는 허용하여 AI 검색 결과에서의 가시성을 유지하도록 하는 것입니다. 웹사이트의 서버 로그를 체크하여 어떤 크롤러가 사이트에 접속하고 있는지 확인하고 목표에 따라 차단 또는 허용 결정을 내리는 것이 중요합니다.
예비 조치 및 앞으로의 나아갈 방향
구체적인 예로, OpenAI의 권고에 따르면 OAI-SearchBot을 허용하면 ChatGPT의 검색 결과에 사이트를 포함시킬 수 있으나, GPTBot은 차단하는 것이 전략적으로 유리합니다. 이러한 결정을 도와주는 AI 크롤러의 사용자 에이전트를 검토해볼 것을 추천드립니다. 이를 통해 AI 시대에서의 웹사이트 운영을 보다 효율적으로 할 수 있게 됩니다.
결론적으로, 각 사이트 운영자는 AI 크롤러의 종류와 목적에 따라 맞춤형 차단 전략을 마련하는 것이 중요합니다. 여러분의 사이트가 AI 기술을 이용하여 최적의 가시성을 얻기를 바라며, 새로운 디지털 시대에서 스마트한 운영 전략을 기대합니다.
작성자 소개
