OpenAI 봇의 돌발 행동
지난 주말, 우크라이나에
본사를 두고 있는 소규모
기업, Triplegangers의 웹사이트가
갑작스럽게 다운되었습니다.😱
이 회사의 CEO, 올렉산드르 톰춥
씨는 이를 DDoS 공격으로
오인할 정도로 심각한 상황을
경험하게 되었죠.
원인은 바로 AI 봇
이 문제의 원인은 다름 아닌
OpenAI의 봇이었습니다.
이 봇은 Triplegangers의 웹사이트에서
수십만 개의 페이지를
크롤링하려고 시도했습니다.
이로 인해 서버는 과부하에
걸렸고, 이는 마치 DDoS 공격과
같은 결과를 초래했죠.
“우리 사이트에는 6만 5천
개 이상의 제품이 있습니다.”
라고 톰춥 씨는 설명했습니다.
각 페이지에는 최소 3장의
사진이 포함되어 있죠.
로봇.txt의 중요성
이 사건은 웹사이트의 로봇.txt
파일 설정의 중요성을
다시 한번 일깨워 줍니다. 📜
톰춥 씨의 사이트에는 기본적인
봇 차단 설정이 되어 있었지만,
OpenAI의 특정 봇을 차단하기
위한 추가 설정이 필요했습니다.
OpenAI는 자사의 크롤러가
로봇.txt 파일을 존중한다고
밝혔지만, 이를 제대로
적용하지 않는다면 문제가
발생할 수 있습니다.
작은 기업의 큰 부담
이와 같은 상황은 작은
기업에게 큰 부담을 줍니다.
톰춥 씨는 “AWS 청구서가
크게 증가할 것 같습니다”라고
걱정했습니다. 💸
결국, Triplegangers는 로봇.txt
파일을 다시 설정하고,
Cloudflare를 통해 추가적인
보호 조치를 취했습니다.
해결책은 어디에?
하지만 문제는 여전히
남아 있습니다. 톰춥 씨는
OpenAI와의 직접적인
연락 방법을 찾지 못했고,
크롤링된 데이터를 제거할
방법도 찾지 못했습니다.
이 사건은 AI 봇이
어떻게 웹사이트를 위협할
수 있는지를 잘 보여줍니다.
출처: TechCrunch
