OpenAI·구글·MS·앤트로픽, 공통 AI 학습 거부 신호 수용

보도에 따르면 지금까지 웹사이트 운영자는 OpenAI의 'GPT봇', 구글의 '구글 익스텐디드'처럼 기업마다 다른 크롤러·정책 식별자를 따로 지정해 학습 거부 규칙을 관리해야 했다. MS는 검색용 '노아카이브'·'노캐시' 설정을 AI 활용 제한에도 써 왔다.

최근 몇 주 사이 앤트로픽의 노래 가사 학습 공방, 메타의 기사 학습 약관 논란, 트위치의 스트리머 영상 활용 논란 등 학습 데이터 동의 문제가 잇따랐다. 이번 공통 신호는 IETF AIPREF 작업반에서 논의 중인 초안을 바탕으로 하며, 초안 작성자는 앤트로픽 소속이다.

웹사이트 운영자에게는 robots.txt 두 줄로 주요 4개 기업에 학습 거부를 한 번에 표시할 수 있다는 점이 가장 큰 변화다. 크롤러 이름 목록을 계속 갱신해야 하는 부담이 줄고, 특정 경로만 허용하는 세부 설정도 가능하다.

다만 보도된 내용상 이 신호는 학습에 관한 의사 표시일 뿐 접근이나 검색 노출을 막지 않으며, AI가 검색 결과를 참고해 답변을 만드는 행위도 직접 대상이 아니다. 언론사처럼 답변 인용으로 트래픽을 잃는 쪽에는 핵심 문제가 남는 셈이다. MS만 그라운딩을 따로 관리하게 해 기업 간 범위 차이도 생긴다.

경쟁사 측면에서는 이 4곳 밖의 AI 기업과 크롤러가 따를 의무가 없다. 일반적으로 자율 표준은 참여사가 늘어야 사실상 표준이 되므로, 규제 당국이 이를 옵트아웃 기준으로 인정하는지가 2차 효과를 가를 것이다.