'나이트셰이드'는 텍스트 프롬프트(지시어) 사이 연관성을 노리고 음영처리로 이미지 픽셀을 미세하게 변조해 AI모델로 하여금 다른 형태로 해석하게 만든다. 사람의 눈에는 원본과 구별이 어려운 이미지가 보이지만, AI모델은 구도가 크게 달라진 상태로 학습하게 되고 결국 전혀 다른 이미지를 생성하게 된다. 이런 독이 쌓여 식중독을 일으킨 AI모델은 우주를 날아가는 소를 그려달라는 요청에 대해 우주에 떠있는 핸드백으로 답한다는 게 연구진의 설명이다.

현재 피어리뷰 중인 해당 논문에 따르면 AI모델을 손상시키는 데 필요한 독 샘플은 100개 미만일 수 있다. 또 이로써 변환된 이미지를 자르거나 압축하거나 노이즈를 추가해도 독의 효과는 그대로 유지된다. 해당 이미지를 스크린샷으로 따오거나 모니터 화면을 스마트폰 카메라 등으로 촬영한 것에도 그 효과가 이어진다. 기존 워터마크나 메시지를 숨기는 방식이 아니라서 이런 과정에서도 보호장치가 깨지지 않는다고 한다.

이 프로젝트를 주도한 벤 자오(Ben Zhao) 시카고대 컴퓨터공학 교수와 그의 연구팀은 지난해 생성형AI의 스타일 모방으로부터 이미지를 보호하기 위해 적용할 수 있는 '글레이즈(Glaze)'라는 도구도 내놓은 바 있다. 이번에 내놓은 '나이트셰이드'는 좀 더 공격적인 도구이며, 연구진은 이 둘을 함께 사용하는 것을 권한다.

일각에선 '나이트셰이드'가 AI모델을 손상시킨다는 점에서 해킹이나 사이버테러에 빗대며 비판하는 목소리도 나오고 있다. 이에 대해 자오 교수는 IT매체 테크크런치와의 인터뷰에서 AI 기술 발전을 반대하는 입장이 아님을 분명히 하는 한편, AI기업과 아티스트들 사이에 힘의 균형이 기울어져있는 상황에서 무단 학습을 저지할 실질적 강제 수단이 아직 마련되지 않았다는 점을 지적했다.

그는 "진짜 문제는 동의와 보상에 관한 것"이라며 "우리는 콘텐츠 제작자가 무단 학습에 대해 반발할 수 있는 방법을 제공하는 것뿐"이라고 밝혔다.