오픈AI의 동영상 모델 '소라', 안전 기준 대폭 강화

오픈AI의 동영상 모델 '소라', 안전 정책 강화

오픈AI는 동영상 생성 모델 '소라'에 엄격한 가드레일을 적용하며, 미성년자 관련 콘텐츠와 '후방 주의' 콘텐츠 생성을 전면 금지한다고 발표했습니다.

 

소라 출시와 기술적 특징

지난 9일(현지시간), 오픈AI는 동영상 생성 모델 '소라'의 출시와 함께 시스템 카드를 공개했습니다. 여기에는 모델의 기술적 세부사항과 더불어 안전을 위한 조치 사항들이 포함되었습니다.

 

기술적으로는 기존의 ‘확산 트랜스포머(Diffusion Transformer)’ 아키텍처를 유지하며, '달리 3'의 캡션 기술을 활용해 데이터를 라벨링하여 정확도를 높였습니다. 학습 데이터는 "인터넷 규모의 데이터"를 기반으로 했다고 밝혔습니다.

 

강화된 안전 정책

눈에 띄는 부분은 안전 정책입니다. 오픈AI는 9개월 동안 60개국에서 300명 이상의 사용자 피드백을 수집하고, 9개국의 외부 레드팀과 협력하여 약 1만5000회의 위험성 테스트를 진행했다고 전했습니다.

• 성적 콘텐츠: 에로틱한 영상 생성을 방지하기 위해 특정 프롬프트에 따른 탈옥 가능성을 발견하고 이를 차단했습니다.
• 아동 보호: 미성년자가 포함된 텍스트, 이미지, 동영상 프롬프트에 대해 분류기를 활용해 관련 단체의 데이터베이스와 비교, 문제 소지가 있는 항목을 차단합니다. 18세 미만 이미지를 입력하면 생성이 즉시 거부됩니다.
• 딥페이크 방지: 특정인의 이름이나 살아 있는 아티스트의 스타일 모방 프롬프트를 금지했습니다.

 

NSFW 콘텐츠 생성 금지

오픈AI는 '후방 주의'로 알려진 NSFW(Not Safe for Work) 콘텐츠 생성도 금지하며, 모든 문제가 되는 키워드를 시스템에서 필터링한다고 강조했습니다. 이를 통해 소라는 AI 모델의 부정적인 활용을 철저히 방지한다고 밝혔습니다.

 

 

사용자와 창의성의 균형

로한 사하이 오픈AI 소라 제품 책임자는 "우리는 다소 보수적인 접근을 택했으며, 창의적 표현과 안전 사이에서 균형을 맞추려 한다"고 설명했습니다.

 

안전을 넘어선 기술 고도화

오픈AI는 정식 출시까지 9개월 동안 기술의 고도화와 안전 정책 강화를 병행했다고 밝혔습니다. 소라는 사용자 프롬프트를 대형언어모델(LLM)을 통해 분석하고 최적화하여 안전한 동영상을 생성합니다.

 

이러한 노력은 AI의 잠재적인 부작용을 막고, 창의적이고 책임감 있는 기술 발전을 지향하는 오픈AI의 방향성을 보여줍니다.