본 발명의 실시예에 따른 자연어 문장을 기반으로 하는 변환 이미지 생성 장치는, 변환하고자 하는 적어도 하나의 객체를 포함하는 입력 이미지를 입력 받아, 상기 입력 이미지를 인코딩하는 이미지 인코더, 상기 입력 이미지와 관련된 자연어 문장을 입력 받아, 상기 자연어 문장을 인코딩하는 텍스트 인코더, 상기 입력된 자연어 문장에 따라 상기 입력 이미지의 적어도 하나의 객체를 변환하는 이미지-자연어 변환부 및 상기 변환된 객체를 포함하되, 상기 입력 이미지에서 상기 변환된 객체의 영역을 제외한 나머지 영역은 보존된 변환 이미지를 생성하는 변환 이미지 생성부를 포함할 수 있다.