생성형 AI는 빠르고 그럴듯한 답을 만들지만, 그 답이 곧 사실이라는 뜻은 아니다. 할루시네이션의 특성을 이해하고 농축임수산·6차산업 현장에서 오류, 개인정보, 저작권, 식품 표시·광고 위험을 줄이는 ‘멈춤-확인-기록’ 검증법을 소개한다.
딸기 체험농장 운영자가 생성형 AI에 “우리 딸기잼을 홍보할 문구를 만들어 달라”고 요청했다고 하자. AI가 “빈혈 예방에 좋은 건강 잼”이라는 문장을 제안할 수 있다. 표현은 자연스럽고 판매에도 도움이 될 것처럼 보인다. 그러나 실제 성분 근거가 있는지, 일반 식품에 질병 예방 효능을 암시해도 되는지는 전혀 다른 문제다.
AI가 만든 문장을 그대로 상세페이지나 현수막에 올리면 부당한 표시·광고 문제가 생길 수 있다.
생성형 AI 시대에 필요한 첫 번째 능력은 질문을 잘하는 기술만이 아니다. 답변을 어디까지 믿고, 무엇을 사람이 다시 확인할지 판단하는 능력이 더 중요하다.
AI는 ‘사실 검색기’가 아니라 ‘가능성 높은 문장 생성기’다
생성형 AI는 질문을 받으면 학습한 언어 패턴과 주어진 맥락을 바탕으로 다음에 올 가능성이 높은 표현을 조합한다. 이 과정에서 실제로 존재하지 않는 통계, 기관명, 지원사업, 논문, 인용문이나 링크를 사실처럼 제시할 수 있다. 이를 흔히 ‘할루시네이션(hallucination)’이라고 한다.
미국 국립표준기술연구소(NIST)는 생성형 AI 위험관리 자료에서 이를 ‘작화증(confabulation)’이라는 위험으로 다루며, 그럴듯하지만 잘못된 내용이 의사결정에 영향을 줄 수 있음을 경고한다. OpenAI 역시 할루시네이션을 “그럴듯하지만 거짓인 진술”로 설명한다.
중요한 점은 할루시네이션이 단순한 맞춤법 오류와 다르다는 사실이다. 문장이 매끄럽고 설명이 구체적일수록 사용자는 더 쉽게 믿는다. “출처를 알려 달라”고 요청해도 AI가 존재하지 않는 자료명을 만들어 낼 수 있다. 최신 모델이나 유료 서비스라고 해서 오류가 완전히 사라지는 것도 아니다. 따라서 AI의 자신감 있는 말투를 정확성의 증거로 받아들여서는 안 된다.
6차산업 현장에서는 작은 오류가 실제 책임으로 이어진다
농축임수산·6차산업은 생산, 가공, 체험, 판매가 연결되어 있다. AI가 잘못 알려 준 파종 시기나 방제 방법은 생산 판단에 영향을 줄 수 있고, 틀린 알레르기 안내는 고객 안전과 연결된다. 지원사업의 신청 기간이나 자격을 잘못 안내하면 기회를 놓친다. 인증, 원산지, 식품 효능을 과장하면 행정·법률상 문제가 될 수 있다.
특히 농약·동물약품 사용, 작물·가축 질병, 식품안전, 건강 효능, 원산지, 인증, 세무·노무·법률은 AI 답변만으로 결정해서는 안 된다. 제품 라벨, 인증서, 시험성적서, 계약서 등 보유 원문과 관계 기관의 최신 공고를 확인하고, 필요하면 담당 기관이나 전문가에게 문의해야 한다. 식품표시광고법은 식품이 질병의 예방·치료에 효능이 있는 것으로 인식될 우려가 있는 표시·광고 등을 금지하고 있다.
현장에서 적용하는 ‘멈춤-확인-기록’ 3단계
첫째, 멈춤이다. AI 답변에서 숫자, 날짜, 인명, 기관명, 지원 자격, 효능, 인증처럼 틀렸을 때 피해가 큰 문장을 표시한다. 아이디어나 초안은 바로 활용할 수 있지만, 안전·법률·거래·평판에 영향을 주는 내용은 게시와 실행을 잠시 멈춘다.
둘째, 확인이다. AI가 제시한 링크만 따라가지 말고 법령, 정부기관, 공공기관, 제조사, 인증기관의 원문으로 돌아간다. 공고일과 시행일, 적용 대상, 예외 조건까지 확인한다. 통계는 기관명·조사연도·단위가 맞는지 살펴보고, 중요한 사실은 서로 독립된 두 개 이상의 신뢰할 수 있는 자료와 대조한다. 출처가 없거나 찾을 수 없다면 그 문장은 삭제하거나 ‘확인되지 않음’으로 처리한다.
셋째, 기록이다. 사용한 질문, AI 초안, 확인한 원문 링크, 수정 내용, 최종 승인자를 함께 남긴다. 나중에 정보가 바뀌거나 문제가 제기됐을 때 판단 근거를 찾을 수 있다. 이 기록은 4회차에서 만들 ‘내 농장 전용 AI 프로젝트’의 중요한 자료가 된다.
개인정보와 저작권도 출고 전에 확인한다
AI에 고객 문의를 분석시킬 때는 이름, 전화번호, 주소, 결제정보, 건강·알레르기 정보 등 개인을 알아볼 수 있는 내용을 그대로 입력하지 않는다. 분석에 꼭 필요한 항목만 남기고 가명이나 범주로 바꿔야 한다. 사용하는 AI 서비스의 데이터 이용·보관 설정과 조직의 개인정보 처리 기준도 먼저 확인한다.
저작권 역시 “AI가 만들었으니 자유롭게 써도 된다”고 단정할 수 없다. 한국저작권위원회의 분쟁 예방 안내서는 생성형 AI 결과물도 기존 저작물과의 실질적 유사성, 의거관계 등 구체적 사정에 따라 침해 여부가 판단될 수 있음을 안내한다. 홍보 글은 특정 문장을 검색해 중복 여부를 살피고, 이미지는 기존 캐릭터·상표·사진·작품과 지나치게 유사하지 않은지 확인해야 한다. 사람의 기획, 선택, 수정 과정을 기록하는 것도 필요하다.
현장 결과물: AI 답변 검증 체크리스트
숫자·날짜·기관명·인용문이 원문과 일치하는가?
출처가 실제로 존재하며 최신 공식 자료인가?
고객·직원·거래처의 개인정보와 영업정보를 제거했는가?
기존 글·사진·캐릭터·상표와의 저작권·상표권 위험을 확인했는가?
식품 효능·원산지·인증·안전·법률 표현을 담당자나 전문가가 최종 검토했는가?
생성형 AI의 가치는 모든 답을 대신 결정하는 데 있지 않다. 초안을 빠르게 만들고, 사람이 더 중요한 판단에 집중하도록 돕는 데 있다. 오늘 AI로 작성한 홍보 문장 한 개를 골라 위 체크리스트로 검증하고, 확인한 근거를 함께 저장해 보자.
AI가 작성하고 사람이 책임지는 구조가 아니라, AI가 제안하고 사람이 근거로 완성하는 구조가 6차산업의 안전한 AI 활용법이다.
자주 묻는 말(FAQ)
Q1. AI에게 “사실만 말해 달라”고 지시하면 할루시네이션을 막을 수 있나?
오류 가능성을 줄이는 데는 도움이 되지만 완전히 막을 수는 없다. “모르면 모른다고 답하기”, “사실·추정·의견을 구분하기”, “근거 링크와 기준일 제시하기”를 요청하되, 중요한 정보는 반드시 원문으로 재확인해야 한다.
Q2. 고객 문의 내용을 AI로 요약할 때 이름만 지우면 충분한가?
그렇지 않다. 전화번호, 주소, 주문번호, 결제정보, 사진, 희귀한 구매 이력처럼 다른 정보와 결합해 개인을 알아볼 수 있는 항목도 제거하거나 범주화해야 한다. 꼭 필요한 최소 정보만 입력하는 원칙이 중요하다.
Q3. AI가 만든 홍보 문구와 이미지는 바로 상업적으로 사용해도 되나?
도구의 이용약관과 라이선스를 먼저 확인하고, 기존 저작물·상표·인물과의 유사성 및 타인의 권리 침해 가능성을 검토해야 한다. 제품 효능, 인증, 원산지 표현은 보유 증빙과 공식 기준을 별도로 확인해야 한다.
칼럼리스트 소개
윤성임 | 소셜앤비즈·한국AI융합비즈연구원 대표
윤성임 기술창업학박사는 건양사이버대학교 겸임교수, 국립목포대학교 등에 출강하고 있으며, KT·KTDS에서 16년간 ICT 시스템 개발·운영과 사용자 교육 현장을 경험했다. 현재 공공기관, 기업, 대학, 상공회의소, 각 지역 농협 및 농업기술센터 등을 대상으로 생성형AI 활용, AI 리터러시, AX·DX 전환 전략, AI 기반 업무혁신, 문서·콘텐츠 자동화, AI 에이전트 활용 교육과 컨설팅을 진행하고 있다. 특히 농축임수산업 종사자와 소상공인 등 비전공자 현장 실무자가 복잡한 AI 기술을 쉽게 이해하고 실제 업무에 적용할 수 있도록 돕는 실무·실습 중심 AI 교육을 확대하고 있다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}