최재식 카이스트 교수·구글 책임감 있는 AI포럼 의장
챗GPT 등 LLM은 상당 부분이 설명하기 어려워
"의료·국방에서 AI가 왜 실수하는지 모른다면 사용할 수 있나"
"AI가 왜 실수했는지 알고 해결책 제시할 수 있어야"
AI 어떤 분야가 됐든 글로벌 시장을 타깃해야 경쟁력 있다

세면대 배수구가 막혀 물이 흘러넘치는 상황이 생겼을 때 우리는 배관공을 불러 수리를 요청한다. 배관공은 배수구에 머리카락이 많이 끼어있다는 진단을 내리고, 머리카락을 제거한 뒤 배수구가 너무 낡았다면 이를 교체할 것이다. 그런데 생성형 인공지능(AI)을 활용한 서비스에 문제가 생기면 누구한테 고쳐달라고 해야 할까. 궁리 끝에 AI 서비스를 만든 사람에게 문의했는데, 그조차도 AI 서비스 오작동 원인을 모르는 상황이 생긴다면 아마도 사람들은 이 서비스를 더이상 사용하지 않게 될 것이다. 이름하여 ‘설명가능한 AI’가 중요해지는 이유다.

최재식 한국과학기술원(KAIST) 김재철AI대학원 교수는 지난 2016년 구글 딥마인드가 개발한 AI바둑 프로그램 ‘알파고(AlphaGo)’가 이세돌 9단을 이겼을 때부터 ‘설명가능한 AI’를 주장해 온 인물이다. 최 교수는 최근 김재철AI대학원 성남연구센터에서 가진 인터뷰에서 “AI의 작동 원리를 알지 못하면 쓸 수 없는 환경이 있을 수 있다”며 “챗GPT 등 대형언어모델(LLM)은 알지 못하는 부분이 훨씬 많은데, 이 부분을 알고자 하는 것이 설명가능한 AI에서 하는 일”이라고 밝혔다. 그는 KAIST 설명가능한 인공지능(eXplainable AI·XAI) 연구센터장이자 구글의 ‘책임감 있는 AI포럼’ 의장을 맡고 있다.

다음은 최재식 카이스트 교수와의 인터뷰를 정리한 것이다.

-‘설명가능한 AI’가 주목받고 있다.

△AI가 잘 작동하긴 하는데 왜 그런지 아무도 모른다고 한다면 계속 사용할 수 있을까. AI스피커는 틀려도 별 피해가 없었다. 무엇인가 검색할 때 구글의 검색 원리를 몰라도 된다. 그런데 의료·자율주행 자동차·국방·대규모 금융거래 등에서 AI가 틀린다면 계속 활용할 수 있을지 생각해봐야 한다. 국방 분야에서 AI가 사용될 때, 1만 번 중 한 번 폭탄이 잘못 터진다고 할 때 언제 잘못 터질지 아무도 모른다면 AI를 사용하지 않을 것이다. 알지 못하면 쓸 수 없는 환경들이 있다. 설명가능한 AI는 AI의 작동원리를 알아야겠다는 것이다.

-설명가능한 AI는 의료·국방 등 안전과 관련된 부분에서만 유효한가.

△반드시 그렇지는 않다. 만약 스마트폰 AI에이전트가 약속을 잡는데 일주일 중 특정한 날마다 자꾸 틀린다. 그러면 짜증이 날 것이다. 그런데 틀리지 않도록 하기 위해 ‘R’이라는 알파벳을 넣으면 안 틀릴까. 이런 식으로 방법을 찾으면 그래도 쓸 수 있는데 방법을 못 찾으면 안 쓸 것이다. 사람 손으로 계속해서 뭔가를 해야 하는 번거로움이 생기니까 말이다. AI를 쓰는 사람 입장에서 틀려도 되는 것은 없다. 어떤 때는 인식이 잘되고 어느 때는 안 된다면 이를 쓰는 사람은 그 원리를 알고 싶어할 것이다.

-고위험AI로 분류되는 몇 가지들이 있다. 그것은 설명가능한 AI가 반드시 적용돼야 하나?

△AI서비스 이용자의 생명, 경제적 이해관계에 직접적으로 영향을 미치는 것에 대해선 ‘고위험’이라는 것에 대다수가 동의한다. 자율주행, 신용평가, 인사평가 등이다. 고위험이라고 반드시 ‘설명해야 한다’는 것은 아니다. 다만 우리나라는 3월 개인정보보호법 개정을 통해 개인정보가 들어간 것 중에 AI가 의사결정을 잘못해 피해를 본다면 이를 설명해주도록 했다. 예컨대 AI를 활용한 결과에서 신용도가 너무 낮게 나왔거나 입사 면접에서 탈락했다면 왜 그런지를 설명해야 한다. 물론 이러한 법에 동의하지 않은 사람들도 있다.

-2016년 딥러닝이 유행할 때만 해도 알고리즘의 작동 원리를 모른다고 했다. 설명가능한 AI가 기술적으로 가능한가?

-대표적인 LLM, 챗GPT는 설명이 어려운 부분이 많은가?

-설명가능한 AI는 기술발전 속도를 늦출까?

-기업간 경쟁이 심해지면 ‘설명할 수 없는 AI’까지 빠르게 가게 되는 것인가?

-범용 인공지능(AGI·Artificial General Intelligence)이 나오면 인간에게 위협적일까?

-AI, AGI가 사회성을 갖게 하는 것도 기술적으로 가능한가?

-구글의 ‘책임감 있는 AI포럼’의장을 맡고 있다. 어떤 의미가 있나?

-책임감 있는 AI포럼에선 주로 어떤 것을 논의하나?

-전 세계가 정부, 기업 차원에서 AI경쟁을 벌인다. 우리나라는 어떻게 전략을 펴야 할까?

기사 전문 확인 (URL 클릭)

[출처] 최정희 기자 |  이데일리

당사 웹사이트에 공유된 모든 보도 자료는 부분적으로 발췌되었습니다. 콘텐츠는 정보 제공의 목적으로만 제공되며 원래 게시자의 재산으로 유지됩니다.

원본 게시자의 허가 없이 공유 콘텐츠를 무단으로 복사, 복제 또는 재배포하는 것은 엄격히 금지됩니다.