방대한 데이터 학습한 인공지능

해답 도출과정 알기힘든 경우 많아

사람이 결과 신뢰할 수 있도록

美국방부·UNIST 예측 연구 활발

방대한 양의 데이터를 학습하고 다양한 경우의 수를 통해 최적의 결과물을 찾아내는 '똑똑한 인공지능(AI)'은 정보기술(IT)뿐 아니라 의료와 기초과학, 물류 등 다양한 분야에서 활용된다. AI는 높은 정확도로 정답에 가까운 답을 내놓지만 AI가 어떻게 이 답을 찾아냈는지는 알기 어려운 경우가 많다. 이를 'AI의 블랙박스화'라고 부른다. 마치 블랙박스처럼 의사결정의 이유와 과정을 이해하기가 어렵기 때문이다. AI는 사람이 직접 설계한 논리에 따라서 결과를 만들어내는 것이 아니라, 학습된 데이터를 통해 스스로 모델을 만들기 때문에 데이터의 어떤 속성이 결론(답)에 영향을 미쳤는지에 대해서 AI 스스로도 알지 못한다. 일례로 AI가 적용된 자율주행차가 갑자기 도로를 이탈한다고 가정했을 때, 엔지니어는 이 상황이 왜 일어났는지를 알아야 하지만 사실 이를 파악하기가 쉽지 않다.

이러한 AI 블랙박스 문제를 해결하기 위한 새로운 연구 분야가 '설명 가능한 인공지능 기술(eXplainable AI)'이다. AI의 결과를 이해할 수 있고 AI가 왜 오류가 났는지, AI의 결과를 얼마나 신뢰해야 하는지를 판단하는 '근거'를 만드는 게 이 연구 분야의 방향이다. 미국 국방부 산하 고등연구계획국(DARPA)은 2017년부터 AI 내부를 사람이 확인할 수 있는 설명 모델과 인터페이스 프로그램 개발을 추진하고 있다. 이를 통해 인간이 AI의 의사결정 과정을 이해하게 만드는 것이 DARPA 측 목표다. 링크트인은 2021년부터 설명 가능한 인공지능을 채용과 광고, 마케팅 분야에 적용하고 있다. 예를 들어 링크트인은 고객들이 계약을 취소할 위험을 예측하고, 왜 그런지도 설명해주는 AI 소프트웨어를 영업 분야에서 활용하고 있다.

울산과학기술원(UNIST)은 2017년부터 설명가능인공지능연구센터를 운영하고 있다. 지난해에는 설명 가능한 인공지능을 이용해 새로운 고강도 경량 알루미늄 합금의 원소 조합과 제작 공정을 설계하는 기술을 개발했다. 강도가 높으면서도 충분한 연성이 있는 합금을 설계하기 위해서는 최적의 첨가 원소 혼합 비율과 공정 조건을 찾아내야 하는데, 연구팀은 이를 빠르게 찾을 수 있는 딥러닝 AI 모델을 개발해 우수한 기계적 특성이 있을 것으로 예측되는 합금의 공정 조건을 얻었다. 특히 설명 가능한 인공지능 기술을 적용한 덕분에 AI가 특정 조합과 공정 과정을 왜 추천했는지 이유를 알 수 있어 결과에 대한 신뢰도를 높일 수 있었다.

최재식 KAIST 교수가 창업한 스타트업 인이지는 설명 가능한 인공지능 기술을 통해 AI 예측 서비스를 제공한다. AI 기반 모니터링과 예측을 제공해 문제 상황을 빠르게 인지하고, 성능 개선점을 분석해 공정을 최적으로 운영할 수 있게 도와준다. 일례로 이 회사는 AI를 포스코 스마트 고로에 적용해 용광로 쇳물 온도 오차를 25% 줄이는 데 기여하기도 했다.