🧠

Explainable AI

Overview

설명 가능한 AI(XAI, Explainable Artificial Intelligence)는 머신 러닝 알고리즘으로 작성된 결과와 출력을 인간인 사용자가 이해하고 이를 신뢰할 수 있도록 해주는 일련의 프로세스와 방법론입니다. 설명 가능한 AI를 사용하면 AI 모델, 이의 예상된 영향 및 잠재적 편향을 기술할 수 있습니다. 이는 AI 기반 의사결정에서 모델 정확성, 공정성, 투명성 및 최종 결과를 특성화하는 데 유용합니다. 설명 가능한 AI는 기업이 AI 모델을 생산에 투입할 때 신뢰감과 자신감을 얻는 데 있어서 매우 중요합니다. AI 설명가능성은 기업이 AI 개발에 책임 있는 접근 방식을 적용하는 데도 도움이 됩니다.

AI가 고도로 발전함에 따라, 인간은 AI 알고리즘의 결과 도출 과정을 파악하고 이를 역추적해야하는 난제에 봉착하게 되었습니다. 전체 계산 프로세스는 해석이 불가능한 소위 말하는 "블랙박스"로 전환됩니다. 이러한 블랙박스 모델은 데이터로부터 직접 구축됩니다. 또한 알고리즘을 만드는 엔지니어나 데이터 사이언티스트조차도 그 내부에서 도대체 무슨 일이 발생하는지 혹은 AI 알고리즘이 특정 결과를 어떻게 도출하는지를 파악하거나 설명할 수가 없습니다.

AI 기반 시스템이 특정 결과를 도출하는 방법을 파악할 수 있으면 매우 유용합니다. 설명가능성은 개발자가 시스템이 예상대로 작동 중인지를 보장하는 데 유용하며, 규제 방식의 표준을 따라야 할 수도 있습니다. 또한 이는 의사결정으로 침해를 당한 사람들이 해당 결과에 이의를 제기하거나 이를 바꿀 수 있도록 허용하는 데 있어서 중요할 수도 있습니다.

Explainable artificial intelligence (XAI) is a set of processes and methods that allows human users to comprehend and trust the results and output created by machine learning algorithms. Explainable AI is used to describe an AI model, its expected impact and potential biases. It helps characterize model accuracy, fairness, transparency and outcomes in AI-powered decision making. Explainable AI is crucial for an organization in building trust and confidence when putting AI models into production. AI explainability also helps an organization adopt a responsible approach to AI development.

As AI becomes more advanced, humans are challenged to comprehend and retrace how the algorithm came to a result. The whole calculation process is turned into what is commonly referred to as a “black box" that is impossible to interpret. These black box models are created directly from the data. And, not even the engineers or data scientists who create the algorithm can understand or explain what exactly is happening inside them or how the AI algorithm arrived at a specific result.

There are many advantages to understanding how an AI-enabled system has led to a specific output. Explainability can help developers ensure that the system is working as expected, it might be necessary to meet regulatory standards, or it might be important in allowing those affected by a decision to challenge or change that outcome. (Reference: https://www.ibm.com/kr-ko/watson/explainable-ai)

People

Projects

설명가능한 AI 기반 디지털트윈 (XAI-DTw) 자율운영 서비스 기술 개발

지원 기관 : 산업통상자원부

사업명 : 지식서비스산업기술개발사업

디지털트윈
지식사물인터넷 (IoT)을 통해 실제 데이터를 입력받고, 인공지능 (AI) 기술을 통해 입력된 데이터에 대한 영향을 예측 또는 시뮬레이션하여, 그 출력값을 기반으로 물리적 객체를 최적화하여 운영할 수 있도록 지원

설명가능한 AI
인공지능이 입력된 데이터를 기반으로 도출된 특정 판단결과의 과정과 이유를 사람이 이해할 수 있도록 제공하는 기술로서, 이를 통해 디지털트윈이 특정 상황에 대해 입력된 데이터를 처리 및 분석하여 의사결정 결과 (insights)를 도출하는 과정과 근거를 효과적으로 제시할 수 있는 서비스 제공

설명가능한 AI 기반 디지털트윈
실시간 수집 데이터를 기반으로 실감형 3D 모델로 자동생성
내재된 학습모델을 통해 문제상황에 대한 원인과 결과 및 해결방안을 도출
도출된 결과를 기반으로 대응하는 전 과정을 능동적으로 수행하는 자율운영
디지털트윈의 생성에서부터 활용까지의 전 과정을 자율화하고, 이를 위한 수리적이고 논리적인 모델들의 사고체계를 사용자에게 이해할 수 있는 방법으로 제시

Publications

Research Paper

Year

Title

Venue

Tag

Authors

URL

Date

Index

Award

2024

Deep learning approach for dysphagia detection by syllable-based speech analysis with daily conversations