공hannah부
인공지능과 엔트로피의 관계 본문
최근 흥미로운 기사를 발견했다.
https://www.newspim.com/news/view/20190911001200
[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피
김정호 교수.엔트로피의 정의와 인공지능의 요구'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원
newspim.com
논점
열역학 제2 법칙에서는 항상 전체 계의 엔트로피가 증가하는 방향으로 사건이 일어나는데 인공지능은 물리 법칙과 반대로 엔트로피가 감소하는 방향으로 학습을 최적화 한다.
이유
인공지능에서는 출력 결과값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 예측할 수 있기 때문이다. 이때 출력 결과값이 분명하려면 엔트로피가 낮아야 한다. 예를 들어 주사위의 경우 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있어 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 달라 각각의 확률 차이가 크고 엔트로피가 낮다. 이때 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화하기 때문에 주사위보다는 윷놀이를 원한다.
즉, 인공지능 출력의 확률 분포는 물리 법칙과 반대로 엔트로피가 낮을수록 좋다고 볼 수 있다.
'공부 > 인공지능' 카테고리의 다른 글
| EV3 - 유전 알고리즘 구현하기(파이썬) (1) | 2023.02.24 |
|---|---|
| 자동 아이스크림 주문 냉장고 구현 - 학습하기 (0) | 2023.02.23 |
| 자동 아이스크림 주문 냉장고 구현 - 데이터 다루기 (0) | 2023.02.23 |
| 자동 아이스크림 주문 냉장고 구현 - 데이터 수집 (0) | 2023.02.22 |
| EV3 - 인공지능 도어락 미니 프로젝트(파이썬) (0) | 2023.02.22 |
'공부/인공지능' Related Articles
more
