인공지능이 재귀 발전을 하다가..


재귀적 성능 개선은 벤치마크로 그 유효성을 평가하겠죠?


그러다 어느날 우연하게도 모든 벤치 지표는 향상 시켰지만, 치명적으로 무능한 부분이 생겨버린

인공지능이 릴리즈 되었는데


해당 시기에는 군사, 의료,경제 등 핵심적인 사회 문제 해결에

인공지능이 범용적으로 쓰이고 있다고 하면요,


이런 빽도 같은 사고가 나면

수백만명이 재앙적 데미지를 입는 일도 가능하지 않을까요?


그레서

크리티컬한 분야는

벤치 테스트만 믿고 신 모델을 도입하지 않고,

충분히 검증된 모델이 계속 쓰일 분야도 생길 것 같습니다.


우주선에 386칩 쓰는거랑 비슷한거죠.

물론 모델을 검증하는 기술도 필요하겠지만요...

댓글

사람이 가중치보정을 어떻게 하느냐가 관건이죠, 지금도 llm 트랜스포머 이어나가다가 특정부분에서 확률이 1.0(100%)가 되어버리면 거기서부터 환각이 생기는 구조입니다.

@d2308735 님 모델의 안정성에 대한 여러 지표들이 개발되면 좋겠네요.