인간 유도 탐색(HuGE)으로 알려진 인공 지능(AI) 에이전트를 교육하는 획기적인 접근 방식이 AI 연구의 혁신적인 방법으로 등장했습니다. MIT, 하버드 대학교, 워싱턴 대학교의 연구원들이 공동으로 개발한 HuGE를 사용하면 AI 에이전트가 비전문가의 피드백을 통해 새로운 작업을 보다 빠르고 효과적으로 학습할 수 있습니다. 이 혁신적인 기술은 AI 에이전트가 새로운 기술을 습득하는 방식을 혁신하여 로봇이 크라우드소싱 피드백의 안내에 따라 복잡한 작업을dent으로 학습할 수 있게 해줍니다.
AI 훈련의 과제
새로운 작업을 수행하도록 AI 에이전트를 훈련하는 데는 일반적으로 강화 학습이라는 프로세스가 포함됩니다. 여기서 에이전트는 시행착오를 통해 학습하고 사전defi된 목표에 더 가까워지는 행동에 대한 보상을 받습니다. 많은 경우 인간 전문가는 AI 에이전트가 탐색하고 조치를 취하도록 동기를 부여하는 인센티브 메커니즘인 보상 기능을 꼼꼼하게 설계해야 합니다. 그러나 이러한 보상 기능을 설계하는 것은 시간이 많이 걸리고 비효율적이며 확장하기 어려울 수 있습니다. 특히 여러 단계가 포함된 복잡한 작업의 경우 더욱 그렇습니다.
솔루션으로서의 크라우드소싱 피드백
HuGE 접근 방식은 비전문 사용자로부터 수집된 크라우드소싱 피드백을 활용하여 AI 에이전트의 학습 프로세스를 안내함으로써 혁신적인 변화를 도입합니다. 전문적으로 설계된 보상 기능에 의존하는 기존 방법과 달리 HuGE를 사용하면 AI 에이전트가 다른 방법을 방해할 수 있는 오류가 포함되어 있을 수 있는 비전문가의 시끄러운 데이터로 작업할 때에도 AI 에이전트가 보다 신속하게 학습할 수 있습니다.
학습 과정 분리
HuGE의 연구원들은 학습 과정을 각각 알고리즘에 의해 구동되는 두 가지 개별 구성 요소로 나누었습니다. 이 접근 방식은 탐색 단계에서 목표 선택을 분리하여 에이전트가 크라우드소싱 피드백을 통해 효율적으로 학습할 수 있도록 합니다. HuGE의 두 가지 주요 구성 요소는 다음과 같습니다.
1. 목표 선택 알고리즘 : 이 접근 방식 부분은 비전문가 사용자의 피드백을 기반으로 지속적으로 업데이트됩니다. 피드백을 직접적인 보상 기능으로 사용하는 대신 에이전트의 탐색을 안내합니다. 사용자는 원하는 목표에 더 가까운 상태를 선택하여 입력을 제공하고 에이전트는 이에 따라 탐색을 조정할 수 있습니다.
2. 에이전트 탐색: AI 에이전트는 목표 선택자의 피드백에 따라 독립적으로 환경을 탐색합니다 dent 이는 작업에 대한 이미지나 비디오와 같은 데이터를 수집한 다음 추가 피드백을 위해 인간 사용자에게 전송됩니다. 이 루프는 에이전트의 탐색 영역을 좁혀 목표를 달성할 수 있는 유망한 경로로 안내합니다.
HuGE의 장점
HuGE는 AI 에이전트 교육을 위한 기존 방법에 비해 몇 가지 장점을 제공합니다.
- 더 빠른 학습: 이 접근 방식을 사용하면 인간의 피드백에 오류나 부정확성이 포함된 경우에도 AI 에이전트가 새로운 작업을 더 빠르게 학습할 수 있습니다.
- 비동기 피드백: HuGE를 사용하면 전 세계 비전문가 사용자로부터 피드백을 비동기적으로 수집할 수 있으므로 확장 가능하고 다양한 솔루션이 됩니다.
- 자율 학습: 에이전트는 피드백이 제한되거나 지연되는 경우에도 자율적으로 학습을 계속하여 지속적인 진행을 보장할 수 있습니다.
실제 및 시뮬레이션 테스트
연구원들은 HuGE의 효율성을 검증하기 위해 시뮬레이션 및 실제 작업 모두에 대해 광범위한 테스트를 수행했습니다. 시뮬레이션에서 그들은 특정 순서로 블록을 쌓거나 복잡한 미로를 탐색하는 등 긴 동작 순서로 복잡한 작업을 수행하도록 AI 에이전트를 성공적으로 훈련했습니다. 실제 실험에는 3개 대륙 13개 국가의 비전문가 사용자로부터 크라우드소싱된 데이터를 사용하여 모양을 그리고 물체를 집는 로봇 팔을 훈련시키는 것이 포함되었습니다.
확장 및 향후 애플리케이션
HuGE의 유망한 결과와 비전문가 피드백을 쉽게 얻을 수 있다는 점은 AI 교육을 확장할 수 있는 큰 잠재력을 가지고 있음을 시사합니다. 미래에는 이 방법을 통해 로봇이 실제 시연 없이도 사용자의 집에서 특정 작업을 학습하고 수행할 수 있을 것입니다. 크라우드소싱 피드백에 의존함으로써 로봇은 비전문가의 집단적 입력에 따라 자율적으로 탐색할 수 있습니다.
연구원들은 AI 에이전트가 인간의 가치와 윤리적 고려 사항에 부합하는지 확인하는 것이 중요하다고 강조합니다. AI 에이전트가dent으로 학습하고 결정을 내리기 때문에 윤리적 지침과 가치 조정은 안전하고 책임감 있는 배포에 매우 중요합니다.
향후 방향
팀은 HuGE 접근 방식을 더욱 개선하는 것을 목표로 합니다. 자연어, 로봇과의 물리적 상호작용 등 다양한 형태의 의사소통을 통해 AI 에이전트가 학습할 수 있도록 할 계획이다. 또한 HuGE를 사용하여 여러 에이전트를 동시에 교육하여 협업 AI 학습을 위한 새로운 길을 여는 가능성을 모색하고 있습니다.
인간 안내 탐색(HuGE)은 AI 에이전트에게 새로운 작업을 가르치는 프로세스를 단순화하여 AI 훈련에서 중요한 도약을 의미합니다. HuGE는 비전문가 사용자의 집단적 지혜를 활용하여 학습을 가속화하고 전문가가 설계한 보상 기능의 필요성을 줄이며 로봇이 자율적으로 복잡한 기술을 습득할 수 있는 길을 열어줍니다. AI 분야가 계속 발전함에 따라 HuGE는 지능형 에이전트의 미래를 형성하는 데 있어 협업 및 군중 중심 학습의 잠재력을 보여주는 증거입니다.
Cryptopolitan Academy: 인터뷰에 도움이 되는 Web3 이력서 작성 방법 - 무료 치트 시트
