Uma abordagem inovadora para ensinar agentes de inteligência artificial (IA), conhecida como Human Guided Exploration (HuGE), emergiu como um método transformador na pesquisa de IA. Desenvolvido em colaboração por pesquisadores do MIT, da Universidade de Harvard e da Universidade de Washington, o HuGE permite que os agentes de IA aprendam novas tarefas de forma mais rápida e eficaz com a ajuda de feedback humano não especializado. Esta técnica inovadora está preparada para revolucionar a forma como os agentes de IA adquirem novas competências, tornando possível aos robôs aprenderem tarefas complexas de dent , com a orientação de feedback de crowdsourcing.
Desafios no treinamento de IA
Treinar agentes de IA para executar novas tarefas normalmente envolve um processo chamado aprendizado por reforço, onde o agente aprende por tentativa e erro, recebendo recompensas por ações que o aproximam de um objetivo pré- defi . Em muitos casos, os especialistas humanos devem conceber meticulosamente uma função de recompensa, um mecanismo de incentivo que motive o agente de IA a explorar e a agir. No entanto, projetar essas funções de recompensa pode ser demorado, ineficiente e desafiador para escalar, especialmente para tarefas complexas que envolvem múltiplas etapas.
Feedback crowdsourced como solução
A abordagem HuGE introduz uma mudança revolucionária ao aproveitar o feedback de crowdsourcing coletado de usuários não especialistas para orientar os processos de aprendizagem dos agentes de IA. Ao contrário dos métodos tradicionais que dependem de funções de recompensa projetadas por especialistas, o HuGE permite que os agentes de IA aprendam mais rapidamente, mesmo quando trabalham com dados ruidosos de não especialistas, cujo feedback pode conter erros que podem atrapalhar outros métodos.
Desacoplando o processo de aprendizagem
Os pesquisadores por trás do HuGE dividiram o processo de aprendizagem em dois componentes distintos, cada um conduzido por seu algoritmo. Essa abordagem separa a seleção de metas da fase de exploração, permitindo que o agente aprenda de forma eficiente com feedback de crowdsourcing. Os dois componentes principais do HuGE são os seguintes:
1. Algoritmo seletor de metas : esta parte da abordagem é atualizada continuamente com base no feedback de usuários não especialistas. Em vez de usar o feedback como uma função direta de recompensa, ele orienta a exploração do agente. Os usuários fornecem informações selecionando qual estado está mais próximo do objetivo desejado, permitindo que o agente ajuste sua exploração de acordo.
2. Exploração do agente: O agente de IA dent seu ambiente, guiado pelo feedback do seletor de meta. Ele coleta dados, como imagens ou vídeos de suas ações, que são então enviados a usuários humanos para posterior feedback. Esse ciclo restringe as áreas de exploração do agente, direcionando-o para caminhos promissores para atingir seu objetivo.
Benefícios do HuGE
O HuGE oferece diversas vantagens sobre os métodos tradicionais de treinamento de agentes de IA:
- Aprendizagem mais rápida: A abordagem permite que os agentes de IA aprendam novas tarefas mais rapidamente, mesmo quando o feedback humano contém erros ou imprecisões.
- Feedback assíncrono: o HuGE permite que o feedback seja coletado de forma assíncrona de usuários não especialistas em todo o mundo, tornando-o uma solução escalável e versátil.
- Aprendizagem autônoma: os agentes podem continuar aprendendo de forma autônoma, mesmo quando o feedback é limitado ou atrasado, garantindo um progresso contínuo.
Testes reais e simulados
Os pesquisadores realizaram testes extensivos em tarefas simuladas e reais para validar a eficácia do HuGE. Nas simulações, eles treinaram com sucesso agentes de IA para executar tarefas complexas com longas sequências de ações, como empilhar blocos em ordens específicas ou navegar em labirintos intrincados. Experimentos no mundo real envolveram o treinamento de braços robóticos para desenhar formas e pegar objetos, com dados coletados de usuários não especialistas em 13 países e três continentes.
Ampliação e aplicações futuras
Os resultados promissores do HuGE e a facilidade de obter feedback de não especialistas sugerem que ele possui um grande potencial para ampliar o treinamento em IA. No futuro, este método poderá permitir que robôs aprendam e executem tarefas específicas nas casas dos usuários sem exigir demonstrações físicas. Ao confiar no feedback de crowdsourcing, os robôs podem explorar de forma autônoma, guiados pela contribuição coletiva de não especialistas.
Os investigadores enfatizam a importância de garantir que os agentes de IA se alinham com os valores humanos e as considerações éticas. À medida que os agentes de IA aprendem e tomam decisões de dent , as diretrizes éticas e o alinhamento de valores são essenciais para a sua implantação segura e responsável.
Direções futuras
A equipe pretende refinar ainda mais a abordagem HuGE. Eles planejam permitir que os agentes de IA aprendam com diversas formas de comunicação, como linguagem natural e interações físicas com robôs. Além disso, eles estão explorando a possibilidade de usar o HuGE para treinar vários agentes simultaneamente, abrindo novos caminhos para a aprendizagem colaborativa de IA.
A Exploração Guiada por Humanos (HuGE) marca um avanço significativo no treinamento em IA, simplificando o processo de ensino de novas tarefas aos agentes de IA. Ao aproveitar a sabedoria coletiva de usuários não especialistas, o HuGE acelera o aprendizado, reduz a necessidade de funções de recompensa projetadas por especialistas e abre caminho para que os robôs adquiram habilidades complexas de forma autônoma. À medida que o campo da IA continua a evoluir, o HuGE é um testemunho do potencial da aprendizagem colaborativa e guiada por multidões na definição do futuro dos agentes inteligentes.
Consiga um emprego bem remunerado na Web3 em 90 dias: o roteiro definitivo
