A Anthropic, uma empresa que realiza pesquisas sobre segurança de IA, está solicitando propostas sobre maneiras de avaliar modelos avançados de aprendizado.
O rápido crescimento da IA significa que há novos provedores e modelos de IA o tempo todo. Cada grande empresa de tecnologia tem seu próprio modelo, enquanto há dezenas de outras menores também. Isso significa que a indústria tem um problema crescente de benchmarking, dificultando a avaliação precisa do desempenho de um modelo de IA.
Não só é difícil afirmar quão eficaz um modelo é, mas também é difícil avaliar os riscos envolvidos com a segurança da IA. A Anthropic está solicitando propostas para preencher essa lacuna na avaliação da IA.
“Desenvolver avaliações de alta qualidade e relevantes para a segurança continua desafiador, e a demanda está superando a oferta”, escreve a empresa. “Para resolver isso, hoje estamos introduzindo uma nova iniciativa para financiar avaliações desenvolvidas por organizações terceirizadas que podem medir efetivamente capacidades avançadas em modelos de IA.”
O foco principal das propostas deve ser centrado em torno de: avaliações de Nível de Segurança de IA; métricas avançadas de capacidade e segurança; e infraestrutura, ferramentas e métodos para desenvolver avaliações. Deve haver detalhes sobre testes que podem avaliar a capacidade de um modelo de IA de realizar tarefas que vão desde ataques cibernéticos, trabalho em armas de destruição em massa, incluindo armas nucleares, e criação de deepfakes ou desinformação).
Como enviar uma proposta de avaliação de segurança de IA
Você pode ler mais detalhes sobre cada uma das seções para as quais a Anthropic está solicitando propostas e enviar uma proposta em site da empresa de pesquisa. A equipe está analisando as inscrições continuamente e fará o acompanhamento com propostas selecionadas para discutir os próximos passos.
A Anthropic alocou vários níveis de financiamento para ajudar a levar essas opções de pesquisa para os próximos estágios, além de oferecer a possibilidade de falar diretamente com especialistas de suas equipes internas de pesquisa e segurança.
Imagem em destaque: Ideograma
