Alegadas opiniões de especialistas sobre as saídas do Google Gemini estão sendo atribuídas a indivíduos sem experiência na área.

Assim como outros modelos de Inteligência Artificial, as respostas do Google Gemini podem ser imprecisas em alguns casos, possivelmente devido à falta de experiência dos testadores para verificá-las corretamente.

Segundo informações da TechCrunch, a companhia encarregada de aprimorar a precisão para a Gemini está atualmente solicitando que seus testadores avaliem respostas, mesmo que não possuam o conhecimento principal.

O relatório questiona a precisão e as normas que o Google afirma aplicar ao teste de Gemini. Na seção “Building responsibly” do anúncio Gemini 2.0, a Google menciona estar colaborando com testadores confiáveis e especialistas externos, além de realizar extensas avaliações de risco e segurança. Há um enfoque considerável na avaliação de respostas para conteúdo sensível e prejudicial, porém menos atenção é dada às respostas que não são necessariamente perigosas, mas sim imprecisas.

O Google parece ignorar o problema da alucinação e de erros ao apenas incluir um aviso de que “Gemini pode cometer erros, então verifique duas vezes”, o que acaba isentando a empresa de qualquer responsabilidade. No entanto, isso não se aplica aos humanos que realizam o trabalho nos bastidores.

Antes, a GlobalLogic, uma empresa subsidiária da Hitachi, orientou seus engenheiros e analistas a não considerar uma resposta Gemini que não estivessem completamente seguros de entender. As diretrizes visualizadas pelos funcionários indicavam que se não possuíssem a experiência crítica necessária (como em programação ou matemática) para avaliar a solicitação, deveriam simplesmente ignorar a tarefa.

Na semana passada, a GlobalLogic atualizou suas diretrizes, indicando que é importante avaliar as partes do pedido que se compreende, independentemente de exigirem conhecimento especializado do domínio. Eles enfatizaram que não é necessário possuir a experiência necessária para a análise, ou seja, a expertise não é considerada um pré-requisito para o trabalho.

Os clientes só podem desconsiderar as notificações que não contêm informações relevantes, conforme apontado pelo TechCrunch, ou aquelas que incluem conteúdo delicado que necessita de consentimento prévio.

Google – Suporte técnico para dispositivos informáticos