Agente de I.A. respondendo errado? Como achar o erro no roteiro

Quando o agente de I.A. do escritório diz algo que não devia, a origem está escrita em algum lugar da construção dele: nas regras gerais, no roteiro de atendimento, nas perguntas frequentes ou na base de conhecimento. O método para achar é sempre o mesmo. Você localiza na conversa a última coisa certa que o agente fez, abre aquele trecho do roteiro, lê palavra por palavra, corrige o mínimo e testa de novo com a mesma mensagem que o cliente mandou. E aceita que existe uma taxa de erro: na minha opinião, 90% de acerto já é um bom resultado, e o resto se reduz com ajuste, não com mais regras.

“O agente nunca é doido”

Eu repito isso nas sessões de suporte desde o começo. Se o agente está falando alguma coisa, existe uma configuração que leva a isso. Quando eu entrego um agente em branco para o escritório construir, tudo o que for colocado dentro dele é o que ele vai usar para responder. Então o lugar de procurar é o roteiro, entendido como a construção inteira do agente.

Um exemplo simples. Um cliente perguntou o endereço do escritório para a reunião, e o agente passou o endereço físico, mas a primeira reunião daquele escritório era por vídeo. O endereço estava cadastrado nas informações do escritório, e em nenhum lugar o roteiro dizia que a reunião era online. A correção é uma linha no roteiro.

Onde procurar

No agente da Guimoo, cada parte tem o seu campo, e qualquer uma pode ser a origem da frase:

• Regras gerais. O que vale para a conversa inteira: tom de voz, o que nunca dizer, critérios de qualificação.
• Roteiro de atendimento. As etapas, com começo, meio e fim: recepção, triagem, oferta, agendamento.
• Perguntas frequentes. Respostas que o agente pode usar fora do fluxo do roteiro.
• Base de conhecimento e informações do escritório. Endereço, horários, áreas de atuação, textos de apoio.

As perguntas frequentes são as mais esquecidas. Numa sessão, um usuário não queria que o agente marcasse reunião antes da triagem, e o roteiro dizia isso: se o cliente pedir para agendar, diga que sim, mas antes faça algumas perguntas. Mesmo assim, o agente respondia “claro, vamos agendar” e pedia a disponibilidade. Lendo tudo, achamos mais duas instruções: uma linha, mais abaixo no roteiro, mandando passar para alguém da equipe quando o cliente pedisse agendamento, e, nas perguntas frequentes, “podemos agendar um atendimento?”, com a resposta que o agente estava dando. Três instruções para a mesma situação.

Na mesma leitura apareceu outra contradição: as regras proibiam oferecer “análise gratuita”, e uma mensagem do roteiro oferecia justamente isso. Instrução que se contradiz deixa o agente perdido. E essa pede cuidado dobrado: na publicidade, o Provimento 205/2021 da OAB veda a referência a gratuidade como forma de captação de clientes (art. 3º, I).

O método, passo a passo

1. Ache a última coisa certa. Leia a conversa real até o ponto em que ela saiu do caminho. O erro está logo depois da última coisa certa que o agente fez.
2. Localize a etapa. Pegue a mensagem exata que incomodou, veja em que etapa do roteiro ela foi enviada e abra essa etapa.
3. Leia palavra por palavra. Regras gerais, roteiro, perguntas frequentes e base de conhecimento. Não passe o olho: leia. Procure a frase, a palavra que pode tê-la puxado e instruções que se contradizem.
4. Corrija o mínimo. Muitas vezes a correção é tirar, não colocar. Já ajustei agente acrescentando três palavras e apagando um trecho inteiro que só confundia. Mude uma coisa por vez, para saber o que resolveu.
5. Teste com a mesma mensagem. Mande, de outro número, exatamente o que o cliente mandou. Na Guimoo, enviar #sair na conversa de teste zera a memória do agente naquele chat, e você recomeça como se fosse um contato novo. Deixe a conversa de um lado da tela e o roteiro do outro.
6. Volte às conversas reais. Nos dias seguintes, confira se a situação se repetiu.

O teste é a etapa que mais gente pula. Já ouvi que “quem testa são os leads que vão chegando”. A diferença é que, quando você testa, está com o roteiro aberto ao lado e vê em qual linha a conversa desviou. O cliente não mostra isso, e cada “teste” feito com ele é um atendimento de verdade.

Um caso do começo ao fim

Um escritório previdenciário tinha um agente de recepção que identificava a demanda e transferia para dois agentes: um de salário-maternidade e outro de auxílio-doença. Uma gestante escreveu que queria saber sobre “auxílio maternidade”, e a recepção mandou a conversa para o agente de auxílio-doença.

Primeiro, a conversa: a última coisa certa foi receber a demanda, e o desvio veio na transferência. Depois, as regras gerais, palavra por palavra, sem nada de estranho. Então, o roteiro da recepção, na etapa da demanda. A instrução de maternidade só falava em “salário-maternidade”, e a palavra “auxílio” só aparecia na instrução do auxílio-doença. A mensagem da cliente tinha uma palavra de cada, e o roteiro não dizia o que fazer com essa mistura.

A correção foi acrescentar “auxílio maternidade” na instrução certa, com uma descrição curta de cada benefício, e tirar da recepção trechos de qualificação, já que ela só identifica e transfere. Depois, #sair e a mesma mensagem que a cliente tinha mandado. A conversa foi para o agente de salário-maternidade e seguiu a triagem.

Às vezes é uma palavra

Um usuário reclamou que o agente passou a avisar os clientes de que ia “transferir” o atendimento. No roteiro havia duas linhas dizendo para quem transferir e para quem não transferir: instruções internas, escritas como fala, com justamente a palavra que ele não queria ver na conversa. No roteiro da Guimoo, a transferência entre agentes é uma ação inserida com o @, sem frase explicando.

Outro usuário via o agente repetir o nome do cliente em quase toda mensagem, embora as regras dissessem para não repetir. As mensagens-modelo do roteiro tinham um marcador de nome em vários pontos, do tipo “Entendi, [nome]”. Quando a regra diz uma coisa e o roteiro mostra outra, o agente tende a seguir o exemplo. O primeiro passo foi tirar os marcadores e deixar o nome só onde ele deve aparecer.

Escreva instrução, não intenção

A regra desse mesmo agente dizia: “use o nome do cliente com parcimônia e naturalidade”. O que é naturalidade? Para uma pessoa, depende do contexto. Para uma máquina, é vago demais.

Eu costumo contar a história das galinhas. Se eu digo “as galinhas estão prontas para comer”, dá para entender que o almoço está pronto, que as galinhas do quintal estão no ponto de ir para a panela ou que elas estão esperando o milho. A frase é a mesma, e o sentido muda. Isso é semântica, e é muito difícil ensinar semântica para uma I.A. Quando o usuário explicou o que queria, a regra ficou objetiva: usar o nome no começo do atendimento, ao retomar uma conversa e no fechamento.

Vale olhar o verbo também. “Não precisa fazer isso” dá uma opção. “Não faça isso” é uma regra. Regra é limite.

A I.A. vai errar, e tudo bem

É o que eu digo no vídeo do topo desta página. A I.A. não vai funcionar 100% das vezes. É uma máquina, e existe uma taxa de erro. Na minha opinião, se ela acerta 90% das conversas, já é um ótimo resultado, e dá para melhorar esse número ajustando o roteiro.

Separe o que é diferente do roteiro do que é a I.A. escrevendo a própria frase. Se o agente começar a falar de plantação de tomate numa conversa sobre aposentadoria, aí é diferente do roteiro, e o método acima acha a causa. Se ele usou o nome do cliente uma vez a mais do que você gostaria, não é defeito. Um chatbot manda sempre a mesma mensagem; a I.A. gera a resposta. Tentar controlar cada detalhe com “não faça isso” é o que eu chamo de amarrar o leão, assunto do artigo sobre acompanhar o que a I.A. atende.

Numa sessão, um usuário chegou com uma lista de 24 erros. Fomos olhando um por um. A maior parte era o agente fazendo exatamente o que estava configurado, e o que sobrou era ajuste de roteiro. E, antes de mexer, pergunte em quantas conversas aquilo aconteceu. Uma conversa fora da curva se resolve com uma pessoa entrando no atendimento, não com um roteiro novo.

Por que isso é trabalho do escritório

Quem responde pelo que o agente diz é o escritório. O Provimento 205/2021 da OAB permite chatbot para facilitar a comunicação, desde que ele não suprima “a imagem, o poder decisório e as responsabilidades do profissional” (Anexo Único, item “Chatbot”). Saber achar e corrigir uma frase no roteiro faz parte disso. E não tem código secreto: é ler a conversa, ler o roteiro e testar.

Por onde começar esta semana

1. Separe três conversas em que o agente disse algo que você não gostou e marque a frase exata.
2. Em cada uma, ache a última coisa certa e a etapa do roteiro onde o problema começa.
3. Leia as partes do agente palavra por palavra, com a conversa aberta ao lado.
4. Corrija uma coisa só, mande #sair e repita a mensagem do cliente, de outro número.
5. Anote o que mudou e onde estava o problema. Com o tempo, você reconhece os mesmos padrões cada vez mais rápido.