RASA chatbot + desenvolvimento interno
Título
RASA chatbot + desenvolvimento interno
Descrição
| Órgão responsável | Banco Nacional do Desenvolvimento Econômico e Social - BNDES |
| Acesso | https://chatbot.bndes.gov.br/chatbot.html |
| Desenvolvimento da ferramenta | Equipe interna |
| Acesso ao algorítmo da ferramenta | Não |
| Código Aberto | Não |
| Categorias de aplicação | Chatbots |
| Método estatístico utilizado pela ferramenta | Redes neurais, Processamento de linguagem natural |
| Outputs da ferramenta | Esclarecimento de dúvidas e orientações sobre os programas emergenciais do BNDES. |
| Grau de apoio oferecido pela ferramenta | A ferramenta faz diagnósticos e sugere ações. |
| No desenvolvimento e/ou implementação da ferramenta, foi considerada a obrigatoriedade de revisão humana das decisões automatizadas? | Sim |
| Se a resposta anterior foi positiva, descreva as questões envolvidas e a decisão tomada. | Há um processo de validação das possíveis respostas do chatbot antes que elas entrem no ar. Essas respostas são padronizadas e utilizadas pela central de atendimento em atendimentos tradicionais. Dessa forma, o chatbot sempre orienta através de informações previamente validadas e padronizadas. |
| No desenvolvimento e/ou implementação da ferramenta, foram considerados possíveis vieses em seu desempenho? Por exemplo: sua eficácia é melhor com determinados grupos? | Sim |
| Se a resposta anterior foi positiva, descreva os possíveis vieses e a decisão tomada a respeito. | O chatbot poderia apresentar preferências de forma de escrita ou de temática para respostas. Além de balanceamentos específicos para evitar contextos preferidos, efetuamos testes considerando várias personas diferentes, de perfis e necessidades distintas, além de formas de escrita diferentes. O intuito foi minizar possíveis vieses, mas é uma tarefa bastante complicada. Continuamos avançando no tratamento de casos específicos mediante análise de logs de conversação e retreinos específicos. |
| Foi verificado algum desses impactos no fluxo de trabalho do órgão com a utilização da ferramenta? | Impacto na produtividade do órgão, Impacto na melhora da prestação do serviço público |
| Há métricas para medir a eficácia da ferramenta? | Sim |
| Se a resposta anterior foi sim, descreva a métrica. | Definimos uma métrica de pergunta respondida com sucesso que baseia-se nas respostas certas dadas pelo chatbot e também por um feedback do cidadão para a resposta recebida. |
| Quais são os principais conjuntos de features/variáveis usados como entrada para treinar a ferramenta? Por exemplo: região e IDH de um município para um sistema de estimativa de risco de fraudes; presença no cadastro positivo para concessão de crédito. | São exemplos de perguntas em texto livre, com variações obtidas a partir de diálogos reais com a central de atendimento e também variações sintéticas para contemplar questões de linguagem. |
| Existe a necessidade da utilização de dados pessoais para treinar a ferramenta? | Não |
| Existe a necessidade da utilização de dados sigilosos para treinar a ferramenta? | Não |
Arquivos
Referência
“RASA chatbot + desenvolvimento interno,” Catálogo de Uso de Inteligência Artificial por Órgãos Governamentais, acesso em 10 de maio de 2024, https://catalogoia.omeka.net/items/show/16.