FEBRABAN TECH 2024 | O uso de técnicas de Inteligência Artificial em solução de auditoria

Summary

The speaker from Caixa Econômica Federal discusses the bank's extensive reach with 152 million clients, emphasizing the internal audit's role in enhancing security and business advancement. They highlight the evolution of audit practices, including the use of AI and machine learning, and the challenges of implementing predictive analytics in a public institution.

Takeaways

• 🏦 Caixa Econômica Federal is the largest financial institution in the Americas with 152 million clients, serving the entire Brazilian society with a wide range of products and services.
• 📈 The bank has a vast network of over 4,000 branches, 20,000 bank correspondents, 87,000 employees, and 130,000 lottery collaborators, ensuring nationwide coverage.
• 💼 Cristina Perz, the current director of audit, and Susana, the National Manager, highlighted the bank's significant market share in housing, with 67% of the market and a credit portfolio of 1.8 trillion.
• 🏠 The bank plays a crucial role in social payments, distributing social benefits amounting to 369 billion reais, which were especially critical during the pandemic with emergency aid.
• 🌐 The audit department has evolved significantly, starting from computer-assisted audit techniques to continuous auditing and now leveraging analytics and artificial intelligence.
• 🤖 The use of AI and machine learning has been pivotal in enhancing the bank's audit processes, moving from descriptive to predictive analytics, improving risk assessment and operational efficiency.
• 📊 The bank's internal audit has implemented a dashboard that provides assertiveness in selecting audit works, using predictive indicators and visual tools like radar charts and heat maps.
• 🔍 The application of graph theory in audits has been beneficial in identifying complex relationships, significantly reducing the time required for audits from weeks to hours.
• 🗂️ The use of AI in procurement and contract auditing has led to a more assertive and efficient selection process, with machine learning models trained on past data to predict and prioritize audits.
• 🏢 Challenges faced by the internal audit in a public company like Caixa include the need to expand knowledge in analytics, broaden the use of predictive analytics, and prepare for the integration of generative AI into business processes.

Q & A

What is the role of Caixa Econômica Federal in Brazil's financial sector?

Caixa Econômica Federal is the largest financial institution in the Americas, with 152 million customers and a wide distribution across the national territory, including over 4,000 branches and 20,000 bank correspondents, serving the entire Brazilian society with a range of products and services from the federal, state, and municipal governments.

How does Caixa Econômica Federal contribute to financial inclusion in Brazil?

Caixa Econômica Federal contributes to financial inclusion by providing banking services to the Brazilian population through its extensive network, which reaches major cities, the Amazon forest, indigenous regions, the Pantanal, and the southern region, ensuring access to financial services for diverse communities.

What is the significance of the internal audit in Caixa Econômica Federal's operations?

The internal audit at Caixa Econômica Federal plays a crucial role in ensuring the security and advancement of the bank's operations. It is considered the third line of defense and is responsible for evaluating risks and providing insights that can improve the bank's processes and services.

How many employees are part of the internal audit team at Caixa Econômica Federal?

The internal audit team at Caixa Econômica Federal consists of 486 employees, who are part of a directorate and a superintendence, as well as five national managements in Brasília and regional offices spread throughout Brazil.

What is the role of Artificial Intelligence in the internal audit process at Caixa Econômica Federal?

Artificial Intelligence is used to develop new methodologies for audit work, with a specialized Analytics team of 16 professionals who are knowledgeable about modern infrastructure, cloud methodologies, and AI to enhance security, optimize resources, and cover more tasks in the audit process.

What is the concept of 'auditoria contínua' or continuous auditing mentioned in the script?

Continuous auditing refers to a concept where indicators are used to increase the frequency of analysis in certain processes, allowing for real-time or near-real-time monitoring and notification of non-conformities, enabling managers to address issues promptly.

How has the use of analytics evolved within Caixa Econômica Federal's internal audit?

The use of analytics within the internal audit has evolved from computer-assisted audit techniques to the implementation of statistical models and machine learning, focusing on risk-based indicators and predictive analytics to enhance the audit process.

What is the purpose of the 'laboratório' or laboratory in the context of Caixa Econômica Federal's internal audit?

The laboratory in the context of internal audit is a disruptive concept where business problems or critical issues are addressed by a team that includes business experts and advanced analytics professionals. It aims to find the best technological solution for a given problem without the obligation to use a predefined technology or model.

Can you explain the use of machine learning in the internal audit of Caixa Econômica Federal?

Machine learning is used in various audit processes to improve efficiency and effectiveness. It has been particularly beneficial in predictive analytics, helping to identify patterns and trends that can inform risk assessments and audit strategies.

What challenges does the internal audit face in implementing AI and analytics in a public company like Caixa Econômica Federal?

Challenges include expanding the knowledge of the audit team in analytics, moving from descriptive to predictive analytics, and preparing for the integration of generative AI. The audit team must also ensure that they have the necessary technological support and data governance to effectively utilize AI in their processes.

Outlines

00:00

🏦 Introduction to Caixa Economica Federal's Internal Audit Innovations

The speaker, Cristina, introduces the internal audit department of Caixa Economica Federal, highlighting its role as the third line of defense to enhance security and business advancement. The bank is the largest financial institution in the Americas with 152 million customers and a vast network of branches and employees. The internal audit team, consisting of 486 employees, has been evolving its methodologies to include advanced analytics and artificial intelligence to improve efficiency and security in operations. The speaker also mentions the bank's role in providing financial services to the entire Brazilian society, including housing, credit, and social benefit payments.

05:02

📈 Evolution of Internal Audit at Caixa Economica Federal

The evolution of Caixa Economica Federal's internal audit is discussed, starting from computer-assisted audit techniques to the implementation of continuous auditing. The adoption of analytics in 2017 marked a significant shift towards risk-based auditing, introducing statistical models and indicators. By 2019, the bank had integrated machine learning into its audit processes, enhancing the predictive capabilities of its audit panels. The audit team also leverages graph solutions to analyze complex relationships and dependencies within the bank's operations, leading to significant time savings and operational efficiency.

10:02

🤖 Application of AI and Machine Learning in Audit Processes

The use of artificial intelligence and machine learning in Caixa Economica Federal's audit processes is detailed, including the application of predictive analytics and machine learning to improve the selection and efficiency of contract audits. The bank has developed a machine learning model that has been trained on past audit work to assist in the selection of contracts for auditing, resulting in increased assertiveness and operational efficiency. The audit team also discusses the use of AI in customer service and complaint resolution, enhancing the customer experience and reducing the time to address customer issues.

15:03

📊 Utilization of Graphs and OCR for Complex Audit Tasks

The paragraph delves into the use of graph solutions for identifying complex relationships in audit tasks and the application of optical character recognition (OCR) and machine learning for digitizing and analyzing historical contracts. The speaker explains how these technologies have significantly reduced the time required for contract audits and improved the accuracy of the audit process. The use of graphs has allowed for quick and easy visualization of data, while OCR and machine learning have streamlined the analysis of large volumes of historical documents.

20:04

🛠️ Challenges and Future of Internal Audit in a Public Company

The speaker outlines the challenges faced by the internal audit department in a public company, such as the need to expand knowledge within the team and the limitations on purchasing new tools. The audit team is working on expanding the use of predictive analytics and is preparing for the integration of generative AI into the bank's operations. The speaker emphasizes the importance of the audit team's role in contributing to the development of the organization by providing assertiveness and security in its processes and by partnering with other departments to enhance operational efficiency.

25:05

🌐 The Role of Internal Audit in the Financial Industry and Future Outlook

The final paragraph emphasizes the role of internal audit as a partner in administration, moving beyond the traditional inspection role to contribute to the development of the organization. The speaker discusses the importance of empathy in auditing, the challenges of adapting to new technologies, and the need for leadership to support the integration of these technologies. The speaker concludes by inviting colleagues to embrace the changes brought by new technologies and to prepare for the future, highlighting the strength of the financial industry in Brazil due to the collective efforts of its professionals.

Keywords

💡Caixa Econômica Federal

Caixa Econômica Federal is a major Brazilian public financial institution. It is known for its extensive services and reach across Brazil, serving over 152 million clients and being the largest financial institution in the Americas. The script mentions its role in providing various services including housing market, credit, and social benefit payments, highlighting its significant impact on the Brazilian economy and society.

💡Auditoria Interna

Auditoria Interna refers to the internal audit function within an organization, which is crucial for ensuring compliance, risk management, and overall operational efficiency. In the context of the script, it discusses how the internal audit of Caixa Econômica Federal has evolved, incorporating modern methodologies and technologies like AI and machine learning to enhance its effectiveness.

💡Inteligência Artificial

Inteligência Artificial (Artificial Intelligence) is a field of computer science that aims to create machines capable of intelligent behavior. The script emphasizes the use of AI in the internal audit processes of Caixa Econômica Federal, showcasing how it has been leveraged to develop new methodologies for auditing, thereby improving the accuracy and efficiency of risk assessments and control evaluations.

💡Machine Learning

Machine Learning is a subset of AI that allows computers to learn from data and make decisions or predictions without being explicitly programmed. The script discusses the implementation of machine learning in the internal audit processes, highlighting its role in predictive analytics and the selection of contracts for auditing, which is critical for enhancing operational efficiency and decision-making.

💡Analytics

Analytics refers to the systematic computation of data to draw conclusions about that data. In the script, the term is used to describe the specialized team within Caixa Econômica Federal's internal audit that uses advanced analytical techniques to develop new audit methodologies, emphasizing the importance of data-driven decision-making in enhancing audit processes.

💡Auditoria Contínua

Auditoria Contínua (Continuous Auditing) is a process that involves ongoing monitoring and evaluation of an organization's financial and operational activities. The script mentions the evolution from traditional auditing to continuous auditing, where the focus is on real-time risk assessment and control, allowing for immediate corrective actions and better management of organizational risks.

💡Laboratório de Auditoria

Laboratório de Auditoria (Audit Lab) is a concept where complex business problems are addressed by a team that combines deep business knowledge with advanced audit techniques. The script describes how this lab approach has been disruptive in the internal audit process, allowing for the development of innovative solutions tailored to specific audit challenges.

💡Grafos

Grafos (Graphs) in the context of the script refer to the use of graph theory in auditing to identify and analyze relationships and connections within data. This method is highlighted as a significant tool in the internal audit of Caixa Econômica Federal, enabling auditors to visualize complex relationships quickly and efficiently, thereby enhancing the audit process.

💡Ouvidorias

Ouvidorias (Ombudsman Offices) are administrative bodies responsible for receiving and investigating complaints from the public. The script discusses how the internal audit has used AI and machine learning to improve the handling of complaints, aiming to enhance customer service and reduce the number of formal complaints, which is crucial for maintaining a positive relationship with the public.

💡Compras e Contratações

Compras e Contratações (Procurement and Contracting) is a critical area for any large organization like Caixa Econômica Federal. The script discusses the use of AI in the selection and auditing of contracts, emphasizing the benefits of predictive analytics in identifying and prioritizing contracts that are most relevant to the organization's needs and risks.

💡Fundo de Compensações de Variações Salarias

Fundo de Compensações de Variações Salarias (Compensation Fund for Salary Variations) is a government fund that deals with compensations related to salary adjustments. The script mentions the role of Caixa Econômica Federal's internal audit in managing and verifying the regularity of contracts related to this fund, highlighting the importance of accurate contract management in protecting public funds.

Highlights

Caixa Econômica Federal has 152 million clients, making it the largest financial institution in the Americas.

The bank operates across the entire national territory with over 4,000 branches and 20,000 correspondents.

Caixa has 87,000 employees and 130,000 direct lottery collaborators, serving the full spectrum of Brazilian society.

Cristina Perz, the current director of audit, and Susana, the National Manager, presented the bank's significant market share in housing, with 67% of the market.

Caixa has its own assets of 1.8 trillion and a credit portfolio of 1.14 trillion, managing social benefit payments of around 369 billion reais.

During the pandemic, Caixa played a crucial role in distributing emergency aid and social benefits through its accounts.

The internal audit of Caixa has 486 employees, divided into a directorate and a superintendence with five national managements in Brasília.

Caixa's internal audit has a specialized Analytics team of 16 professionals focusing on modern methodologies and cloud infrastructure.

The evolution of Caixa's internal audit has moved from computer-assisted audit techniques to continuous auditing and the use of analytics.

In 2017, Caixa matured the use of analytics in auditing, introducing statistical models and risk-based indicators.

Caixa has implemented a 'laboratory' concept in auditing, addressing critical business issues with a team of experts and advanced analytics.

In 2019, Caixa began applying Artificial Intelligence in auditing, using machine learning in various audit processes.

Caixa's audit panel was developed for more assertiveness in work selection, with immediate file availability for auditors.

The use of predictive indicators in audit panels has evolved from descriptive data analysis to predictive data analysis.

Caixa has utilized graph theory in auditing to identify complex relationships, significantly reducing audit times.

AI has been applied to customer service feedback, using machine learning to better understand and address customer complaints.

Caixa's internal audit uses AI for the selection of contracts, improving operational efficiency and audit relevance.

The automation of FCVS (Compensation for Salary Variations Fund) has improved operational efficiency by over 50%, using OCR and machine learning.

Caixa faces challenges in expanding the knowledge of its audit team in analytics and predictive analytics to stay ahead in the industry.

The bank is working on embracing generative AI to complement traditional AI, preparing for auditing models implemented with generative AI.

Caixa's internal audit is not just an inspector but a fundamental partner in the development of the organization, contributing to the financial industry's strength.

Transcripts

[Aplausos]

finalizando aqui a última palestra do do

painel aqui de inovação eem novos

negócios e a caixa auditoria interna da

caixa vem falar um pouco do que que nós

estamos empreendendo enquanto terceira

linha de defesa para trazer mais

segurança e avanços pros negócios da

Caixa Econômica Federal Então a gente

tem uma apresentação aqui breve primeiro

eu gostaria de trazer os grandes números

da caixa todo mundo conhece a caixa nas

noticiários os nossos clientes mas

muitos não conhecem a qualidade a

quantidade de serviços que nós temos nós

temos 152 milhões de clientes é a maior

instituição financeira das Américas nós

estamos distribuídos em todo o

território nacional com mais de 4.000

agências 20.000 dolot Éric e

respondentes bancários somos 87.000

empregados e temos 130.000 colaboradores

diretos lotéricos e correspondentes co

chaqui isso tudo para atender toda a

sociedade brasileira porque além de

clientes nós atendemos a sociedade com

toda a Gama de produtos e serviços do

governo federal alguns estaduais e

municipais então mais uma vez é um

prazer estar aqui eu sou a Cristina perz

atualmente diretora de auditoria comigo

a Susana gerente Nacional bom números da

caixa né apresentamos nós temos hoje 67%

do mercado de habitação temos de ativos

próprios 1,8 tri a carteira de crédito

de

1,14 e pagamentos de benefícios sociais

da ordem de 369 bilhões de reais que são

distribuídos através de todas as bolsas

recursos na época da pandemia o auxílio

emergencial e esses benefícios através

da nossa conta Caixa tem que trouxe a

bancarização que é algo muito pra gente

trazer a inclusão pra população

brasileira e Através disso é que a gente

traz a educação financeira pros maiores

Rin côcos desse país então nós estamos

nas grandes capitais nós estamos no meio

da floresta amazônica nos indígenas no

Pantanal na região sul enfim em toda

toda nosso país né então nós temos muito

orgulho de fazer esse trabalho de

atender toda a população e aqui a gente

vai trazer os destaques de como a

auditoria interna faz para faz segurança

para todas essas operações então diante

de todos esses números a auditoria hoje

ela conta com 486 empregados nós estamos

divididos em uma diretoria e uma

Superintendência cinco gerências

nacionais em Brasília que cuidam de todo

o planejamento e acompanhamento de

acontece no sistema financeiro nacional

e governamental e as nossas regionais

espalhadas pelo Brasil para fazer a

execução dos nossos trabalhos

né Na parte de ti e indo já pra

Inteligência Artificial pros

desenvolvimentos das novas metodologias

para os trabalhos de auditoria dos 486

empregados hoje nós temos uma equipe de

Analytics especializada que conta com 16

profissionais que conhecem tudo o que há

de mais moderno e de lançamentos de que

estão acontecendo na infraestrutura nas

metodologias de nuvem de cloud de

Inteligência Artificial pra gente poder

trazer mais segurança e abarcar mais

trabalhos

eh e mais otimização de recursos tá

colegas então mais uma vez muito

obrigada pela oportunidade e a gente

começa a entrar agora na evolução do

nossos

trabalhos bom a gente ressalta que é

muito importante a gente trazer aqui

para vocês a evolução da auditoria

interna na maturidade do uso de

Analytics na caixa né quando a gente

remonta lá atrás nós começamos com a

auditoria computadorizada Os Cats que

nada mais era do que o quê técnica de

auditoria auxiliada por computador onde

ali a gente tinha programas

especializados ali para gerar amostras

para trazer os os os arquivos os dados

né realizar os testes de controles em

Sistemas mas ainda de forma automática

mas muito ali voltado para conformidade

isso eu tô falando ali em meados de 2003

a gente começou a implementar isso na

auditoria interna evoluímos um pouco em

2008 veio o conceito de auditoria

contínua ali a gente já poderia falar um

pouco mais de indicadores a gente

Aumentou a nossa frequência de análise

em determinados processos a amplitude

também conseguimos ampliar né o o a

nossa abrangência ali quando a gente

fala de auditoria contínua o evento

estava acontecendo praticamente

acontecendo o gestor já tava recebendo

algo uma notificação da auditoria que

permitisse que ele corrigisse aquela

inconformidade num tempo mais breve

possível e todos os resultados dessa

auditoria ao final eram utilizados paraa

gente poder consolidar e apresentar um

parecer um relatório baseado no processo

entretanto assim apesar da auditoria ela

ser voltada para risco né e a a

auditoria ela tem como essa missão

avaliação de riscos na empresa ainda n

na auditoria contínua lá em 2018 a gente

ainda tinha um viés muito forte em

conformidade em 2017 a gente deu um

grande salto quando a gente conseguiu

amadurecer o uso de analític na

auditoria quando a gente fala desse uso

de analític nesse momento a gente

começou a ter trazer ali modelos

estatísticos técnicas de estatísticas

para poder trazer inteligência pros

nossos trabalhos de auditoria ali a

gente começou a trabalhar indicadores

modelados completamente baseado em

riscos trazer esc coragem trazer

pontuação para que a gente pudesse de

fato ir naquilo que é mais crítico pra

empresa então nessa fase em 2017 a gente

teve uma grande capacitação ali do nosso

corpo técnico e a gente conseguiu dar

essa evolução eh de 2017 para 2019 a

gente pode dizer que ali no meio a gente

estruturou na auditoria algo que foi

muito relevante um conceito que a gente

usa que é de laboratório né O que que é

o laboratório na auditoria laboratório

nada mais é que a gente tem um problema

um problema de negócio um assunto

crítico para ser tratado pela

auditoria e a gente coloca ali dentro

aquela pessoa que conhece muito o

negócio as nossas referências de negócio

com os nossos auditores especialistas e

que conhecem a o Analytics do modo

avançado esse laboratório ali a gente

foi com conceito disruptivo no sentido

de não tem a obrigatoriedade de sair

algo mas sempre saiu algo né Cris Foi

algo que deu de fato met ali a gente não

ia não vai pro laboratório com uma

tecnologia pré-definida com modelo

pré-definido para sair a gente vai de

fato encontrar a melhor solução

tecnológica para aquele problema então

aí a gente começou a avançar em 2019 a

gente já estava aplicando Inteligência

Artificial nos nossos trabalhos de

auditoria em

2019 teve esse avanço a gente começou a

usar machine learning PLN né em vários

processos de auditoria e a gente teve

muitos ganhos em relação a isso quando a

gente fala de a generativa e generativa

ainda é Um Desafio tá na boca de todo

mundo hoje eu acho que é o que mais a

gente escutou aqui nesse congresso da

febraban Inteligência Artificial e a

generativa aí a tradicional ela já está

instalada nos Bancos é fato aí a

generativa ela vem para complementar e

na auditoria interna hoje a gente não

tem nada implementado mas já temos

inúmeros inúmeras questões insites e

possibilidades para que a gente pode

avançar e como auditoria ela trabalha

com planejamento por isso que está 2025

que em 2025 teremos e a generativa na

auditoria e pra gente trazer e conseguir

materializar aqui para vocês o que que a

gente de fato a gente faz na auditoria e

da forma que a gente faz a gente trouxe

desde o início painel de auditoria o que

que é o nosso painel de de auditoria Ele

nasceu da necessidade da gente ter mais

assertividade na seleção dos nossos

trabalhos né a gente precisava ter uma

flexibilização na seleção das unidades

de acordo com o critério com o cenário

Nacional né tudo muda a Caixa Econômica

por ser do governo federal muita coisa

acontece em pouco tempo então a gente

Precisava dessa flexibilidade e rapidez

e a disponibilização dos arquivos de

imediato pros auditores que estavam

executando o trabalho então isso foi um

salto a gente desenvolveu essa solução

né que monitora situações de risco da

empresa eh sempre com foco ali nesse

caso da primeira linha e das unidades

que permitiu de fato a gente avaliar os

indicadores mais críticos e de acordo

com o cenário do momento né Eh iniciamos

esse trabalho com indicadores

descritivos né estudando ali o passado

como que tava acontecendo paraa gente

poder focar a realização dos nossos

trabalhos hoje nós já usamos

Inteligência Artificial nesses painéis

Porque nossos indicadores migraram para

migraram nem todos né mas a gente tem

indicadores preditivos então assim

começou apenas com uma análise

descritiva de dados e hoje a gente já

trabalha com análise preditiva de dados

em cima desses painéis Quais foram os

benefícios escalabilidade né a gente

conseguiu escalar isso em termos de de

quantidade de trabalhos assertividade e

redução do custo como a Cristina falou a

Caixa tá em todos os municípios

potencialmente seria impossível mas hoje

a gente consegue mediante esses painéis

a carinha do nosso painel É essa a gente

tem ali o auditor ele pode selecionar os

indicadores de acordo com os critérios

né Que que foi pré-estabelecido no

escopo do trabalho tem um gráfico de

radar que já sinaliza para ele onde

estão as situações mais críticas do do

produto da

unidade um gráfico ali que tem um mapa

de calor para sensibilizar Quais são as

regiões que estão chamando mais atenções

e hoje a gente tá com a faixa de 95

indicadores eh trabalhando com a forma

de

painel uma outra solução que trouxe

muito ganho pra auditoria foi o uso de

grafos né Eh na auditoria interna da

Caixa a gente tem muita necessidade de

fazer auditoria que precisa identificar

relacionamentos diversos e cada dia que

passa esses relacionamentos estão mais

complexos Então essa solução que nós

utilizamos hoje na auditoria é uma

solução que a gente ganhou muito muito

muito em tempo de tempo escala né ele é

assertivo eh a gente foi evoluindo ao

longo do tempo essa solução eh uma

solução que eu brinco assim que a gente

precisa muito da parceria da tecnologia

da caixa que cada dia que a gente avança

na solução a gente precisa de mais

processamento a gente precisa de mais

recurso porque a gente começa a colocar

mais relacionamentos e mais

Possibilidade é uma solução extremamente

assertiva pontual ela permite uma

visualização rápida e fácil pelo auditor

a partir do grafo ele já vai nos dados

que ele precisa analisar de forma

analítica e a gente consegue fornecer

inclusive informações paraos órgãos

supervisores relacionados a esses

trabalhos pld a gente usa fortemente

esse esse essa ferramenta de graf e a

gente tem ganhos incríveis eh com ela

benefícios alcançado eficiência de ganho

operacional trabalhos que a gente levava

duas semanas para realizar a gente

realiza um dia eu acho que os meninos

Colocaram um dia nessa apresentação aí

porque eles foram generosos mas tem

trabalho que a gente resolve em 4 horas

aquilo que a gente levava duas semanas

então foi é algo que veio para agregar e

combinado com outras soluções a partir

das soluções do grafo a gente a gente

consegue utilizar a inteligência

artificial também para para outras

soluções pode pass aqui é só uma

mostrando ali alguma alguns possíveis

relacionamentos né que a gente utiliza

dentro dos grafos pessoa física contrato

aí não tem nem metade do que a gente

utiliza né a Caixa quando precisa

avaliar pld entra lotérico CCA então tem

muitas questões que a gente pode colocar

e vai Amp criando essas teias Ele

trabalha de forma clusterizado e a gente

tem um ganho muito grande em relação a

isso o próximo caso que a gente traz é o

uso nas nas ouvidorias né a nossa

ouvidoria Ela já tem indicadores de

acompanhamento mas a auditoria interna

precisava trazer outros benefícios para

essa abordagem até porque a política de

relacionamento com os clientes é um

pilar muito sério paraa caixa nesse no

momento né a gente preza muito por

melhorar a experiência para o cliente e

isso com certeza vai trazer menos

reclamações menos ouvidorias menos

demandas por informações né então a

auditoria ela trouxe uma solução usando

também PLN e machine learning onde a

gente trata a cada uma das ouvidorias

avaliando o outras reclamações que estão

contidas numa só antigamente a gente

tinha um sistema que classificava cada

reclamação por uma operação uhum por um

tipo de erro e a gente agora consegue

fazer combinações colocando até 13

motivos de reclamação Então por muitas

vezes o cliente faz uma reclamação sobre

cartão mas ele quer falar também sobre o

contrato Habitacional ele quer falar

sobre o fi que é um produto de governo

ou que ele quer falar sobre o

atendimento de um gerente na agência

Então antes a gente tinha várias

classificações individuais que não

trazia o CNE que atendesse integralmente

aquele cliente dessa forma a gente

conseguiu trazer uma informação mais

qualid com mais qualidade uma a maior

assertividade nas informações paraa alta

administração poder fazer as melhorias e

para os órgãos de controle e também um

suporte mais adequado no relacionamento

com o cliente então com isso a gente

traz aqui um exemplo de um gráfico real

do ano de 2023 para 2024 que isso pode

ser visto como se fosse para cartões

como se fosse para suitability como se

fosse atendimento a clientes tá eh ou de

agência né aqui a gente ocultou o título

até por pela a reserva mas é um gráfico

real da evolução que essa metodologia

traz de assertividade de responder ao

cliente e resolver a Dor Desse cliente

no primeiro contato que ele faz né então

isso melhora o relacionamento melhora o

índice de cobertura e traz mais

segurança pra unidade Cada vez que a

auditoria interna desenvolve uma dessas

ferramentas Isso é repassado para o

gestor do produto do negócio e isso

retroalimenta o processo e traz mais

segurança paraa

administração um outro uso que a gente

trouxe para vocês aqui é o nosso painel

de compras e contratações né também foi

uma evolução a caixa é muito grande a

gente tem inúmeros contratos anualmente

a gente tem que auditar boa parte desses

contratos somos poucos para fazer tudo

que a gente tem que fazer então a gente

precisava de uma solução que nos

ajudasse antes de implementar a

inteligência artificial na seleção dos

nossos contratos nós tínhamos um modelo

tínhamos não temos um modelo modelo

especialista que dentro desse modelo

especialista nada mais é do que atribuir

algumas variáveis com alguns pesos para

que nos ajude né a a selecionar os

contratos eh de forma mais assertiva

para que a gente possa ter mais

eficiência operacional e auditar aquilo

que de fato é mais relevante pra empresa

ah pensando como que a gente pode

melhorar isso vamos usar um pouquinho de

Inteligência Artificial a partir dos

inúmeros trabalhos que já fizemos né

então desenvolvemos o modelo lá também

com uso de macine lear que aprendeu com

todos os trabalhos que nós executamos ao

longo dos anos aí eu acho que nos

últimos 5 anos que a gente utilizou para

ensinar a máquina e a máquina aprendeu

direitinho né então assim hoje a gente

tem uma seleção de contrato assertiva

rápida né temos todas as bases de dados

dos contratos ele foi treinado a partir

das criticidades dos trabalhos que a

gente que a gente faz né junto com

outros fatores e hoje a gente tem essa

assertividade né e o benefício

eficiência operacional assertividade na

escolha né a caixa a auditoria da Caixa

ela é muito elogiada nessa parte de de

auditoria de contratos e pelo TCU né

assim o TCU Inclusive a gente apresentou

pro TCU uma vez o nosso modelo e foi

muito bem validado por eles também então

ajudou demais a utilização da da

inteligência artificial no planejamento

e seleção dos contratos e estamos

evoluindo para ajudar o pessoal da

execução também no ao longo da execução

dos

contratos aqui é só uma demonstração

mesmo que mostra ali o o o a comparação

ali do modelo do modelo Especialista com

o modelo de machine learning onde as

notas do machine learning ali é bem bem

ratifica aquilo que a gente já conhece o

conhecimento humano e direciona a nossa

amostra e a nossa seleção obviamente

sempre passa pel Aquele olhar o nosso

olhar né porque a inteligência

artificial não eh não dispensa o nosso

conhecimento e o nosso critério nosso

crio a partir do conhecimento instalado

da empresa em nós

Ok o último caso que a gente traz o

nosso quinto caso é automatização do

fcvs é um fundo de governo de

compensações de variações salariais isso

diz respeito a contratos habitacionais

principalmente os assinados adquiridos

na década de 60 e 70 então nós estamos

falando de coisas que aconteceram há 50

anos atrás e que ainda traz eh operações

que têm que ser pagas pela união para as

instituições que geraram esses créditos

na época nós estamos falando aía de um

passivo de um ativo de 90 bilhões deis

então todas as instituições financeiras

as maiores instituições financeiras

algumas cooperativas e pulpex ainda tem

esses recursos e esses valores eles

precisam ser novados e pagos pelo

Tesouro Nacional para quem detém Esses

contratos essa administração é feita

pela Caixa e a auditoria interna tem um

papel importante na gestão então na

gestão não mas na na verificação da

regularidade desses contratos uma das

maiores causas de impedimento dessa

novação é a taxa de juros de cada

contrato onde a gente tem origens de

terceiros e origem própria a diferença

na regularidade desses contratos é o

dobro da taxa de juros então a gente tá

falando entre um um contrato feito com

recursos de terceiros ter uma taxa de 3%

ao ano e a de recursos próprios 6% ao

ano na evolução de 50 anos dessa dívida

Dá um valor muito grande de diferença

que pode impactar os cofres públicos

então a auditoria interna ela tem que

avaliar cada um dos contratos de a época

em que Esses contratos eram feitos todos

em máquina de escrever máquina de

datilografia com diversos tipos de

minutas com padrões completamente

diferentes de algo que era manual e um a

um então neste momento a gente tá no

século XX Com todas essas metodologias

que existem hoje nós conseguimos trazer

um trabalho de ocr nessa documentação

digitalizar tudo e a partir da Leitura

desses documentos trazer também a

linguagem natural eh e a machine

learning para achar os termos

específicos em cada um desses contratos

e a partir disso a gente fazer a

classificação adequada de cada um desses

contratos pagar o que é de direito para

quem detém aquele título isso é o

principal é a principal segurança que a

auditoria interna dá tanto para os

credores quanto paraa União que faz esse

pagamento Tá então aqui na parte de

benefícios né a gente trouxe uma

eficiência operacional de mais de 50% do

tempo dispendido para cada um dos

contratos então Imaginem a gente tá

falando de R 90 bilhões deais a

quantidade de contratos que tem atrás

disso e a gente tem que fazer essa

certificação um a um né e a redução do

risco de auditoria porque vocês devem

imaginar né todo mundo já pegou um

dossiê físico na mão Aquele monte de

folha amarelada da década de 60 e 70 e

ter que ler o contrato inteiro para

achar os indícios da correção do índice

correto com a ocr e a machine learning a

gente consegue dizer quais são as

principais palavras para o pr pra

ferramenta localizar isso no contrato e

trazer a assertividade desse painel

então aqui é um exemplo no painel onde a

gente tem ali a coluna né probabilidade

de recurso de terceiro um índice de 99%

de acerto em cada um dos contratos e

alguns vão diminuindo mas a gente tem na

média

78,9 4% de qualidade da ocr para essa

operação essa operação ela tem uma data

para cavar por lei isso acaba em

dezembro de 2026 a partir de 2027 de

Janeiro a união da quitação total esses

valores mas a o o o o risco né e a a

força de trabalho empreendida nesses

anos finais é trazer essa conferência

para nenhuma das partes perder recursos

né quem tem os contratos recebeu o valor

correto pelo investimento que fez pela

aquisição que fez e a união também pagar

na medida certa O que é de sua

responsabilidade né é Um Desafio grande

mas com os novos desenvolvimentos com o

trabalho conjunto entre a auditoria e as

áreas negociais a área de cliente a

gente consegue trazer

eh maior assertividade maior resultado e

segurança indo aqui já paraa Nossa tela

final a gente gostaria de trazer um

pouco dos Desafios do que uma auditoria

trai numa empresa pública que não pode

comprar ferramentas né e construir

sozinho dentro das suas necessidades aí

Susana isso o primeiro desafio que a

gente traz como vocês observaram nós

temos 13 auditores que tem um

conhecimento avançado em Analytics então

a gente precisa ampliar esse

conhecimento dentro da auditoria e

quando eu falo ampliar o conhecimento da

auditoria não é trazer mais pessoas

paraa auditoria mas é capacitar a nossa

equipe porque nós temos uma equipe

extremamente capacitada com conhecimento

ali de intermediário para avançado e a

gente tá fortalecendo essa equipe para

que a gente possa expandir né os as

nossas soluções baseadas em Inteligência

Artificial eh outra outro desafio que a

gente tem é alargar a utilização

expandir a utilização de a preditiva

hoje nós temos indicadores de a

preditiva mas a gente precisa ampliar

isso que a gente já passou do momento da

auditoria tá só contando pro gestor o

que aconteceu a gente tem que trazer pro

gestor agregar valor pro gestor para

onde aquilo ali pode ir e quais as

medidas que o gestor pode tomar para que

aquilo de fato não aconteça Então isso é

um Desafio e a gente tá trabalhando para

isso em produtos na auditoria produtos e

processos na

auditoria experimentação e implementação

da ia generativa a ia tradicional ela tá

instalada em todos os bancos né a ia

generativa ela vem para complementar a

ia tradicional

eh a auditoria interna ela precisa ter

esses conhecimentos Para quê Para que a

gente possa melhorar os nossos processos

o processo auditar carece disso carece

dessa ajuda de eficiência operacional

trazer e a ia para fazer para construir

relatórios né para para ajudar o nosso

processo ali coisa que toma tempo e que

poderia ser feito de de fato pela

máquina e a gente precisa ter esse

conhecimento instalado de ar generativa

porque a organização inteira está indo

para para isso também né a organização

Está se estruturando com um centro de

excelência voltado pra Inteligência

Artificial outro centro de excelência

voltado paraa inteligência de dados a

auditoria sozinha ela não faz ela

precisa do apoio da tecnologia a a caixa

né a organização como um todo ela

precisa ter os dados bem estruturados

bem sólido porque aí a generativa ela

precisa disso né aí a generativa ela

precisa de responsabilidade ela precisa

de uma governança bem instalada ela

precisa de avaliação de segurança e a

gente não pode estar fora disso porque a

gente precisa estar preparado para

auditar os modelos que serão

implementados na Instituição utilizando

Iá generativa hoje a gente já utiliza Iá

tradicional porque o negócio utiliza

Inteligência Artificial e a gente tem

que estar preparada e a gente faz isso a

gente desafia os modelos do negócio que

já são feitos com o ia né e a gente

precisa desafiar os negócios e avaliar a

segurança como braço né operacional ali

da governança a gente precisa ter

instalado Então tudo casa a ampliação do

conhecimento da equipe a experimentação

como eu falei para vocês a gente utiliza

laboratório e a gente vai utilizar e a

gente vai junto com a tecnologia da

empresa a tecnologia está se a empresa

está se estruturando pra gente expandir

nesse assunto que é o assunto do momento

que é ia generativo isso

eh E por que que a auditoria interna

está aqui num evento de Tecnologia de

bancos porque a auditoria interna ela é

uma parceira da administração Ela já foi

vista como algo que vinha só para fazer

inspeção para achar problema mas hoje a

auditoria interna ela tem um papel

fundamental na contribuição do

desenvolvimento das nossas organizações

seja lá em cada mercado que a gente

esteja né e a gente pode contribuir

muito porque nós temos muito

conhecimento nós temos preparo nós temos

um olhar mais acurado e a gente vem

desenvolvendo também a empatia no

auditor que é algo que a gente tem muito

destacado a partir das novas plataformas

das novas políticas que o ia Brasil

implementou e começam a vigir a partir

do 7 de janeiro 2025 Então esse é o

desafio é o convite que eu passo aqui

também pros colegas que estão nessa

plenária agradeço muito a participação

imaginam que muitos aqui sejam auditores

também é uma honra paraa cxa estar aqui

nesse palco como eu falei já no início

Abril finalizando esse painel aqui com

vocês e trazendo uma fala de de de de

esperança por novos tempos e sem medo de

que a gente enfrente o que a gente tem

que enfrentar algumas palestras aqui

durante esses três dias trazem algo

muito disruptivo no primeiro momento eh

apavoram quem tem que ver depois no

controle sejam controles internos as

áreas de risco a auditoria interna Mas

se a gente está junto conhecendo as

ferramentas fazendo as experimentações

como a Susana trouxe a gente vai estar

igualmente preparado para fazer esse

enfrentamento né como foi dito na

plenária de abertura pelos presidentes

dos dos nossos bancos né eh podemos

concorrer por clientes por negócios mas

nós temos que nos ajudar na indústria

financeira a indústria financeira

brasileira ela só é forte só é grande

porque detém cada um dos profissionais

que estão nas organizações né cada um no

seu papel mas trabalhando junto e

contribuindo Isso tudo só vai paraa

frente se as lideranças fizerem esse

papel e hoje na caixa a gente tem um

conselho diretor muito atuante muito

forte para trazer essa aproximação maior

com o mercado essa aproximação maior com

o governo no sentido de trazer

benefícios auxílio para diminuir custos

para todos e trazer benefícios pra

sociedade porque muito mais do que

clientes na caixa a gente atende a

sociedade brasileira n então muito

obrigada por esse momento foi uma honra

estar aqui com vocês obrigada is obrig

obgada sen por divertir esse palco com a

gente OB Obrigada a você

[Aplausos]

querid i