Nota: Estudo realizado por Habacuque Oliveira, com auxílio de Inteligência Artificial como ferramenta de pesquisa, organização e síntese das informações.

Critérios e filtros utilizados: foram consideradas apenas fontes oficiais, documentadas e verificáveis, publicadas por órgãos, instituições e empresas de referência diretamente relacionadas à segurança, validação, desenvolvimento e uso de código, como CISA, NIST, OWASP, GitHub e OpenAI.

As conclusões apresentadas foram limitadas ao que está efetivamente documentado nessas fontes, evitando opiniões, generalizações ou afirmações sem comprovação.


Foi analisado os riscos do uso massivo de inteligência artificial para gerar a parte interna dos sistemas.

A conclusão principal é simples:

O problema não é utilizar IA para programar. O problema é considerar o código produzido pela IA automaticamente pronto para produção.

As principais autoridades e empresas responsáveis por ferramentas de desenvolvimento recomendam revisão, testes e responsabilidade humana sobre o código gerado.

 

 

1. CÓDIGO GERADO POR IA PRECISA SER REVISADO

O GitHub informa oficialmente que código produzido pelo Copilot pode parecer válido e ainda apresentar erros, problemas de segurança ou não resolver corretamente o problema solicitado.

A recomendação oficial é que o código seja sempre revisado e testado antes de ser incorporado ao sistema.

O GitHub também informa que revisões realizadas por IA devem complementar, e não substituir, uma revisão humana.

Fonte:

https://docs.github.com/en/copilot/responsible-use/agents

https://docs.github.com/en/copilot/tutorials/review-ai-generated-code

 

 

2. A IA PODE CRIAR DEPENDÊNCIAS INCORRETAS

GitHub e OWASP alertam que ferramentas de IA podem sugerir bibliotecas inexistentes, versões antigas ou dependências com riscos de segurança.

Por isso, pacotes sugeridos pela IA devem ser verificados antes da instalação.

Devem ser analisados:

  • existência do pacote;

  • procedência;

  • manutenção;

  • vulnerabilidades conhecidas;

  • licença;

  • compatibilidade com o projeto.

Fonte:

https://docs.github.com/en/copilot/tutorials/review-ai-generated-code

https://cheatsheetseries.owasp.org/cheatsheets/Secure_Coding_with_AI_Cheat_Sheet.html

 

 

3. TESTES CRIADOS PELA MESMA IA NÃO SÃO GARANTIA INDEPENDENTE

A OWASP alerta para situações em que agentes de IA podem criar testes que simplesmente confirmam o código que eles próprios produziram.

Também podem ocorrer casos de:

  • testes enfraquecidos;

  • mocks inadequados;

  • remoção de testes com falha;

  • alterações para fazer o pipeline passar.

Por isso, componentes críticos devem possuir revisão humana e testes independentes.

Isso é especialmente importante em:

  • autenticação;

  • autorização;

  • validação de dados;

  • criptografia;

  • operações financeiras;

  • permissões.

Fonte:

https://cheatsheetseries.owasp.org/cheatsheets/Secure_Coding_with_AI_Cheat_Sheet.html

 

 

4. AGENTES DE IA PRECISAM TER ACESSO CONTROLADO

A OWASP alerta que agentes capazes de executar comandos, acessar arquivos, instalar bibliotecas, acessar a internet ou modificar pipelines aumentam a superfície de risco.

A recomendação é limitar permissões e impedir acessos desnecessários a:

  • arquivos .env;

  • tokens;

  • chaves privadas;

  • credenciais;

  • ambientes de produção;

  • CI/CD;

  • banco de dados.

Fonte:

https://cheatsheetseries.owasp.org/cheatsheets/Secure_Coding_with_AI_Cheat_Sheet.html

 

 

5. CÓDIGO GERADO POR IA PRECISA FAZER PARTE DA GOVERNANÇA DA EMPRESA

A CISA possui controles específicos relacionados ao uso de código gerado por IA.

Entre as recomendações estão:

  • possuir política para uso de IA;

  • revisar código gerado;

  • avaliar riscos de segurança;

  • verificar licenciamento;

  • controlar quais ferramentas podem ser utilizadas;

  • avaliar possíveis vazamentos de informações;

  • manter responsabilidade humana sobre as alterações.

Fonte:

https://www.cisa.gov/resources-tools/resources/software-acquisition-guide-government-enterprise-consumers-software-assurance-cyber-supply-chain

 

 

6. TODO SOFTWARE PRECISA PASSAR POR ANÁLISE E TESTES DE SEGURANÇA

O NIST, através do Secure Software Development Framework — SSDF, estabelece que o desenvolvimento seguro deve incluir análise do código e testes do software executável.

Essas regras independem de quem escreveu o código.

Portanto, código produzido por IA deve passar pelos mesmos controles de segurança aplicados ao código produzido manualmente.

Fonte:

https://csrc.nist.gov/pubs/sp/800/218/final

 

 

7. NEM AS EMPRESAS QUE CRIAM AS IAs RECOMENDAM SUBSTITUIR A REVISÃO HUMANA

GitHub e OpenAI mantêm a revisão humana como parte do processo de desenvolvimento.

A própria OpenAI recomenda utilizar ferramentas como Codex como apoio adicional ao processo de revisão, e não como substituição completa da revisão realizada por desenvolvedores.

Fonte:

https://help.openai.com/pt-br/articles/20001107-codex-security

https://openai.com/index/introducing-upgrades-to-codex/

 

8. RISCOS DE IGNORAR ESTAS RECOMENDAÇÕES

 

Com base nos riscos documentados pelas fontes analisadas, utilizar código gerado por IA sem os controles adequados pode expor o projeto a problemas como:

  • vulnerabilidades de segurança incorporadas ao código sem serem percebidas;

  • erros de lógica ou implementação em códigos que aparentemente funcionam;

  • instalação de dependências inexistentes, vulneráveis ou inadequadas;

  • uso de bibliotecas com licenças incompatíveis com o projeto;

  • vazamento de credenciais, tokens, dados internos ou informações sensíveis para ferramentas de IA;

  • alterações indevidas em testes, produzindo uma falsa sensação de segurança;

  • agentes executando comandos ou modificações além do escopo necessário;

  • riscos em pipelines de CI/CD, servidores, bancos de dados e ambientes de produção quando agentes recebem permissões excessivas;

  • código incorporado ao sistema sem que exista uma validação humana independente de sua segurança e funcionamento.

Esses riscos não significam que todo código produzido por IA apresentará problemas.

Significam que as principais referências analisadas recomendam controles justamente porque a geração automática de código não é, por si só, uma garantia de correção, segurança ou adequação para produção.

Por isso, ignorar revisão, testes, análise de segurança e controle de permissões significa eliminar justamente as barreiras recomendadas por CISA, NIST, OWASP, GitHub e OpenAI para reduzir esses riscos.

 

 

 

CONCLUSÃO

Não encontramos documentação oficial dizendo que devemos parar de utilizar inteligência artificial para gerar código.

Pelo contrário: essas ferramentas fazem parte do desenvolvimento moderno.

O que encontramos repetidamente nas documentações oficiais é a necessidade de manter:

revisão + testes + segurança + responsabilidade humana.

Portanto, nossa regra pode ser:

IA + ENGENHARIA = VELOCIDADE + CONFIABILIDADE

A IA pode acelerar a implementação.

Mas o desenvolvedor continua responsável por:

  • arquitetura;

  • regras de negócio;

  • segurança;

  • dependências;

  • banco de dados;

  • testes;

  • revisão;

  • aprovação final.

Uma regra prática para nossa equipe seria:

Nenhum código deve entrar em produção apenas porque foi gerado pela IA, compilou ou passou nos testes criados pela própria IA.

Antes da publicação, alguém da equipe precisa conseguir entender, revisar e assumir responsabilidade pela alteração.

 

 

FONTES PRINCIPAIS

CISA — Cybersecurity and Infrastructure Security Agency
Software Acquisition Guide
https://www.cisa.gov/resources-tools/resources/software-acquisition-guide-government-enterprise-consumers-software-assurance-cyber-supply-chain

NIST — National Institute of Standards and Technology
Secure Software Development Framework — SP 800-218
https://csrc.nist.gov/pubs/sp/800/218/final

OWASP — Open Worldwide Application Security Project
Secure Coding with AI Cheat Sheet
https://cheatsheetseries.owasp.org/cheatsheets/Secure_Coding_with_AI_Cheat_Sheet.html

GitHub
Review AI-generated code
https://docs.github.com/en/copilot/tutorials/review-ai-generated-code

GitHub
Responsible Use of GitHub Copilot
https://docs.github.com/en/copilot/responsible-use/agents

OpenAI
Codex Security
https://help.openai.com/pt-br/articles/20001107-codex-security

#InteligenciaArtificial #IA #Programacao #DesenvolvimentoDeSoftware #SoftwareDevelopment #AICoding #AIDevelopment #CodigoComIA #iiSoul #iiBrasil