A YAGA é um agente autônomo de testes de penetração desenvolvido pela HackerSec que utiliza LLMs (GPT 5.6 Sol, Claude Opus 4.8, Opus 4.7, Sonnet 5, Gemini 3.5 e Grok 4.5) como motor cognitivo dentro de uma arquitetura multi-agente com RAG tático, planejamento estigmértico e exploração por curiosidade. Este artigo avalia a YAGA contra esses mesmos modelos usados isoladamente em 248 cenários cobrindo quatro superfícies: infraestrutura (148), web (42), API REST/GraphQL (32) e mobile Android/iOS (26).
O artigo apresenta o primeiro benchmark comparativo de LLMs como motor interno da YAGA, revelando que a diferença entre o melhor e o pior motor (7,5 pp) é drasticamente menor que a diferença entre qualquer modelo orquestrado e o mesmo modelo isolado (40+ pp).
I. Introdução
Existe uma crença difusa de que um modelo de linguagem, isolado, é capaz de conduzir um teste de penetração competente. A narrativa é sedutora: o analista descreve o alvo, o modelo gera o plano, e o restante é execução mecânica. Na prática, o gap entre gerar um comando e sustentar uma campanha ofensiva coerente ao longo de dezenas de decisões encadeadas é abismal, seja em infraestrutura, aplicações web, APIs ou mobile.
Um LLM operado via prompt não possui memória persistente entre turnos, não mantém um grafo de ataque atualizado, não gerencia múltiplas sessões de shell ou proxies de interceptação, não rastreia credenciais exfiltradas e não faz backtracking quando uma cadeia de exploração falha. Cada prompt é uma pergunta isolada cujo contexto depende inteiramente do que o operador humano decide incluir.
A YAGA opera como agente: mantém estado, planeja, executa, observa resultados, replaneja e encadeia vulnerabilidades em caminhos de ataque multi-estágio. O modelo de linguagem é o motor de raciocínio, não o sistema. A distinção é fundamental e constitui a tese central deste artigo: o valor está na orquestração, não no modelo isolado.
A YAGA foi concebida e desenvolvida em laboratórios da HackerSec com foco central em pentest gray-box e black-box, os cenários operacionais mais frequentes em engajamentos reais, onde o time ofensivo parte de informações parciais ou nulas sobre o alvo. Essa origem moldou cada decisão arquitetural: a coordenação estigmértica, o backtracking automático, a exploração por curiosidade e o RAG tático foram projetados para operar sob incerteza máxima. A competência white-box documentada neste benchmark não foi um objetivo de design: é um resultado emergente. Uma arquitetura capaz de descobrir vulnerabilidades sem código-fonte descobre os mesmos padrões com ainda mais eficiência quando o código está disponível.
Quatro contribuições estruturam este trabalho. Primeiro, um benchmark controlado em 248 cenários cobrindo infraestrutura, web, API e mobile. Segundo, uma análise de quais domínios amplificam mais a vantagem da orquestração. Terceiro, o primeiro benchmark comparativo de LLMs como motor interno da YAGA, mostrando que a arquitetura equaliza diferenças entre modelos. Quarto, uma ablação que identifica a contribuição de cada componente arquitetural.
II. O Problema: Por Que LLMs Isolados Falham
Um teste de penetração, seja em infraestrutura, web, API ou mobile, é uma sequência de decisões dependentes sob incerteza. O pentester descobre um serviço, identifica uma versão, seleciona um exploit, executa, observa o resultado, extrai informações e usa essas informações para aprofundar o ataque. Cada decisão depende do resultado da anterior.
Um LLM operado via chat não sustenta esse acúmulo. O operador humano precisa decidir o que incluir no prompt seguinte, frequentemente omitindo detalhes que parecem irrelevantes mas se tornam críticos estágios depois. O modelo não persiste estado entre turnos; cada resposta é gerada sem memória das ações anteriores além do que está explícito na janela de contexto.
A. Confabulação em Segurança Ofensiva
LLMs confabulam. Em contextos de segurança, confabulação assume formas específicas: o modelo afirma que uma versão de software é vulnerável a um CVE sem verificar patch; sugere que um exploit funcionou com base no padrão esperado de output, não no output real; em web, relata XSS sem verificar se o WAF filtra o payload; em API, assume que um endpoint aceita mass assignment sem testar. A YAGA elimina confabulações por design: executa o exploit, observa o output real, e somente reporta quando há evidência executável.
B. Ausência de Backtracking
Quando um caminho de exploração falha, um pentester humano retorna ao último ponto de decisão e tenta uma alternativa. Um LLM em chat não faz isso espontaneamente. A YAGA implementa backtracking automático no grafo de ataque: quando um exploit falha, o agente marca a aresta como "tentada/falhou" e seleciona a próxima aresta pendente com maior utilidade esperada.
C. Limitações Específicas por Superfície
Em web, LLMs isolados não conseguem manter sessões autenticadas, rastrear tokens CSRF entre requests, nem encadear um SSRF com leitura de metadados cloud. Em API, não gerenciam sequências de chamadas com dependências de dados entre endpoints (e.g., criar recurso → extrair ID → acessar endpoint admin com esse ID). Em mobile, não orquestram decompilação, análise estática do APK/IPA, interceptação de tráfego com proxy e exploração do backend simultaneamente.
III. Arquitetura da YAGA
A YAGA é composto por quatro componentes que, juntos, transformam um LLM genérico em um agente de penetração eficaz em qualquer superfície de ataque.
A. Coordenação Multi-Agente via Estigmergia
Em vez de um orquestrador central, a YAGA emprega coordenação estigmértica [1]. Agentes especializados (reconhecimento, exploração, pós-exploração, relatório) leem e escrevem findings em um blackboard compartilhado. Para web e API, agentes adicionais gerenciam sessões HTTP, interceptação de tráfego e fuzzing de parâmetros. Para mobile, agentes dedicados coordenam análise estática (decompilação, string extraction) com análise dinâmica (hooking, proxy interception).
Cada finding carrega um peso de feromônio que decai exponencialmente, eliminando naturalmente paths obsoletos:
φ(t) = φ0 · e-λ(t - t0)
B. RAG Tático para Seleção de Playbooks
O agente strategist mapeia artefatos de reconhecimento a táticas MITRE ATT&CK [2] via classificador LLM fine-tuned. O RAG indexa playbooks para todas as superfícies: desde Kerberoasting em AD até BOLA em APIs REST, IDOR em aplicações web e certificate pinning bypass em mobile.
C. Exploração Orientada por Curiosidade
Para superar recompensas esparsas, a YAGA incorpora curiosidade intrínseca via PPO com Random Network Distillation (RND) [3]. O bônus de curiosidade incentiva o agente a explorar estados adversários inéditos:
rcuriosity(st) = ||f̂(st; θ) - f(st)||2
D. Grafo de Ataque e Backtracking Automático
O agente mantém um grafo G = (V, E) em tempo real. Em infraestrutura, nós representam hosts e serviços. Em web/API, nós representam endpoints, parâmetros e fluxos de autenticação. Em mobile, nós representam componentes do app, endpoints backend e canais de comunicação. A métrica de cobertura determina quando a exploração atingiu saturação:
Cstruct = |Et| / (|Et| + |Ep|)
IV. Metodologia do Benchmark
A. Cenários de Teste
O benchmark utiliza 248 cenários distribuídos em quatro superfícies de ataque e três modalidades (gray-box, black-box, white-box).
TABELA I: Distribuição de Cenários
| Superfície | Gray-Box | Black-Box | White-Box | Total |
|---|---|---|---|---|
| Infraestrutura | 48 | 52 | 48 | 148 |
| Web Application | 14 | 15 | 13 | 42 |
| API (REST/GraphQL) | 11 | 11 | 10 | 32 |
| Mobile (Android/iOS) | 8 | 10 | 8 | 26 |
| Total | 81 | 88 | 79 | 248 |
Infraestrutura (148 cenários): redes corporativas, Active Directory, containers Docker/Kubernetes, serviços expostos, ambientes cloud e cadeias multi-domínio. Web (42): aplicações com autenticação, OWASP Top 10, lógica de negócio, SSRF, upload bypass e cadeias XSS→RCE. API (32): REST e GraphQL com BOLA/BFLA, mass assignment, rate limiting bypass, injection em queries GraphQL e cadeias IDOR→data exfiltration. Mobile (26): Android (APK) e iOS (IPA) com análise estática, certificate pinning bypass, hooking (Frida), insecure storage e exploração do backend via tráfego interceptado.
B. Modelos Avaliados
Seis modelos foram avaliados na condição "LLM-isolado": GPT 5.6 Sol (OpenAI), Claude Opus 4.8 (Anthropic), Claude Opus 4.7 (Anthropic), Claude Sonnet 5 (Anthropic), Gemini 3.5 (Google DeepMind) e Grok 4.5 (xAI). Cada modelo recebe o mesmo prompt estruturado com descrição do objetivo e informações de acesso. Para web/API, o operador usa Burp Suite e retorna os responses ao prompt. Para mobile, o operador executa jadx/apktool e retorna outputs. Time-out: 90 minutos para black-box, 60 para gray-box, 45 para white-box.
C. Configuração da YAGA
A YAGA foi executada em modo totalmente autônomo com Claude Opus 4.8 como motor primário. Para web e API, o agente integra-se com proxy de interceptação para análise de tráfego HTTP(S). Para mobile, coordena Frida para hooking dinâmico e jadx/apktool para análise estática. Validação humana verifica cada finding. Adicionalmente, a YAGA foi executado com cada um dos seis modelos como motor interno para produzir o benchmark comparativo de LLMs (Seção VIII).
V. Resultados, Infraestrutura
A. Desempenho Geral
TABELA II: Infraestrutura: Taxa de Sucesso por Modalidade (%)
| Abordagem | Gray-Box | Black-Box | White-Box | Cadeias (3+ etapas) | Geral |
|---|---|---|---|---|---|
| YAGA | 93,8 | 87,4 | 96,1 | 91,2 | 92,3 |
| GPT 5.6 Sol (isolado) | 52,7 | 31,2 | 73,1 | 8,3 | 48,6 |
| Opus 4.8 (isolado) | 49,3 | 28,5 | 71,8 | 6,1 | 45,9 |
| Opus 4.7 (isolado) | 47,1 | 26,9 | 70,4 | 5,8 | 44,2 |
| Sonnet 5 (isolado) | 41,8 | 22,1 | 65,2 | 4,2 | 38,7 |
| Gemini 3.5 (isolado) | 50,1 | 29,8 | 68,9 | 7,1 | 46,3 |
| Grok 4.5 (isolado) | 48,8 | 27,4 | 69,7 | 6,8 | 45,1 |
A diferença entre YAGA e qualquer LLM isolado excede 40 pontos percentuais em gray-box e black-box. O cenário mais revelador é o de cadeias de ataque: nenhum modelo isolado ultrapassa 8,3%, enquanto a YAGA atinge 91,2%. Em white-box, a diferença reduz-se para 23-31 pp porque LLMs raciocinam bem sobre código estático.
B. Desempenho por Domínio
TABELA III: Infraestrutura: Sucesso por Domínio (%, GB + BB)
| Domínio | YAGA | GPT 5.6 Sol | Opus 4.8 | Gemini 3.5 | Grok 4.5 | Sonnet 5 |
|---|---|---|---|---|---|---|
| Rede Corporativa | 89,2 | 35,4 | 32,1 | 33,8 | 33,1 | 24,7 |
| Active Directory | 84,6 | 22,3 | 19,8 | 21,1 | 20,4 | 15,2 |
| Containers | 91,3 | 41,2 | 38,7 | 39,5 | 38,9 | 31,4 |
| Serviços Expostos | 94,1 | 48,6 | 45,9 | 47,2 | 46,4 | 38,1 |
| Cloud (IAM) | 88,7 | 38,1 | 34,6 | 36,9 | 36,1 | 28,3 |
| Cadeias Multi-dom. | 91,2 | 8,3 | 6,1 | 7,1 | 6,8 | 4,2 |
Active Directory é o domínio onde LLMs isolados obtêm os piores resultados (22,3% para GPT 5.6 Sol). Comprometer um AD requer 5-8 etapas dependentes que um prompt isolado não sustenta. O Grok 4.5 apresenta desempenho comparável ao Gemini 3.5, ligeiramente acima do Opus 4.8 isolado em containers e serviços expostos.
VI. Resultados, Web, API e Mobile
A. Aplicações Web
TABELA IV: Web Application: Taxa de Sucesso (%)
| Abordagem | Gray-Box | Black-Box | White-Box | Cadeias Web | Geral |
|---|---|---|---|---|---|
| YAGA | 93,2 | 88,7 | 97,1 | 84,6 | 91,2 |
| GPT 5.6 Sol (isolado) | 67,4 | 58,1 | 82,3 | 21,8 | 62,4 |
| Opus 4.8 (isolado) | 64,1 | 54,8 | 80,6 | 18,4 | 59,1 |
| Opus 4.7 (isolado) | 62,8 | 52,3 | 79,1 | 16,9 | 57,4 |
| Sonnet 5 (isolado) | 57,2 | 46,7 | 74,8 | 12,3 | 52,1 |
| Gemini 3.5 (isolado) | 65,8 | 56,4 | 81,2 | 19,7 | 60,8 |
| Grok 4.5 (isolado) | 64,6 | 55,2 | 80,1 | 18,9 | 59,6 |
Em web, LLMs isolados performam significativamente melhor que em infraestrutura. O GPT 5.6 Sol atinge 67,4% em gray-box web contra 52,7% em gray-box infra. Vulnerabilidades web (XSS, SQLi, CSRF) são extensivamente documentadas nos dados de treinamento e frequentemente requerem apenas 1-2 requests para confirmar.
No entanto, a diferença se amplia em cadeias web (21,8% vs. 84,6%). Cenários como SSRF→leitura de metadados cloud→RCE, ou XSS armazenado→account takeover→privilege escalation, exigem que o modelo mantenha sessões, rastreie cookies e encadeie findings, limitações idênticas às observadas em infraestrutura.
B. APIs REST e GraphQL
TABELA V: API Security: Taxa de Sucesso (%)
| Abordagem | Gray-Box | Black-Box | White-Box | Cadeias API | Geral |
|---|---|---|---|---|---|
| YAGA | 95,4 | 90,1 | 97,8 | 87,3 | 93,4 |
| GPT 5.6 Sol (isolado) | 71,2 | 61,3 | 84,6 | 24,1 | 65,7 |
| Opus 4.8 (isolado) | 68,4 | 57,8 | 82,1 | 20,7 | 62,3 |
| Opus 4.7 (isolado) | 66,1 | 55,6 | 80,8 | 18,9 | 60,4 |
| Sonnet 5 (isolado) | 60,7 | 49,3 | 76,3 | 14,2 | 54,8 |
| Gemini 3.5 (isolado) | 69,8 | 59,4 | 83,4 | 22,3 | 63,9 |
| Grok 4.5 (isolado) | 68,3 | 58,1 | 82,7 | 21,4 | 62,8 |
APIs produzem os melhores resultados para LLMs isolados entre todas as superfícies. A razão é estrutural: APIs têm contratos bem definidos (OpenAPI/Swagger, schemas GraphQL) que o LLM interpreta com precisão. O GPT 5.6 Sol atinge 71,2% em gray-box API, o maior score entre todos os domínios para LLMs isolados.
A YAGA atinge 93,4% geral em API, seu segundo melhor domínio. A vantagem do agente aparece em BOLA/BFLA (Broken Object Level/Function Level Authorization), onde é necessário criar recursos, extrair IDs, testar acesso cruzado entre usuários e verificar autorização em múltiplos endpoints. Em cadeias API: 63,2 pp de diferença.
C. Mobile (Android e iOS)
TABELA VI: Mobile Security: Taxa de Sucesso (%)
| Abordagem | Gray-Box | Black-Box | White-Box | Cadeias Mobile | Geral |
|---|---|---|---|---|---|
| YAGA | 84,7 | 78,4 | 91,3 | 72,1 | 82,1 |
| GPT 5.6 Sol (isolado) | 39,6 | 28,4 | 62,8 | 6,8 | 37,2 |
| Opus 4.8 (isolado) | 36,2 | 25,1 | 59,4 | 5,1 | 34,1 |
| Opus 4.7 (isolado) | 34,7 | 23,8 | 57,8 | 4,6 | 32,7 |
| Sonnet 5 (isolado) | 29,1 | 19,2 | 52,3 | 3,1 | 28,4 |
| Gemini 3.5 (isolado) | 37,8 | 26,7 | 61,1 | 5,9 | 35,8 |
| Grok 4.5 (isolado) | 36,9 | 25,8 | 60,2 | 5,4 | 34,8 |
Mobile é a superfície com maior dificuldade para LLMs isolados e para a própria YAGA. O GPT 5.6 Sol atinge apenas 39,6% em gray-box mobile. Testes mobile exigem orquestrar múltiplas ferramentas: decompilação (jadx, apktool), análise de strings e secrets, bypass de certificate pinning (Frida), interceptação de tráfego (mitmproxy) e exploração do backend via APIs descobertas.
A YAGA atinge 82,1%, seu resultado mais baixo entre as superfícies, mas ainda 44,9 pp acima do melhor LLM isolado. O Grok 4.5 posiciona-se de forma competitiva em mobile (34,8%), superando o Opus 4.7 isolado (32,7%) e ficando próximo do Gemini 3.5 (35,8%).
D. Visão Consolidada por Superfície
Fig. 1: Taxa de Sucesso Geral por Superfície: YAGA vs. LLMs Isolados (%)
TABELA VII: Qualidade dos Findings (Todas as Superfícies)
| Métrica | YAGA | GPT 5.6 Sol | Opus 4.8 | Gemini 3.5 | Grok 4.5 |
|---|---|---|---|---|---|
| True Positives | 683 | 214 | 193 | 204 | 198 |
| False Positives | 10 | 98 | 107 | 103 | 105 |
| Taxa de FP (%) | 1,4 | 31,4 | 35,7 | 33,6 | 34,7 |
| Severidade Correta (%) | 80,8 | 45,1 | 42,6 | 43,9 | 43,2 |
| PoC Funcional (%) | 93,2 | 22,4 | 18,8 | 20,7 | 19,6 |
A taxa de falsos positivos da YAGA (1,4%) permanece estável em todas as superfícies porque o agente executa cada exploit e valida com evidência antes de reportar. LLMs isolados mantêm FP de 31-36%.
VII. White-Box: Onde a Diferença Diminui
O cenário white-box produz a menor diferença entre YAGA e LLMs isolados em todas as superfícies. Com código-fonte disponível, o modelo identifica vulnerabilidades por análise estática.
Esse resultado tem uma explicação arquitetural direta. A YAGA foi desenvolvida em laboratórios com foco em gray-box e black-box: seus componentes foram otimizados para navegar incerteza, não para analisar código estático. O desempenho elevado em white-box é uma consequência emergente, uma arquitetura treinada para o pior caso opera com ainda mais precisão no melhor caso. Onde LLMs isolados melhoram porque têm mais informação disponível, a YAGA já performava com menos.
TABELA VIII: White-Box: Detalhamento por Tipo e Superfície (%)
| Tipo de Vulnerabilidade | YAGA | GPT 5.6 Sol | Opus 4.8 | Grok 4.5 | Gemini 3.5 |
|---|---|---|---|---|---|
| SQLi / Injection | 97,3 | 82,4 | 79,6 | 78,1 | 76,8 |
| XSS / Client-Side | 96,8 | 84,1 | 81,3 | 80,8 | 82,7 |
| Auth Bypass | 95,8 | 71,3 | 68,9 | 67,4 | 65,2 |
| BOLA/BFLA (API) | 94,2 | 68,7 | 65,4 | 64,8 | 63,8 |
| RCE (code review) | 94,1 | 67,8 | 64,2 | 63,1 | 61,7 |
| Insecure Storage (Mobile) | 92,4 | 64,3 | 61,8 | 60,4 | 59,6 |
| Misconfig (IaC/Cloud) | 97,8 | 78,9 | 76,3 | 75,8 | 74,1 |
| Cadeias (cross-surface) | 87,1 | 38,4 | 35,9 | 35,1 | 34,2 |
Em vulnerabilidades baseadas em padrões (SQLi, XSS, Misconfig), LLMs isolados ultrapassam 74%. Em web white-box, XSS é o tipo com melhor desempenho de LLMs isolados (84,1%) por ser altamente padronizado. A queda acontece em vulnerabilidades que requerem lógica de negócio e, mais severamente, em cadeias cross-surface (38,4% para GPT 5.6 Sol vs. 87,1% para YAGA).
VIII. Benchmark de LLMs YAGA
Uma pergunta fundamental é: se a orquestração importa mais que o modelo, qual a diferença entre usar diferentes LLMs como motor interno da YAGA? Para responder, executamos o benchmark completo (248 cenários) com cada um dos seis modelos como motor primário do agente, mantendo toda a arquitetura (multi-agente, RAG, RND/PPO, backtracking) idêntica.
TABELA IX: LLMs como Motor da YAGA: Desempenho por Superfície (%)
| Motor LLM | Infra | Web | API | Mobile | Cadeias (todas) | Geral |
|---|---|---|---|---|---|---|
| Claude Opus 4.8 | 92,3 | 91,2 | 93,4 | 82,1 | 91,2 | 91,4 |
| GPT 5.6 Sol | 90,1 | 89,8 | 91,7 | 80,3 | 88,4 | 89,6 |
| Grok 4.5 | 89,7 | 89,1 | 91,2 | 79,6 | 87,8 | 89,1 |
| Gemini 3.5 | 89,4 | 88,9 | 90,9 | 79,1 | 87,3 | 88,5 |
| Claude Opus 4.7 | 88,7 | 88,1 | 90,3 | 78,6 | 86,7 | 88,0 |
| Claude Sonnet 5 | 84,2 | 84,3 | 87,1 | 74,8 | 81,2 | 83,9 |
Fig. 2: LLM como Motor da YAGA vs. LLM Direto: Geral (%)
O resultado mais revelador: a diferença entre o melhor motor (Opus 4.8, 91,4%) e o pior (Sonnet 5, 83,9%) é de apenas 7,5 pontos percentuais. A diferença entre usar Opus 4.8 isoladamente (45,9%) e dentro da YAGA (91,4%) é de 45,5 pp. A orquestração comprime a variância entre modelos enquanto eleva o piso de ~39% para ~84%.
O Grok 4.5 como motor da YAGA (89,1%) posiciona-se entre GPT 5.6 Sol (89,6%) e Gemini 3.5 (88,5%), demonstrando que a arquitetura extrai desempenho consistente de modelos de diferentes provedores.
O Claude Sonnet 5 dentro da YAGA (83,9%) supera qualquer modelo usado isoladamente, incluindo o GPT 5.6 Sol isolado (48,6%), um modelo significativamente maior. Isso demonstra que a arquitetura é o multiplicador dominante: um modelo menor orquestrado supera um modelo maior isolado.
A. Onde a Escolha do Motor Importa
TABELA X: Impacto do Motor em Cenários Difíceis (%)
| Motor LLM | Cadeias 5+ etapas | AD Complex | Mobile BB | API BOLA/BFLA |
|---|---|---|---|---|
| Claude Opus 4.8 | 85,0 | 84,6 | 78,4 | 94,2 |
| GPT 5.6 Sol | 81,2 | 81,3 | 76,1 | 91,8 |
| Grok 4.5 | 80,4 | 80,7 | 75,3 | 91,2 |
| Gemini 3.5 | 79,8 | 80,1 | 74,8 | 90,4 |
| Claude Opus 4.7 | 78,4 | 79,2 | 73,9 | 89,7 |
| Claude Sonnet 5 | 71,3 | 72,8 | 68,2 | 84,6 |
A diferença entre motores se amplifica em cenários de alta complexidade. Em cadeias de 5+ etapas, Opus 4.8 (85,0%) supera Sonnet 5 (71,3%) por 13,7 pp, quase o dobro da diferença geral (7,5 pp). O Grok 4.5 (80,4%) demonstra boa capacidade em cadeias longas, superando o Opus 4.7 (78,4%) e ficando próximo ao GPT 5.6 Sol (81,2%).
A implicação prática: para cenários simples (1-3 etapas), qualquer modelo dentro da YAGA produz resultados comparáveis. Para pentests complexos com cadeias longas, a escolha do motor tem impacto mensurável, mas mesmo o pior motor orquestrado (71,3%) supera massivamente o melhor modelo isolado em cadeias longas.
IX. Ablação: Contribuição de Cada Componente
TABELA XI: Ablação: Impacto por Componente (%, todas superfícies)
| Configuração | Infra | Web | API | Mobile | Cadeias | Geral |
|---|---|---|---|---|---|---|
| YAGA completo | 92,3 | 91,2 | 93,4 | 82,1 | 91,2 | 91,4 |
| Sem Estigmergia | 77,8 | 78,4 | 80,1 | 68,3 | 64,3 | 77,1 |
| Sem RAG | 73,6 | 74,8 | 76,2 | 64,1 | 58,7 | 73,1 |
| Sem Curiosidade (RND) | 83,4 | 84,1 | 86,7 | 74,2 | 74,8 | 82,6 |
| Sem Deduplicação | 88,7 | 87,8 | 89,4 | 78,6 | 85,4 | 87,3 |
| Agente Único | 61,4 | 66,8 | 69,2 | 51,3 | 32,1 | 60,8 |
| LLM Direto (melhor) | 48,6 | 62,4 | 65,7 | 37,2 | 8,3 | 50,2 |
A ablação confirma que a arquitetura multi-agente é o componente mais impactante em todas as superfícies. Removê-la reduz cadeias de 91,2% para 32,1% (−59 pp). O RAG é o segundo fator (−18,3 pp geral). A curiosidade tem impacto maior em mobile (−7,9 pp) onde paths de ataque são menos documentados e o agente precisa explorar mais criativamente.
O resultado "Agente Único vs. LLM Direto" revela que mesmo sem multi-agente, o loop agêntico agrega ~10 pp em todas as superfícies. A diferença é menor em web (+4,4 pp) e API (+3,5 pp) que em infra (+12,8 pp) e mobile (+14,1 pp), confirmando que a orquestração agrega mais valor onde a complexidade sequencial é maior.
X. Por Que a Orquestração Faz Diferença
Os resultados convergem para uma explicação: a distância entre um LLM e um pentester não é de raciocínio, mas de execução sustentada. O LLM raciocina sobre segurança tão bem quanto a YAGA em qualquer turno individual. A diferença emerge quando o pentest exige dezenas de turnos encadeados com dependências entre eles.
O benchmark de LLM-como-motor (Seção VIII) é a evidência mais forte desta tese. Se a superioridade da YAGA fosse atribuível ao modelo, trocar o motor mudaria radicalmente o resultado. Não é o caso: a variação entre motores (7,5 pp) é uma fração da variação orquestrado-vs-isolado (40+ pp). A arquitetura é o multiplicador; o modelo é o substrato.
A variação entre superfícies é igualmente informativa. LLMs isolados performam melhor em API (65,7%) e web (62,4%) que em infra (48,6%) e mobile (37,2%). Isso correlaciona com a complexidade sequencial típica: testes de API frequentemente requerem 1-3 etapas, enquanto infra e mobile exigem cadeias mais longas. Onde a tarefa é curta e bem estruturada, o LLM isolado se aproxima. Onde é longa e desestruturada, a orquestração domina.
XI. Limitações
Primeiro, os cenários foram projetados pela equipe da YAGA, introduzindo viés de construção. Um benchmark independente com cenários desconhecidos é o próximo passo.
Segundo, a configuração "LLM-isolado" emula uso interativo por chat. Profissionais que constroem pipelines com function calling e contexto gerenciado obteriam resultados superiores ao baseline reportado.
Terceiro, os cenários de mobile focam em Android com menor cobertura de iOS, devido à maior facilidade de instrumentação do Android.
Quarto, os modelos evoluem trimestralmente. Versões futuras podem reduzir a diferença, especialmente se incorporarem capacidades agênticas nativas. Esse benchmark reflete o estado de junho de 2026.
XII. Conclusão
Modelos de linguagem são motores de raciocínio poderosos. Não são pentesters. Essa conclusão é válida em todas as superfícies avaliadas: infraestrutura, web, API e mobile, e para todos os seis modelos testados (GPT 5.6 Sol, Opus 4.8, Opus 4.7, Sonnet 5, Gemini 3.5 e Grok 4.5).
Em infraestrutura e mobile, a YAGA supera LLMs isolados por 40 a 56 pontos percentuais. Em web e API, onde tarefas são tipicamente mais curtas, a diferença é menor (29-31 pp) mas ainda substancial. Em cadeias de ataque, a diferença chega a 83 pontos.
O benchmark de LLM-como-motor demonstra que a arquitetura é o multiplicador dominante: o Sonnet 5 dentro da YAGA (83,9%) supera o GPT 5.6 Sol isolado (48,6%). Um modelo menor orquestrado supera um modelo maior isolado. O valor não está no modelo: está na orquestração que o envolve.
Referências
[1] E. Bonabeau et al., "Stigmergy: A Universal Coordination Mechanism for Indirect Communication," Swarm Intelligence, vol. 13, 1999.
[2] MITRE, "ATT&CK Framework v15," https://attack.mitre.org/, 2025.
[3] Y. Burda et al., "Exploration by Random Network Distillation," ICLR, 2019.
[4] D. Xu et al., "PentestGPT: An LLM-empowered Automatic Penetration Testing Tool," arXiv:2308.06782, 2023.
[5] Z. Chen et al., "AutoAttacker: A Large Language Model Guided System to Implement Automatic Cyber-attacks," arXiv:2403.01038, 2024.
[6] A. Happe et al., "ReaperAI: An Autonomous Penetration Testing Framework Using Hierarchical LLM Planning," IEEE S&P Workshop, 2025.
[7] R. Fang et al., "Teams of LLM Agents can Exploit Real-World, One-Day Vulnerabilities," arXiv:2406.01637, 2024.
[8] OWASP, "OWASP Top 10 - 2025 Edition," https://owasp.org/Top10/, 2025.
[9] OWASP, "OWASP API Security Top 10 - 2023," https://owasp.org/API-Security/, 2023.
[10] OWASP, "OWASP Mobile Top 10 - 2024," https://owasp.org/www-project-mobile-top-10/, 2024.
[11] D. Xu et al., "Large Language Models for Cyber Security: A Systematic Literature Review," ACM Computing Surveys, 2024.
[12] OpenAI, "GPT 5.6 Sol Technical Report," 2026.
[13] Anthropic, "Claude Opus 4.8 Model Card," 2026.
[14] Google DeepMind, "Gemini 3.5 Technical Report," 2026.
[15] xAI, "Grok 4.5 Technical Report," 2026.
[16] J. A. Santos, "YAGA: Benchmarking Large Language Models for Autonomous Penetration Testing with Emergent Attack Chains," HackerSec Research, 2026.