Ontdekken van shadow AI
Technieken om ongeautoriseerde AI-implementaties binnen organisaties op te sporen, waaronder netwerkscanning, analyse van API-verkeer, enumeratie van cloudresources en inventarisatie van SaaS-applicaties.
Shadow AI verwijst naar het gebruik van AI-tools, -diensten en -modellen binnen een organisatie zonder medeweten, goedkeuring of toezicht van IT-, security- of governanceteams. Net zoals shadow IT in vorige decennia onbeheerd risico introduceerde, brengt shadow AI specifieke AI-risico's met zich mee, zoals datalekken, compliance-overtredingen en onbewaakte uitbreiding van het aanvalsoppervlak. Voor redteamers is het ontdekken van shadow AI zowel een verkenningstechniek als een waardevol assessmentresultaat.
Het shadow-AI-landschap
Categorieën shadow AI
| Categorie | Beschrijving | Risiconiveau | Voorbeelden |
|---|---|---|---|
| Direct gebruik van AI-diensten | Medewerkers gebruiken externe AI-diensten direct | Hoog | ChatGPT, Claude, Gemini voor werktaken |
| AI in bestaande SaaS | Bestaande SaaS-tools die AI-functies hebben toegevoegd | Gemiddeld | Notion AI, Grammarly, Microsoft Copilot |
| Zelfgehoste modellen | Teams die eigen modellen draaien op bedrijfsinfrastructuur | Hoog | Open-weight modellen op interne GPU-servers |
| API-integraties | Ontwikkelaars die AI-API's integreren in applicaties zonder goedkeuring | Kritiek | OpenAI API-keys in productiecode |
| Browser-extensies | AI-gestuurde browser-extensies met toegang tot werkinhoud | Gemiddeld | AI-schrijfassistenten, code-aanvullingextensies |
| Mobiele AI-apps | AI-applicaties op persoonlijke of bedrijfstelefoons | Gemiddeld | AI-assistenten op telefoons die voor werk worden gebruikt |
Waarom shadow AI belangrijk is voor red teams
| Risicodimensie | Impact |
|---|---|
| Datalek | Bedrijfseigen data, broncode en klantinformatie die naar externe AI-diensten worden gestuurd |
| Compliance-overtreding | AI-verwerking van gereguleerde data (HIPAA, PCI, GDPR) zonder vereiste controles |
| Vergroot aanvalsoppervlak | Onbewaakte AI-endpoints die kwetsbaar zijn voor prompt injection en data-extractie |
| Supply chain-risico | Niet-gescreende AI-aanbieders met onbekende security posture |
| Intellectueel eigendom | Bedrijfsgeheimen en concurrentiegevoelige informatie die mogelijk worden gebruikt voor modeltraining |
| Audithiaten | AI-beïnvloede beslissingen zonder documentatie of toezicht |
Netwerkgebaseerde ontdekking
Verkeersanalyse voor detectie van AI-diensten
Monitor netwerkverkeer op verbindingen met bekende AI-service-endpoints:
| AI-aanbieder | Te monitoren domeinen | Verkeerspatronen |
|---|---|---|
| OpenAI | api.openai.com, chat.openai.com, cdn.oaiusercontent.com | HTTPS POST met JSON-bodies, streaming SSE-responses |
| Anthropic | api.anthropic.com, claude.ai | HTTPS POST met JSON-bodies |
generativelanguage.googleapis.com, gemini.google.com, aistudio.google.com | HTTPS POST/GET | |
| Azure OpenAI | *.openai.azure.com | HTTPS POST met API-key-headers |
| AWS Bedrock | bedrock-runtime.*.amazonaws.com | AWS SigV4-geauthenticeerde requests |
| Hugging Face | api-inference.huggingface.co, huggingface.co | HTTPS POST/GET |
| Replicate | api.replicate.com | HTTPS POST met token-auth |
| Together AI | api.together.xyz | HTTPS POST met API-key-headers |
| Mistral | api.mistral.ai | HTTPS POST met API-key-headers |
| Cohere | api.cohere.ai | HTTPS POST met API-key-headers |
Detectietechnieken
DNS-queryanalyse
Monitor DNS-queries vanuit bedrijfsnetwerken op domeinen van AI-diensten. Dit werkt zelfs als de inhoud van het verkeer versleuteld is.
Implementatie:
- DNS-logging configureren op bedrijfs-DNS-resolvers
- Watchlists opbouwen van bekende AI-servicedomeinen
- Alarmeren bij nieuwe domeinen die matchen met AI-servicepatronen
- Queryvolume en bron-hosts bijhouden
Inspectie van TLS-certificaten
Op netwerken met TLS-inspectiemogelijkheden onderzoek je verbindingsmetadata op indicatoren van AI-diensten.
Indicatoren:
- SNI-waarden (Server Name Indication) die matchen met AI-servicedomeinen
- Certificaatonderwerpen en -uitgevers die geassocieerd zijn met AI-aanbieders
- Verbindingspatronen (langlopende SSE-verbindingen typisch voor streaming AI-responses)
Analyse van proxylogs
Als de organisatie webproxies gebruikt, analyseer dan proxylogs op verbindingen met AI-diensten.
Analysedimensies:
- Volume van requests naar AI-service-endpoints
- Bron-gebruikers en -afdelingen
- Requestgroottes (grote requests duiden op document- of code-indiening)
- Tijdpatronen (aanhoudend gebruik versus eenmalige verkenning)
Herkenning van verkeerspatronen
Zelfs zonder het verkeer te ontsleutelen, creëert het gebruik van AI-diensten kenmerkende patronen.
Onderscheidende patronen:
- Langlopende HTTP/2-verbindingen met server-sent events (streaming responses)
- Asymmetrische request-/responsegroottes (kleine request, grote response voor generatie)
- Periodieke pollingpatronen (controleren van async generatieresultaten)
- Grote upload gevolgd door een reeks queries (documentupload gevolgd door Q&A)
Enumeratie van cloudresources
AI-resources ontdekken in cloudomgevingen
Organisaties ontdekken vaak dat teams AI-resources hebben aangemaakt in cloudaccounts zonder dat het governanceteam daarvan op de hoogte is:
| Cloudaanbieder | Te enumereren AI-diensten | Ontdekkingsmethode |
|---|---|---|
| AWS | SageMaker, Bedrock, Comprehend, Rekognition, Lex, Polly | AWS Config, CloudTrail, resource inventory API's |
| Azure | Azure OpenAI, Cognitive Services, ML Studio, AI Search | Azure Resource Graph, Activity Log |
| GCP | Vertex AI, AI Platform, Cloud Vision, Natural Language, Gemini API | Cloud Asset Inventory, Audit Logs |
Checklist voor cloudontdekking
| Ontdekkingsactiviteit | Waar te zoeken |
|---|---|
| Serviceactivering | Welke AI-diensten zijn ingeschakeld in alle accounts/subscriptions/projects? |
| Resource-inventaris | Ingezette AI-modellen, endpoints, trainings-jobs, datasets |
| API-key-inventaris | Actieve API-keys voor AI-diensten, leeftijd van keys, laatste gebruik |
| IAM-analyse | Wie heeft rechten om AI-resources aan te maken en te beheren? |
| Kostenanalyse | Uitgaven aan AI-diensten kunnen onontdekt gebruik onthullen |
| Netwerkanalyse | VPC-endpoints of private links naar AI-diensten |
| Containeranalyse | Docker-images die ML-frameworks of modelgewichten bevatten |
| GPU-allocatie | GPU-instances die mogelijk inferentie-workloads draaien |
Zelfgehoste modellen identificeren
Teams draaien soms open-weight modellen op bedrijfsinfrastructuur zonder dat governance daarvan op de hoogte is:
| Indicator | Detectiemethode |
|---|---|
| GPU-gebruik op niet-aangewezen servers | Infrastructuurmonitoring, GPU-metrics |
| Processen van ML-frameworks (PyTorch, TensorFlow, vLLM, Ollama) | Procesmonitoring, containerscanning |
| Grote modelgewichtbestanden op gedeelde opslag | Filesystem-scans voor .safetensors-, .gguf- en .bin-bestanden |
| Inferentieserverprocessen (vLLM, TGI, Ollama, LocalAI) | Poortscanning, proces-enumeratie |
| Interne API-documentatie die AI-endpoints noemt | Doorzoeken van documentatie en wiki's |
| Cache-directories voor Hugging Face-modellen | Filesystem-scans voor .cache/huggingface |
Ontdekking van SaaS en applicaties
Inventaris van SaaS met ingebedde AI
Veel SaaS-tools hebben AI-functies toegevoegd, soms standaard ingeschakeld. Ontdekking vereist systematische inventarisatie:
| SaaS-categorie | Te controleren AI-functies | Datarisico |
|---|---|---|
| Productiviteit (Google Workspace, Microsoft 365) | Gemini-, Copilot-integraties | Documentinhoud die door AI wordt verwerkt |
| Communicatie (Slack, Teams) | AI-samenvattingen, zoekfuncties, bots | Berichtinhoud die door AI wordt verwerkt |
| Development (GitHub, GitLab) | Copilot, codesuggesties | Broncode die door AI wordt verwerkt |
| CRM (Salesforce, HubSpot) | Einstein AI, ChatSpot | Klantgegevens die door AI worden verwerkt |
| Projectmanagement (Notion, Asana, Monday) | AI-assistenten, automatische samenvattingen | Projectdetails die door AI worden verwerkt |
| Design (Figma, Canva) | AI-generatiefuncties | Designassets die door AI worden verwerkt |
| HR (Workday, BambooHR) | AI-screening, analytics | Werknemergegevens die door AI worden verwerkt |
| Support (Zendesk, Intercom) | AI-chatbots, automatische antwoorden | Klantinteracties die door AI worden verwerkt |
Audit van browser-extensies
| Ontdekkingsmethode | Implementatie |
|---|---|
| Endpoint-beheer | MDM/endpoint-beheer raadplegen voor geïnstalleerde browser-extensies |
| Groepsbeleid | Whitelists/blocklists voor extensies controleren op AI-gerelateerde extensies |
| Netwerkanalyse | Monitoren op verkeer naar bekende backend-services van AI-extensies |
| Gebruikersenquête | Gebruikers bevragen over AI-toolgebruik (combineer met technische ontdekking) |
Ontdekking van developertools
Ontwikkelaars integreren AI-diensten vaak zonder securityreview:
| Waar te zoeken | Waar te zoeken | Tool |
|---|---|---|
| API-keys voor AI-diensten | Broncode-repositories, environment variables, configuratiebestanden | Secret-scanning tools (GitLeaks, TruffleHog) |
| AI-SDK-imports | Broncode (Python: openai, anthropic, langchain; JS: openai, @anthropic-ai/sdk) | Codezoekers, dependency-analyse |
| URL's van AI-diensten | Configuratiebestanden, environment variables, deploymentscripts | Grep/zoeken in repositories |
| Modelbestanden | Gedeelde opslag, artifact-repositories | Filesystem-scanning op extensie en grootte |
| AI-gerelateerde dependencies | requirements.txt, package.json, Pipfile | Dependency-analysetools |
Assessmentmethodologie
Engagement-framework voor shadow-AI-ontdekking
Scope bepalen en autoriseren
Definieer de scope van de shadow-AI-ontdekking, inclusief welke netwerken, cloudaccounts en organisatie-eenheden worden meegenomen. Verkrijg autorisatie voor alle scan- en monitoringactiviteiten.
Passieve ontdekking
Begin met niet-intrusieve technieken die bestaande databronnen analyseren: DNS-logs, proxylogs, cloudfacturen, SaaS-inventarissen en code-repositories. Deze fase identificeert het meest zichtbare shadow-AI-gebruik.
Actieve ontdekking
Voer actieve scanning en enumeratie uit: cloudresource-inventaris, endpoint-scanning, containeranalyse en developertool-assessment. Deze fase identificeert resources die passieve monitoring over het hoofd ziet.
Risicobeoordeling
Beoordeel voor elke ontdekte shadow-AI-implementatie het risico op basis van datagevoeligheid, regelgevingsimplicaties en security posture. Prioriteer bevindingen op risiconiveau.
Rapportage en remediatie
Documenteer alle ontdekkingen met risicobeoordelingen en remediatieaanbevelingen. Neem zowel directe acties op (hoog-risicogebruik blokkeren) als strategische aanbevelingen (een goedgekeurde AI-toolkit opbouwen).
Risico-scoring voor shadow-AI-bevindingen
| Factor | Score 1 (Laag) | Score 3 (Gemiddeld) | Score 5 (Hoog) |
|---|---|---|---|
| Datagevoeligheid | Niet-gevoelige interne data | Bedrijfsvertrouwelijk | Gereguleerde data (PII, PHI, PCI) |
| Schaal van gebruik | Individueel, incidenteel gebruik | Op teamniveau, regelmatig gebruik | Afdeling- of organisatiebreed |
| Beveiliging van de dienst | Gerenommeerde aanbieder met enterprise-security | Onbekende aanbieder, standaardvoorwaarden | Geen voorwaarden, dataretentie onduidelijk |
| Governance-gat | Niet in inventaris maar laag risico | Geen securityreview uitgevoerd | Overtreedt bestaand beleid |
| Regelgevingsblootstelling | Geen regelgevingsimplicaties | Mogelijke compliance-zorgen | Duidelijke overtreding van regelgeving |
Remediatie-aanbevelingen
Strategische aanbevelingen
| Aanbeveling | Doel | Implementatie |
|---|---|---|
| Catalogus van goedgekeurde AI | Gesanctioneerde alternatieven bieden voor shadow AI | AI-tools evalueren en goedkeuren voor veelvoorkomende use cases |
| AI-gebruiksbeleid | Heldere verwachtingen scheppen rond AI-toolgebruik | Bepalen welke data door welke AI-diensten mag worden verwerkt |
| Technische controles | Voorkomen van ongeautoriseerde toegang tot AI-diensten | URL-filtering, DLP voor AI-diensten, API-gateway-controles |
| Monitoringprogramma | Continu nieuw shadow-AI-gebruik detecteren | Doorlopende netwerkmonitoring, periodieke cloudenumeratie |
| Training en bewustwording | Medewerkers helpen shadow-AI-risico's te begrijpen | Reguliere training over AI-datarisico's en goedgekeurde alternatieven |
Directe acties bij hoog-risicobevindingen
| Bevinding | Directe actie |
|---|---|
| Gereguleerde data verstuurd naar een ongeautoriseerde AI-dienst | Meldplicht bij datalekken beoordelen, toegang blokkeren, compliance informeren |
| API-keys voor AI-diensten ingebed in broncode | Keys direct roteren, toevoegen aan secret-scanningregels |
| Zelfgehoste modellen die klantgegevens verwerken | Isoleren van productiedata, dataverwerking beoordelen |
| AI-browserextensies met brede rechten | Verwijdering uitrollen via endpoint-beheer |
| Ongeautoriseerde AI-chatbots in klantgerichte applicaties | Uit productie halen, blootstelling van klantgegevens beoordelen |
Het ontdekken van shadow AI wordt steeds vaker een standaardonderdeel van AI-red team-engagements. Organisaties die hun AI-gebruik proactief ontdekken en bestuurd houden, zijn aanzienlijk beter gepositioneerd om AI-risico's te beheersen dan organisaties die wachten tot incidenten ongeautoriseerde implementaties aan het licht brengen.