# testing
56 artikelengetagd met “testing”
Overzicht van sectiebeoordelingen
How to use the AI red teaming section assessments, scoring methodology, and recommended completion order.
Capstone: Ontwerp en implementeer een AI-safety-benchmarksuite
Bouw een uitgebreide, reproduceerbare benchmarksuite voor het evalueren van LLM-safety over meerdere risicodimensies, waaronder toxiciteit, bias, hallucinatie en adversarial robuustheid.
Testen van Azure AI Content Safety
Testing Azure AI Content Safety service for bypass vulnerabilities and configuration weaknesses.
Beveiligingshiaten in AI-gegenereerde tests
Analyzing how AI-generated test suites systematically miss security-relevant test cases, creating dangerous coverage illusions.
Geavanceerde manipulatie van testgeneratie
Advanced techniques for manipulating AI-generated tests to create false assurance by generating tests that pass but don't verify security properties.
Content Safety-API's (Azure, OpenAI, Google)
Gedetailleerde vergelijking van Azure Content Safety, de OpenAI Moderation API en de safety-aanbiedingen van Google Cloud, inclusief API-structuren, categorietaxonomieën, severityniveaus, testmethodologie en veelvoorkomende hiaten.
Defense Evaluation Methodology
Systematische methodologie voor het evalueren van de effectiviteit van AI-verdedigingen tegen bekende aanvalscategorieën.
Automatisering van redteaming
Frameworks en tools voor het op schaal automatiseren van AI-redteaming, inclusief CART-pipelines, jailbreak-fuzzing, regressietests en continue monitoring.
Systemen voor het bijhouden van dekking
Het implementeren van testdekkingstracking voor AI-beveiligingsbeoordelingen om volledige evaluatie over aanvalsvectoren en modelgedragingen heen te garanderen.
Toolkit voor verdedigingsevaluatie
Een toolkit bouwen om systematisch te evalueren hoe effectief verdedigingen van LLM's zijn.
Fuzzen van LLM-applicaties
Fuzzing-methodieken toepassen op LLM-applicaties, inclusief grammar-based fuzzing, mutation-based fuzzing en coverage-guided aanpakken.
Multi-model testorkestrator
Parallelle beveiligingstesten orkestreren over meerdere modellen en providers om cross-model kwetsbaarheden en overdraagbare aanvallen te identificeren.
Testframework voor meerdere doelen
Bouw een framework waarmee je dezelfde aanvalssuite tegelijk uitvoert tegen meerdere modelproviders.
promptfoo voor redteaming
Diepgaande verkenning van promptfoo voor AI-redteaming: YAML-configuratie, assertion-gebaseerde tests, redteam-plug-ins, eigen evaluators en regressietest-workflows voor LLM-beveiliging.
Regressietesten voor AI-beveiliging
Geautomatiseerde regressietests voor AI-veiligheidseigenschappen implementeren die integreren in CI/CD-pipelines en veiligheidsregressies opvangen.
Stabiliteit van alignment onder fine-tuning
Testing how safety alignment degrades under various fine-tuning configurations and datasets.
AI-auditmethodologie
Uitgebreide methodologie voor het auditen van AI-systemen, waaronder planning, bewijsverzameling, testprocedures, rapportsjablonen en integratie met red team-beoordelingen.
EU AI Act-compliancetests
EU AI Act-risicocategorieën, testvereisten voor AI-systemen met hoog risico, conformiteitsbeoordelingsprocedures en hoe red-teamen de EU AI Act-compliance ondersteunt.
Beveiligingstesten van LLM-API's
Beveiligingstestmethodologie voor LLM-API's, met aandacht voor authenticatie, rate limiting, invoervalidatie, uitvoerfiltering en LLM-specifieke API-kwetsbaarheden.
Lab: beveiligingstesten van API-authenticatie
Test LLM API authentication mechanisms for vulnerabilities including token leakage, replay attacks, and scope bypass.
Lab: modeltesten via de API
Learn to test language models through their APIs including OpenAI, Anthropic, and local Ollama endpoints. Build reusable API testing functions with proper error handling.
Basisopzet voor geautomatiseerd testen
Set up automated prompt testing with Python scripts to scale your security evaluation beyond manual testing.
Basistesten van verdedigingsmechanismen
Identify and categorize the defensive mechanisms present in a target LLM application through structured probing.
Testen van de instructiehiërarchie
Test how models prioritize conflicting instructions between system, user, and assistant roles.
Lab: meertalige prompts testen
Test LLM safety boundaries across multiple languages to identify inconsistencies in safety training coverage.
Beveiligingstesten van LLM-playgrounds
Use web-based LLM playgrounds to practice basic injection techniques without API setup requirements.
Lab: kwetsbaarheden van prompt-templates testen
Test common prompt template patterns for injection vulnerabilities including string interpolation and placeholder abuse.
Lab: consistentie van responses testen
Test LLM response consistency across repeated queries to identify non-deterministic safety boundary behavior.
Lab: veiligheidsbenchmarks uitvoeren
Run standardized safety benchmarks against LLM models to establish baseline safety profiles for comparison.
Lab: bouw een AI-fuzzer
Build a comprehensive fuzzing framework for large language models that systematically generates malformed, unexpected, and adversarial inputs to discover crashes, unexpected behaviors, and safety bypasses.
Framework voor het testen op deceptive alignment
Build a testing framework for detecting mesa-optimization and deceptive alignment in fine-tuned models.
Lab: beveiligingstesten van agent-workflows
Test multi-step agent workflows for injection points, state manipulation, and unauthorized action execution.
Lab: effectiviteit van canary tokens testen
Deploy and test canary tokens in system prompts to evaluate their effectiveness at detecting prompt extraction.
Lab: beveiligingstesten van cloud-AI-platforms
Test cloud AI platform configurations including AWS Bedrock guardrails, Azure content filters, and GCP safety settings.
Lab: grondbeginselen van AI-compliancetesten
Test LLM applications against OWASP LLM Top 10 and NIST AI RMF requirements using structured test procedures.
Lab: sessie-isolatie testen
Test session isolation in multi-tenant LLM deployments to detect cross-session data leakage and context contamination.
Testmethodologie voor Claude
Systematic methodology for red teaming Claude models, including API probing, model card analysis, safety boundary mapping, and comparative testing across Opus, Sonnet, and Haiku tiers.
Testmethodologie voor Gemini
Systematic methodology for red teaming Gemini, including Vertex AI API probing, Google AI Studio testing, multimodal test case design, and grounding attack validation.
Testmethodologie voor GPT-4
Systematic methodology for red teaming GPT-4, including API-based probing techniques, rate limit considerations, content policy mapping, and safety boundary discovery.
Configuratiegids voor promptfoo
Gedetailleerde gids voor het configureren van Promptfoo voor LLM-beveiligingstesten, inclusief provider-setup, test-asserties en CI/CD-integratie.
Geautomatiseerde regressietesten van verdediging
Build automated regression tests for LLM security defenses using attack replay and continuous monitoring.
Geautomatiseerde testpipeline voor verdediging
Build an automated pipeline that continuously tests defensive measures against evolving attack techniques.
Compliance-gedreven testmethodologie
Map regulatory requirements to specific test cases for compliance-driven AI red team assessments.
Testen op naleving van de EU AI Act
Walkthrough for conducting red team assessments that evaluate compliance with the EU AI Act requirements, covering risk classification, mandatory testing obligations, and documentation requirements.
Methodologie voor multi-modeltesten
Structured methodology for testing applications that use multiple LLM models in their processing pipeline.
Methodologie voor AI-compliancetesten
Methodology for testing AI systems against regulatory compliance requirements including EU AI Act and NIST.
AI21 Labs-modellen testen
Red team testing guide for AI21 Labs Jamba models including long context and efficiency features.
Cohere-modellen testen
Red team testing guide for Cohere's Command-R models including RAG and tool use features.
Het Fireworks AI-platform testen
Red team testing guide for Fireworks AI including function calling and compound AI systems.
Het Groq inference-platform testen
Red team testing guide for Groq's high-speed inference platform and its security characteristics.
Mistral AI-modellen testen
Complete red team testing guide for Mistral AI models including Mixtral MoE architecture and chat endpoints.
Lokale Ollama-deployments testen
Security testing guide for locally deployed models via Ollama including network exposure and API security.
Door Replicate gehoste modellen testen
Red team testing guide for models hosted on Replicate including open-source model deployments.
Het Together AI-platform testen
Red team testing guide for Together AI including fine-tuned model endpoints and custom deployments.
ML-beveiligingstesten met Counterfit
Use Microsoft's Counterfit for adversarial ML testing of deployed model endpoints.
Gebruik van en inzendingen bij JailbreakBench
Use JailbreakBench to evaluate jailbreak techniques and submit results to the benchmark.