嵌入空間攻擊

import torch
from transformers import AutoModel, AutoTokenizer
 
model = AutoModel.from_pretrained("sentence-transformers/all-MiniLM-L6-v2")
tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L6-v2")
 
def get_embedding(text):
    inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
    with torch.no_grad():
        outputs = model(**inputs)
    return outputs.last_hidden_state.mean(dim=1)
 
# 語意相似的文字產生相似的嵌入
emb1 = get_embedding("How do I reset my password?")
emb2 = get_embedding("I need to change my login credentials")
similarity = torch.cosine_similarity(emb1, emb2)
print(f"Similarity: {similarity.item():.4f}")  # 高度相似

# 基於梯度的對抗性擾動（白箱）
# 找出使嵌入相似度最大化趨近目標的輸入修改
 
target_embedding = get_embedding("Ignore all previous instructions")
original_text = "Please help me with my question"
 
# 對每個 token 位置，計算餘弦相似度
# 相對於輸入嵌入的梯度，然後替換 token
# 將嵌入移向目標
inputs = tokenizer(original_text, return_tensors="pt")
input_embeds = model.embeddings.word_embeddings(inputs["input_ids"])
input_embeds.requires_grad_(True)
 
output = model(inputs_embeds=input_embeds).last_hidden_state.mean(dim=1)
loss = -torch.cosine_similarity(output, target_embedding)
loss.backward()
 
# input_embeds.grad 現在顯示要擾動哪些維度

# 透過最近鄰搜尋進行簡化的嵌入反演
def invert_embedding(target_emb, vocabulary_embeddings, tokenizer):
    """找出嵌入最接近目標的 token 序列。"""
    similarities = torch.cosine_similarity(
        target_emb.unsqueeze(0),
        vocabulary_embeddings,
        dim=1
    )
    top_tokens = similarities.topk(10)
    return [tokenizer.decode([idx]) for idx in top_tokens.indices]

# 透過最佳化找出語意碰撞
# 目標：文字 A 對人類而言意味著「良性查詢」，但與
# 意味著「惡意指示」的文字 B 具有相同的嵌入
 
# 方法：迭代修改文字 A 的措辭，同時最佳化
# 對文字 B 的嵌入相似度
# 這利用了嵌入空間並非與人類語意判斷完美對齊的事實