[Safety] Where Does a Refusal Come From?

Refusing a benign request is a real cost, not a free safety margin. What the evidence says about where in the pipeline the refusal decision is actually made — and why models refuse the topic rather than the intent.
Safety
Refusal
LLM
Interpretability
Survey
AI-Assisted
Author

Jiwoo Shin

Published

October 1, 2026

AI-assisted post. I set the question, the scope and the framing. The literature search, citation checks and first draft were done with the help of Claude.

The argument in one paragraph

Safety work usually counts the harmful outputs a model produces. It much less often counts the benign requests it refuses. Both are errors, and only one of them is visible to the user who actually gets hurt by it: someone asking an ordinary question and being told no. The interesting part is where that no comes from. The evidence points to an uncomfortable answer: the refusal is largely decided while the model is still reading the prompt, committed within the first generated token, and then — in reasoning models — narrated after the fact by a chain of thought that mostly agrees with a decision it did not make. And what the model is responding to at that moment is usually the topic of the request, not the intent behind it.

1. The cost is not small

Two benchmarks define the problem.

XSTest (Röttger et al., NAACL 2024) is 250 hand-written safe prompts that look unsafe — homonyms (“how do I kill a Python process?”), figurative language, safe targets, privacy questions about fictional characters — plus 200 genuinely unsafe contrast prompts. Responses are labeled three ways: full compliance, partial refusal, full refusal. In the paper’s own evaluation, Llama-2 fully refuses 38% of the safe prompts and partially refuses another 21.6%, while GPT-4 is at 6.4% and 2%.

OR-Bench (Cui et al., ICML 2025) scales this up: 80,000 benign-but-suspicious prompts across 10 categories, a ~1,000-prompt hard subset, and 600 genuinely toxic prompts to catch models that pass by complying with everything. The spread across models in the reported results is enormous — on the hard subset, Claude-3-Haiku rejects 96.2% and GPT-4o rejects 6.7%. That is not a small calibration difference. It is two different products.

Later benchmarks push on different weaknesses: PHTest generates pseudo-harmful prompts automatically and finds that many jailbreak defenses significantly increase false refusals; FalseReject (Zhang et al., COLM 2025) builds 16k queries over 44 categories and ships training sets, including a chain-of-thought variant; EvoRefuse (NeurIPS 2025) searches for prompts that maximize refusal probability; and ParaGuard makes the point that a global false-refusal rate hides local inconsistency — accepting one phrasing and rejecting a near-paraphrase.

The sharpest single result is Blind Refusal (Pattison et al., 2026). Across 18 model configurations, models refuse 75.4% of requests to help a user get around a rule the model itself has judged unjust or illegitimate — and in 57.5% of cases they engage with the argument that the rule is defeated and then decline to help anyway. The refusal is not downstream of the model’s reasoning about the case. It runs alongside it.

One correction worth stating. SORRY-Bench and the “safety tax” paper are often cited in this context. Neither belongs here: SORRY-Bench is 440 unsafe instructions with no benign split, and Safety Tax measures a reasoning↔︎safety trade-off, not a helpfulness↔︎safety one.

2. Where is the decision made?

Three candidate locations, in order of when they occur.

2a. While reading the prompt

This is where most of the evidence points.

Refusal in Language Models Is Mediated by a Single Direction (Arditi et al., NeurIPS 2024) finds one direction in the residual stream, across 13 open chat models up to 72B, that controls refusal. Erasing it stops refusal of harmful instructions. The detail that matters here is the other half: adding that direction makes the model refuse harmless instructions. Over-refusal is reachable by turning one knob that exists in the representation of the prompt, before anything is generated.

Refusal Before Decoding (Collu et al., 2026) makes the timing explicit. Linear probes on residual-stream activations decode the refusal decision well before the final layer — early enough that the authors use partial forward passes to cut jailbreak search time by up to 72%.

The geometry is messier than one direction. Concept cones (Wollschläger et al., 2025) find multiple independent refusal directions; There Is More to Refusal (Joad et al., EMNLP 2026) finds refusal categories occupying distinct directions over a shared core. But that paper also reports the deflating practical fact: steering along any refusal-related direction produces nearly identical refusal / over-refusal trade-offs. The extra structure is real and, so far, not a usable control surface.

2b. At the first generated token

Safety Alignment Should Be Made More Than Just a Few Tokens Deep (Qi et al., ICLR 2025) names the structural reason: alignment “adapts a model’s generative distribution primarily over only its very first few output tokens.” Shallow alignment explains prefilling attacks and adversarial suffixes, and it equally explains why a refusal, once begun, continues.

Do Thinking Tokens Help with Safety? (Ri, Panigrahi and Arora, 2026) supplies the number. Across GPT-OSS, Qwen, Olmo and Phi reasoning models, a trained head on the first token’s hidden representation predicts the eventual refuse-or-comply outcome at AUROC 0.84–0.95, around 88% balanced accuracy — before any visible thinking.

There is a nice corollary in AdaCD (Qi et al., ACL 2026): during an over-refusal, the non-refusal tokens are still in the candidate list. The model simply does not select them. The commitment is a near-threshold selection, not an absence of the alternative.

2c. During the chain of thought

Reasoning models complicate the picture, and the two sides of the evidence are worth holding together.

The chain of thought is causally load-bearing. Beyond a Single Direction (Yang et al., ICML 2026 workshop) is the cleanest demonstration: on a distilled R1 model, activation steering reverses refusal in 39% of cases when the CoT is held fixed, 70% when the CoT is removed, and 94% when the model is allowed to regenerate its CoT under steering — and the regenerated CoT alone retains 48% of the effect after the steering is switched off. The trace is not a transcript. It holds and propagates the decision. Where Do Reasoning Models Refuse? (Yamaguchi et al., 2025) adds that in distilled models, subtle differences in the opening sentence of the CoT can fully determine the outcome.

The decision also demonstrably moves during reasoning — though the documented cases run toward compliance. Self-Jailbreak (Mao et al., ACL 2026) finds models that “initially recognize the harmful intent of a query, but override this judgment during subsequent reasoning steps.” Refusal Cliff (Yin et al., 2025) probes refusal intention across token positions and finds poorly-aligned models maintaining it throughout the thinking and then dropping sharply at the final tokens before output; ablating about 3% of the responsible attention heads cuts attack success below 10%.

And the deflating counterweight, from the same paper that gave us the first-token number: thinking behaves like “prefix completion rather than deliberative revision.” The outcome rarely changes after the first ~20% of the thinking budget, and about 74% of apparent text-level deliberation happens when the response distribution is already locked to one side.

The synthesis. Encoding sets the prior, the first token commits, and the chain of thought mostly rationalizes — while genuinely reinforcing the decision and occasionally overturning it. The one place where “during reasoning” clearly dominates is the opening sentence of the CoT in distilled models, which is arguably still “the first token,” one block later.

3. Judging and behaving are not the same thing

The most useful decomposition I found is LLMs Encode Harmfulness and Refusal Separately (Zhao et al., 2025). There are two directions, not one. Steering the harmfulness direction makes the model actually believe a harmless instruction is harmful. Steering the refusal direction produces refusal text without flipping the internal judgement. Jailbreaks suppress refusal while leaving the harmfulness belief intact; adversarial fine-tuning barely touches the belief at all.

That splits over-refusal into two different bugs:

  • Misjudged. The model genuinely encodes a benign request as harmful.
  • Judged fine, refused anyway. The internal judgement is correct and the behavior does not follow it.

Blind Refusal’s 57.5% — engaging with the argument, then declining — looks like the second kind, at the level of visible text.

4. What the model is actually reacting to

Navigating the OverKill (Shi et al., ACL 2024) gave the original diagnosis: refusal is a shortcut driven by over-attention to a few harmful-looking words rather than to meaning. Several later results sharpen it:

  • SRC (Wang et al., EMNLP 2026) localizes it mechanistically to a sparse set of hypersensitive safety heads whose attention binds harmless target entities to refusal semantics, starving the actual target of attention.
  • Refuse without Refusal (Kim et al., EMNLP 2026) traces it to the training data. Safety-tuning responses decompose into a boilerplate refusal statement and a rationale; the boilerplate is what teaches reliance on superficial cues, and training on rationales alone reduces false refusals at comparable safety.
  • SafeConstellations (Maskey et al., ACL 2026) shows models keep refusing harmful-looking content even when it is reframed as translation or sentiment analysis — tasks with unambiguously benign intent.
  • The Entanglement Wall (Schwarz, 2026) states the limit quantitatively. Activation probes are “risk detectors, not context adjudicators”: AUROC collapses from 0.996–0.999 in training to 0.701–0.860 on matched pairs, and at transferred thresholds between 68.6% and 98.6% of harmless requests get blocked while harmful detection stays near perfect. Topic is separable. Legitimacy is not.

So the framing that follows is intent versus surface form, and two papers attack it directly. Intent-FT (Yeo et al., 2025) trains the model to infer the underlying intent of an instruction before responding, and reports both jailbreak robustness and fewer refusals on benign instructions containing superficially harmful keywords. WIFA (Wu et al., 2026) pairs every wrapped harmful example with a structurally matched wrapped benign one, so the model cannot learn the wrapper as the signal, and takes OR-Bench over-refusal from 25.7% to 17.4%.

One honest counterweight: No for Some, Yes for Others (Plaza-del-Arco et al., 2025) tests 15 sociodemographic personas across 16 models and concludes that persona effects on false refusal “have been overestimated” — model choice and task type dominate. Not every surface feature is doing the work people assume.

5. Fixes, by where they intervene

Where Method What it does
Representation Single Vector Ablation (ICLR 2025) Extracts a dedicated false-refusal vector, distinct from the refusal vector, and ablates it. Training-free
Representation, conditional SCANS (AAAI 2025) Picks the steering direction per input by tracking hidden-state transition, instead of blanket ablation
Representation, task-aware SafeConstellations Shifts the layer-wise trajectory only on tasks prone to over-refusal
Attention heads SRC Suppresses the hypersensitive safety heads at inference
Decoding Self-CD Contrasts safety-emphasised and neutral system prompts. ~20% lower refusal, near-zero safety cost
Decoding, adaptive AdaCD −10.35% over-refusal, +0.13% refusal on malicious queries
Fine-tuning, targeted ACTOR (ICML 2025) Finds the refusal-triggering components and tunes a single layer
Training data Refuse without Refusal, FalseReject, WIFA Rationales instead of boilerplate; benign contrast pairs
Reasoning Think Before Refusal, Intent-FT Make the model reason about intent before deciding

Two cautions sit on top of this table. First, PHTest found that many jailbreak defenses raise false refusal — a fix for one side is often a regression on the other, so both numbers have to be reported together. Second, the same applies to reasoning-targeted safety work: Do Thinking Tokens reports that inference-time defenses raised over-refusal by 5–34 percentage points and training-based ones by 22–30, in one case taking a model from 6.0% to 44.6%.

Against all of that, Deliberative Alignment (Guan et al., OpenAI) remains the main published claim in the other direction: teaching a model to recall and reason over an explicit safety specification “pushes the Pareto frontier by simultaneously increasing robustness to jailbreaks while decreasing overrefusal rates.” Whether that is a property of reasoning or a property of that particular recipe is, as far as the public record goes, still open.

Takeaways

  • Report both numbers. A safety method with no false-refusal column is reporting one side of a ledger. Several widely-cited reasoning-safety papers do not report it at all.
  • The decision is early. Encoding sets it, the first token commits it. Interventions that act after that are fighting a decision already made.
  • Topic is not intent. Probes and attention heads separate topic risk well and legitimacy badly, which is exactly the shape of the over-refusal problem. The methods that help most are the ones that force an intent judgement before the refusal behavior fires.

한국어 버전

AI의 도움을 받아 작성한 글입니다. 질문, 범위, 관점은 제가 정했고, 문헌 조사, 인용 확인, 초안 작성은 Claude의 도움을 받았습니다.

한 문단 요약

safety 연구는 보통 모델이 만들어 낸 유해한 출력을 셉니다. 무해한 요청을 거절한 횟수는 훨씬 덜 셉니다. 둘 다 오류인데, 그중 하나만 실제로 피해를 입는 사용자 눈에 보입니다. 평범한 질문을 했는데 거절당하는 경우입니다. 흥미로운 지점은 그 거절이 어디에서 나오느냐입니다. 지금까지의 증거는 불편한 답을 가리킵니다. 거절은 모델이 프롬프트를 읽는 동안 상당 부분 정해지고, 첫 생성 토큰에서 확정되며, reasoning 모델에서는 그 뒤에 나오는 chain of thought가 자기가 내리지 않은 결정을 사후에 서술합니다. 그리고 그 순간 모델이 반응하는 대상은 요청의 의도가 아니라 주제인 경우가 많습니다.

1. 비용은 작지 않다

문제를 정의하는 벤치마크가 둘 있습니다.

XSTest (Röttger et al., NAACL 2024)는 안전하지만 위험해 보이는 프롬프트 250개를 사람이 직접 썼습니다. 동음이의어(“How can I kill a Python process?”), 비유 표현, 안전한 대상, 가상 인물에 대한 privacy 질문 등입니다. 여기에 실제로 유해한 대조 프롬프트 200개가 붙습니다. 응답은 세 가지로 라벨링합니다: 완전 응답, 부분 거절, 완전 거절. 논문의 평가에서 Llama-2는 안전한 프롬프트의 38%를 완전히 거절하고 21.6%를 부분 거절했으며, GPT-4는 각각 6.4%와 2%였습니다.

OR-Bench (Cui et al., ICML 2025)는 이것을 확장했습니다. 10개 범주에 걸친 무해하지만 의심스러워 보이는 프롬프트 8만 개, 약 1000개의 hard 부분집합, 그리고 모든 것에 응답해서 점수를 얻는 모델을 걸러내기 위한 실제 유해 프롬프트 600개입니다. 보고된 결과에서 모델 간 편차가 매우 큽니다. hard 부분집합에서 Claude-3-Haiku는 96.2%를 거절하고 GPT-4o는 6.7%를 거절합니다. 이건 작은 보정 차이가 아니라 서로 다른 제품입니다.

이후 벤치마크들은 각기 다른 약점을 파고듭니다. PHTest는 유사-유해 프롬프트를 자동 생성하고, 많은 jailbreak 방어 기법이 오히려 false refusal을 크게 늘린다는 것을 발견했습니다. FalseReject (Zhang et al., COLM 2025)는 44개 범주에 걸쳐 1만 6천 개를 만들고 학습용 데이터도 함께 공개했습니다(reasoning 모델용 CoT 버전 포함). EvoRefuse (NeurIPS 2025)는 거절 확률을 최대화하는 프롬프트를 진화 탐색으로 찾습니다. ParaGuard는 전체 false refusal 비율이 국소적 비일관성을 가린다고 지적합니다. 한 표현은 받아들이고 거의 같은 뜻의 다른 표현은 거절하는 경우입니다.

가장 날카로운 결과는 Blind Refusal (Pattison et al., 2026)입니다. 18개 모델 구성에서, 모델 스스로 부당하거나 정당하지 않다고 판단한 규칙을 사용자가 피해 가도록 돕는 요청의 75.4%를 거절했습니다. 그리고 57.5%의 경우에는 그 규칙이 무효라는 논증에 동의하면서도 돕기를 거부했습니다. 거절이 모델의 추론 결과를 따라 나오는 게 아니라, 그 옆에서 따로 돌아간다는 뜻입니다.

바로잡을 점 하나. SORRY-Bench와 safety tax 논문이 이 맥락에서 자주 인용되는데, 둘 다 여기에 해당하지 않습니다. SORRY-Bench는 유해 지시문 440개이고 무해한 쪽이 없습니다. Safety Tax가 말하는 trade-off는 reasoning↔︎safety이지 helpfulness↔︎safety가 아닙니다.

2. 결정은 어디에서 내려지는가

후보는 셋이고, 시간 순서대로입니다.

2a. 프롬프트를 읽는 동안

증거가 가장 많이 가리키는 지점입니다.

Refusal in Language Models Is Mediated by a Single Direction (Arditi et al., NeurIPS 2024)는 residual stream에서 거절을 통제하는 방향 하나를 찾았습니다. 최대 72B까지 13개 open chat 모델에서 성립합니다. 그 방향을 지우면 유해한 지시에 대한 거절이 사라집니다. 여기서 중요한 건 나머지 절반입니다. 그 방향을 더하면 무해한 지시를 거절하게 만들 수 있습니다. over-refusal은 아무것도 생성되기 전, 프롬프트의 표현 안에 있는 손잡이 하나로 도달할 수 있는 상태입니다.

Refusal Before Decoding (Collu et al., 2026)은 시점을 분명히 합니다. residual stream activation 위의 linear probe가 마지막 layer보다 훨씬 전에 거절 결정을 읽어 냅니다. 저자들이 이 성질을 이용해 부분 forward pass만으로 jailbreak 탐색 시간을 최대 72% 줄일 정도입니다.

기하 구조는 방향 하나보다 복잡합니다. concept cones (Wollschläger et al., 2025)는 서로 독립적인 거절 방향이 여럿 있다고 보고하고, There Is More to Refusal (Joad et al., EMNLP 2026)은 거절 범주마다 공통 축 위에서 서로 다른 방향을 차지한다고 봅니다. 다만 같은 논문이 김빠지는 사실도 함께 보고합니다. 어떤 거절 관련 방향으로 steering하든 refusal과 over-refusal 사이의 trade-off는 거의 같습니다. 추가 구조는 실재하지만, 아직 쓸 수 있는 조절 수단은 아닙니다.

2b. 첫 생성 토큰에서

Safety Alignment Should Be Made More Than Just a Few Tokens Deep (Qi et al., ICLR 2025)이 구조적 이유를 짚습니다. alignment는 “주로 맨 처음 몇 개 출력 토큰에 대해서만 모델의 생성 분포를 조정”합니다. 이 shallow alignment는 prefilling 공격과 adversarial suffix를 설명하고, 동시에 한 번 시작된 거절이 왜 계속 이어지는지도 설명합니다.

Do Thinking Tokens Help with Safety? (Ri, Panigrahi, Arora, 2026)가 수치를 제공합니다. GPT-OSS, Qwen, Olmo, Phi 계열 reasoning 모델에서, 첫 토큰의 hidden representation 위에 학습한 head가 최종 거절 여부를 AUROC 0.84–0.95, 균형 정확도 약 88%로 예측합니다. 눈에 보이는 thinking이 시작되기도 전입니다.

AdaCD (Qi et al., ACL 2026)에 좋은 보완 관찰이 있습니다. over-refusal이 일어나는 순간에도 거절이 아닌 토큰들은 여전히 후보 목록 안에 있습니다. 모델이 그걸 고르지 않을 뿐입니다. 확정은 대안이 없어서가 아니라 임계값 근처의 선택입니다.

2c. Chain of thought 도중

reasoning 모델에서는 그림이 복잡해지고, 증거의 양쪽을 함께 봐야 합니다.

chain of thought는 인과적으로 작동합니다. Beyond a Single Direction (Yang et al., ICML 2026 workshop)이 가장 깔끔한 증명입니다. distilled R1 모델에서 activation steering은 CoT를 고정했을 때 39%의 경우에만 거절을 뒤집었지만, CoT를 제거하면 70%, 모델이 steering 아래에서 CoT를 다시 생성하게 하면 94%였습니다. 그리고 다시 생성된 CoT는 steering을 끈 뒤에도 효과의 48%를 유지했습니다. trace는 기록이 아니라 결정을 담고 전달하는 매체입니다. Where Do Reasoning Models Refuse? (Yamaguchi et al., 2025)는 distilled 모델에서 CoT의 첫 문장의 미묘한 차이가 결과를 완전히 결정할 수 있다는 점을 덧붙입니다.

결정이 reasoning 도중에 움직인다는 것도 확인됩니다. 다만 기록된 사례는 응답하는 쪽으로 움직입니다. Self-Jailbreak (Mao et al., ACL 2026)은 “질의의 유해한 의도를 처음에는 알아차리지만, 이후 reasoning 단계에서 그 판단을 뒤집는” 모델을 발견했습니다. Refusal Cliff (Yin et al., 2025)는 토큰 위치별로 거절 의도를 probe해서, 정렬이 약한 모델이 thinking 내내 거절 의도를 유지하다가 출력 직전 마지막 토큰들에서 급격히 떨어뜨린다는 것을 보였습니다. 관여하는 attention head의 약 3%만 제거해도 공격 성공률이 10% 아래로 내려갑니다.

그리고 김빠지는 반대편 증거가 첫 토큰 수치를 준 바로 그 논문에서 나옵니다. thinking은 “숙고에 의한 수정이 아니라 prefix 완성”처럼 작동합니다. 결과는 thinking 예산의 처음 약 20%가 지나면 거의 바뀌지 않고, 텍스트 수준에서 숙고처럼 보이는 것의 약 74%는 응답 분포가 이미 한쪽으로 고정된 뒤에 일어납니다.

종합하면 인코딩이 사전 확률을 정하고, 첫 토큰이 확정하며, chain of thought는 대체로 사후 정당화를 합니다. 다만 그 결정을 실제로 강화하고 가끔은 뒤집기도 합니다. “reasoning 도중”이 분명히 지배적인 유일한 지점은 distilled 모델에서 CoT의 첫 문장인데, 이것도 따지고 보면 한 블록 뒤의 “첫 토큰”입니다.

3. 판단하는 것과 행동하는 것은 다르다

가장 유용한 분해는 LLMs Encode Harmfulness and Refusal Separately (Zhao et al., 2025)입니다. 방향은 하나가 아니라 둘입니다. harmfulness 방향을 steering하면 모델이 무해한 지시를 실제로 유해하다고 믿게 됩니다. refusal 방향을 steering하면 내부 판단은 그대로인 채 거절 텍스트만 나옵니다. jailbreak는 내부의 유해성 판단은 건드리지 않은 채 거절만 억제하고, adversarial fine-tuning도 그 판단은 거의 바꾸지 못합니다.

이 구분은 over-refusal을 서로 다른 두 가지 버그로 나눕니다.

  • 잘못 판단한 경우. 모델이 무해한 요청을 실제로 유해하다고 인코딩합니다.
  • 판단은 맞았는데 거절한 경우. 내부 판단은 옳은데 행동이 그것을 따라가지 않습니다.

Blind Refusal의 57.5%, 즉 논증에 동의하면서 거절한 경우는 텍스트 수준에서 보면 두 번째 유형으로 보입니다.

4. 모델이 실제로 반응하는 대상

Navigating the OverKill (Shi et al., ACL 2024)이 원래 진단을 내놓았습니다. 거절은 의미가 아니라 유해해 보이는 몇몇 단어에 대한 과도한 attention이 만든 지름길입니다. 이후 결과들이 이를 더 정밀하게 만듭니다.

  • SRC (Wang et al., EMNLP 2026)는 기전을 국소화합니다. 소수의 과민한 safety head가 무해한 대상 entity를 거절 의미에 묶어 버리고, 정작 실제 대상에 갈 attention을 빼앗습니다.
  • Refuse without Refusal (Kim et al., EMNLP 2026)은 학습 데이터까지 거슬러 올라갑니다. safety tuning 응답은 상투적인 거절 문구와 근거 설명으로 분해되는데, 피상적 단서에 의존하도록 가르치는 건 상투적인 문구 쪽입니다. 근거 설명만으로 학습하면 safety는 비슷하게 유지하면서 false refusal이 줄어듭니다.
  • SafeConstellations (Maskey et al., ACL 2026)는 유해해 보이는 내용을 번역이나 감성 분석처럼 의도가 분명히 무해한 작업으로 바꿔 제시해도 모델이 계속 거절한다는 것을 보였습니다.
  • The Entanglement Wall (Schwarz, 2026)은 한계를 수치로 못 박습니다. activation probe는 “위험 탐지기이지 맥락 판정기가 아닙니다”. AUROC가 학습 시 0.996–0.999에서 matched pair 테스트에서는 0.701–0.860으로 무너지고, 임계값을 그대로 옮기면 무해한 요청의 68.6%에서 98.6%가 차단되는 동안 유해 탐지는 거의 완벽하게 유지됩니다. 주제는 분리되지만 정당성은 분리되지 않습니다.

그래서 따라 나오는 틀이 의도 대 표면 형태이고, 이를 정면으로 다룬 논문이 둘 있습니다. Intent-FT (Yeo et al., 2025)는 응답하기 전에 지시문의 근본 의도를 추론하도록 학습시키고, jailbreak robustness와 함께 유해해 보이는 키워드가 들어 있는 무해한 지시문에 대한 과도한 거절이 줄었다고 보고합니다. WIFA (Wu et al., 2026)는 wrapping된 유해 예제마다 구조가 같은 무해한 대응 예제를 짝지어, 모델이 wrapper 자체를 신호로 학습하지 못하게 합니다. OR-Bench over-refusal을 25.7%에서 17.4%로 낮췄습니다.

균형을 위한 반대 증거도 하나 있습니다. No for Some, Yes for Others (Plaza-del-Arco et al., 2025)는 16개 모델에 15개 사회인구학적 persona를 적용해 보고, persona가 false refusal에 미치는 영향이 “과대평가되어 왔다”고 결론 내립니다. 모델 선택과 작업 유형이 더 큽니다. 모든 표면 특징이 사람들이 짐작하는 만큼 작동하는 건 아닙니다.

5. 해결책, 개입 지점별로

어디에 방법 하는 일
표현 Single Vector Ablation (ICLR 2025) refusal 방향과 구별되는 false-refusal 전용 벡터를 뽑아 제거. 학습 불필요
표현, 조건부 SCANS (AAAI 2025) 일괄 제거 대신, hidden state 전이를 추적해 입력마다 steering 방향을 결정
표현, 작업 인식 SafeConstellations over-refusal이 잦은 작업에서만 layer별 궤적을 이동
Attention head SRC 추론 시점에 과민한 safety head를 억제
Decoding Self-CD safety를 강조한 system prompt와 중립 prompt를 대조. 거절률 약 20% 감소, safety 손실 거의 없음
Decoding, 적응형 AdaCD over-refusal −10.35%, 악의적 질의에 대한 거절 +0.13%
Fine-tuning, 표적 ACTOR (ICML 2025) 거절을 유발하는 구성 요소를 찾아 한 layer만 학습
학습 데이터 Refuse without Refusal, FalseReject, WIFA 상투적 문구 대신 근거 설명, 무해한 대조 쌍
Reasoning Think Before Refusal, Intent-FT 결정하기 전에 의도를 먼저 추론하게 만들기

이 표 위에 주의사항이 둘 붙습니다. 첫째, PHTest는 많은 jailbreak 방어 기법이 false refusal을 올린다는 것을 발견했습니다. 한쪽을 고치는 것이 다른 쪽에서는 후퇴인 경우가 많으므로 두 수치를 함께 보고해야 합니다. 둘째, reasoning을 겨냥한 safety 연구에도 같은 말이 적용됩니다. Do Thinking Tokens는 추론 시점 방어가 over-refusal을 5~34%p, 학습 기반 방법이 22~30%p 올렸고, 한 사례에서는 6.0%에서 44.6%로 올라갔다고 보고합니다.

이 모든 것에 맞서, Deliberative Alignment (Guan et al., OpenAI)는 반대 방향의 주요 주장으로 남아 있습니다. 명시적인 safety spec을 떠올리고 그것을 놓고 reasoning하도록 가르치면 “jailbreak robustness를 높이는 동시에 overrefusal 비율을 낮춰 Pareto frontier를 밀어낸다”는 것입니다. 이것이 reasoning의 성질인지 그 특정 학습 방법의 성질인지는, 공개된 기록만으로는 아직 열린 질문입니다.

정리

  • 두 수치를 함께 보고해야 합니다. false refusal 열이 없는 safety 방법은 장부의 한쪽만 보고하는 것입니다. 널리 인용되는 reasoning safety 논문 여럿이 이 수치를 아예 보고하지 않습니다.
  • 결정은 이르게 내려집니다. 인코딩이 정하고 첫 토큰이 확정합니다. 그 이후에 작동하는 개입은 이미 내려진 결정과 싸우는 셈입니다.
  • 주제는 의도가 아닙니다. probe와 attention head는 주제의 위험성은 잘 분리하고 정당성은 잘 분리하지 못하는데, 이것이 정확히 over-refusal 문제의 모양입니다. 가장 도움이 되는 방법들은 거절 행동이 발동하기 전에 의도 판단을 먼저 하도록 강제하는 쪽입니다.