0. 들어가며

자작 문항을 올릴 때마다 「문제 난이도 선택 안내」 공지를 기준으로 삼아 왔습니다. 티어별 성격 구분이 명확해서 평소에는 그대로 따라도 충분합니다.

문제는 문항 수가 쌓이면서 생겼습니다. 지난주에 매긴 골드와 오늘 매긴 골드가 정말 같은 수준인가. 컨디션 좋은 날은 웬만한 게 쉬워 보이고, 한 문항을 오래 붙들고 있으면 미운 정이 들어선지 실제보다 어려워 보입니다. 감각을 고정할 눈금이 없었던 겁니다.

그래서 티어를 감으로 매기기 전에 숫자를 하나 먼저 뽑는 장치를 만들어 씁니다. DS(Difficulty Score)라고 부릅니다. 완성된 물건은 아니고 제 자작 문항 표본에 맞춰 조정한 개인용 척도입니다. 판단을 받쳐 주는 보조선 정도로 봐 주시면 좋겠습니다. 둘이 어긋나면 공지 쪽을 따릅니다.

8절에 제 계정에 올린 문항 다섯 개를 실제로 재 본 결과를 실었습니다. 그 과정에서 제가 매긴 티어끼리 서로 어긋나 있다는 걸 발견했고, 이 민망한 발견이 글을 쓰게 된 직접적인 계기입니다.

1. 전제: 어려움은 계산량이 아니다

공지에 이미 있는 문장입니다. "계산량만 늘어난 문제는 티어를 올리지 않으셔도 됩니다." 여기에 동의합니다. 그러면 질문이 하나 남습니다. 식의 길이가 아니라면 무엇이 난이도인가.

제 답은 이렇습니다. 문항 안에 서로 독립적으로 맞물려 있는 재료의 개수와 종류.

입시미술을 떠올리면 편합니다. 사정관이 "사과, 계단, 손" 세 소재를 던지면 응시자는 그 셋이 각각 그림에 드러나게 엮어야 합니다. 사과를 크게 그리든 작게 그리든 그건 기교의 영역이고, 다뤄야 할 소재가 세 개라는 사실은 변하지 않습니다.

수학 문항도 다르지 않습니다. 출제자가 몇 개의 재료를 엮었는지가 난이도의 골격이고, 그걸 실행하는 계산이 길든 짧든 골격은 그대로입니다.

2. 재료란 무엇인가: 결정 지점만 센다

이 척도에서 가장 중요한 규칙입니다.

재료 하나 = 결정 지점 하나.
"다음에 무엇을 할지가 자명하지 않은 순간"만 셉니다. 그 결정을 실행하는 계산은 몇 줄이 되든 세지 않습니다.

"여기서 코사인법칙을 쓴다"고 정했다면, 뒤따르는 식 세우기와 값 대입과 정리와 해 나열은 전부 하나의 재료입니다.

이 제한이 없으면 풀이를 잘게 쪼개서 난이도를 얼마든지 부풀릴 수 있습니다. 부끄럽게도 제 초기 척도가 그랬습니다. 같은 문항에서 재료를 일곱 개나 찾아내 놓고 스스로 킬러급이라 적어 뒀는데, 엄격하게 다시 세니 겨우 네 개였습니다. 그 시행착오 끝에 만든 규칙입니다.

세지 않는 것들

제가 실제로 저질렀던 부풀리기입니다.

• 도구에 딸려 오는 판단. 치환했으면 변수 범위가 따라 바뀌고, 절댓값을 씌웠으면 경우가 갈립니다. 도구를 집어 드는 순간 패키지로 딸려오는 것들은 독립된 재료가 아닙니다.

• 말만 바꾼 중복. "구조를 인식한다", "관계를 간파한다", "무대를 결정한다"처럼 동사만 갈아 끼워 같은 판단을 여러 번 세는 경우입니다.

• 저절로 충족되는 확인. 항상 양수인 게 확정된 판별식을 굳이 들여다보는 식의 요식 절차입니다.

• 출제자 쪽 장치. 매력적인 오답을 배치한 것은 출제자가 한 고민이지 푸는 사람의 결정 지점이 아닙니다.

3. 재료의 세 종류

이름은 제가 편하려고 붙인 것이라 더 나은 게 있으면 알려 주시면 좋겠습니다.

(가) 드러난 재료
발문이나 〈보기〉 표면에 그대로 노출된 요소입니다. 무엇을 해야 할지가 읽자마자 잡힙니다.

(나) 숨은 재료 · 검문형
식 뒤편에 가려져 있지만 "이 부분 확인했느냐"는 질문 한 번에 잡힙니다. 등호 성립 여부, 로그의 진수 조건, 분모가 0이 되는 값, 치환한 변수의 범위, 발문이 자연수를 요구하는지 같은 것들입니다.

(다) 숨은 재료 · 발상형
문제 지면에 단서조차 없는 대상을 직접 들여와야 하는 고리입니다. 방향만 짚어 주는 힌트를 받아도 본인 손으로 구조를 세우지 못하면 한 걸음도 못 나갑니다.

두 점 A, B와 x축 위를 움직이는 점 P에 대해 AP+PB의 최솟값을 묻는 상황에서 대칭점 B′를 직접 찍는 순간이 대표적입니다. B′는 발문 어디에도 없고, 힌트를 듣더라도 어느 점을 어느 축에 뒤집을지는 본인 몫입니다.

둘을 가르는 한 줄

"확인했어?"로 교정되면 검문형, 힌트를 줘도 직접 도구를 세워야 하면 발상형.

출제자 입장에서 가장 헷갈리는 경계입니다. 얼마나 영리하게 숨겼는가는 기준이 못 됩니다. 부호 조건을 지면 밑바닥에 아무리 파묻어도 결국 "부호 확인했나" 한마디로 해소된다면 검문형입니다. 요구되는 사고의 종류를 보고 갈라야 합니다.

4. 점수 매기기

• 드러난 재료 · 0.25

• 숨은 재료 · 검문형 · 0.25

• 숨은 재료 · 발상형 · 0.75

상수 1은 문항으로 성립하기만 하면 갖는 하한선입니다.

5. 이 척도가 하는 유일한 주장

목록을 뜯어보면 의아한 데가 있습니다. 가려 놓은 검문형과 대놓고 보여준 드러난 재료의 배점이 같습니다. 숨겨 놨는데 왜 점수를 더 안 주는가.

여기가 이 척도의 유일한 주장이고 나머지는 전부 부속입니다.

함정을 조밀하게 깐다고 변별력이 생기지는 않습니다. 검문 조건을 어질러 놔 봤자 꼼꼼한 학생은 다 잡고 덜렁대는 학생은 다 흘립니다. 부주의 검사에 가깝습니다. 더구나 한 번 당한 수험생은 다음부터 강박적으로 전부 훑기 때문에, 같은 장치를 두 번 쓰면 약발이 떨어집니다.

발상형은 궤가 다릅니다. 대칭점의 필요성을 못 보는 눈은 주의력을 아무리 쏟아도 벽에 막힙니다. 이 벽은 꼼꼼함으로 허물어지지 않기에 3배를 실었습니다.

실무적인 귀결이 하나 따라옵니다. 자잘한 함정 가짓수만 늘려 체감 난도를 올리려 하면 DS는 제자리입니다. 실제로 그런 식으로 설계한 문항을 학생에게 줬다가 "손만 바쁘지 머리는 심심하다"는 반응을 여러 번 들었습니다. 가중치를 이렇게 벌린 배경입니다.

6. 등급표

DS의 정수 부분을 등급으로 씁니다.

• L1 · DS 1.0 ~ 2.0 · 수능 2~3점 기본형

• L2 · DS 2.0 ~ 3.0 · 수능 3점 ~ 쉬운 4점

• L3 · DS 3.0 ~ 4.0 · 수능 준킬러 ~ 킬러

• L4 · DS 4.0 ~ 5.0 · 수능 최상위 킬러 / JEE Main 고난도

• L5 · DS 5.0 ~ 6.0 · JEE Advanced 표준 킬러

• L6 · DS 6.0 ~ 7.0 · 도쿄대·교토대 본고사 킬러

• L7 · DS 7.0 ~ 8.0 · Putnam / KMO 1차 고난도

• L8 · DS 8.0 이상 · STEP III / IMO 숏리스트

L5를 넘어서는 순간 수능 범위를 벗어납니다. 수학도장에 올릴 문항이라면 대개 L1에서 L4 사이에서 정리됩니다.

7. 남용을 막는 두 장치

구조적 맹점이 보이는 척도이기도 합니다. 발상형 판정을 남발하면 아무 문제나 등급을 부풀릴 수 있으니까요. 그래서 안전장치를 두 겹 깔았습니다.

(가) 애매하면 무조건 검문형으로 센다.
발상형으로 확정하려면 학생이 "없던 무엇을 스스로 들여와야 하는가"를 한 문장으로 쓸 수 있어야 합니다. 그 한 줄이 안 써지면 검문형입니다. 회색지대에 놓인 것은 전부 검문형으로 미끄러뜨립니다. 이 규칙이 실제로 작동하는 장면은 8절 예 2에 있습니다.

(나) 발상형이 차지하는 몫에 상한을 둔다.
발상형이 최종 DS에서 갖는 지분을 절반(L1~L2 구간) 또는 8분의 5(L3 이상) 안으로 묶습니다. 난도는 드러난 재료의 두께와 집요한 검문으로 받치는 게 정석이고, 발상형은 결정타 한두 개면 충분하다는 뜻입니다.

이 두 장치를 걸기 전에 만든 제 문항들은 등급에 거품이 끼어 있었습니다.

8. 실제로 재 본 예: 제 계정에 올린 문항 다섯 개

전부 제가 만들어 올린 자작 문항입니다. 글 쓰는 시점에 검수가 진행 중이라 원본을 바로 열어 보실 수는 없어서, 설계 뼈대를 아래에 풀어 적었습니다. 괄호 안은 제가 붙인 난이도, 재료 구성은 드러난 / 검문형 / 발상형 순입니다.

• 곡선 밖의 점에서 그은 접선이 3개일 조건
  골드 III (13) · 재료 3 / 3 / 0 · DS 2.50 · L2 · 대응표와 일치

• 등차수열을 이루는 세 원소의 순서쌍의 개수
  골드 II (14) · 재료 3 / 4 / 0 · DS 2.75 · L2 · 대응표와 일치

• 지수부등식을 만족시키는 정수의 합
  플래티넘 IV (19) · 재료 3 / 3 / 1 · DS 3.25 · L3 · 대응표와 일치

• 합성 조건을 만족시키는 함수의 개수
  플래티넘 I (20) · 재료 4 / 2 / 2 · DS 4.00 · L4 · 어긋남

• 삼차함수의 절댓값 방정식과 구간의 최댓값 함수
  다이아몬드 III (23) · 재료 4 / 5 / 1 · DS 4.00 · L4 · 대응표와 일치

셋은 맞고 하나가 어긋났는데, 그 어긋남이 나머지 하나와 짝을 이루면서 척도가 실제로 무슨 일을 하는지 드러났습니다. 아래에서 순서대로 봅니다.

예 1. 재료가 여섯 개인데 전부 얕은 경우 (골드 III, DS 2.50)

점 $(3,\ k)$에서 곡선 $y=x^{3}-3x$에 서로 다른 세 개의 접선을 그을 수 있도록 하는 정수 $k$의 개수는?

• 드러난 ① 접점을 $t$로 두고 접선의 방정식을 세우는 결정

• 드러난 ② "접선 3개"를 "접점 방정식의 서로 다른 세 실근"으로 옮기는 결정

• 드러난 ③ 도함수로 극값 후보를 잡고 극댓값·극솟값을 계산하는 결정

• 검문형 ④ 주어진 점이 곡선 위의 점이 아니므로 접점을 미지수로 둬야 한다는 확인

• 검문형 ⑤ 극댓값과 극솟값의 곱이 $<0$이어야 한다는 확인. 등호를 넣으면 중근이 생겨 접선이 둘로 줄어듭니다

• 검문형 ⑥ 열린 범위 안의 정수 개수를 셀 때 양 끝을 빼는 확인

요소가 여섯 개나 들어찼는데 발상형은 하나도 없습니다. 공지 표현을 빌리면 "풀이 방향은 잘 보이는데 단계만 많은" 골드 상단이고, 저도 그렇게 붙였습니다. 가중치 없이 개수만 셌다면 실제보다 부풀려졌을 문항입니다. 종류를 나눠 세는 이유가 여기 있습니다.

예 2. 발상형으로 셀 뻔했다가 강등한 경우 (골드 II, DS 2.75)

집합 $S=\{1,2,\cdots,N\}$의 세 원소 $a<b<c$가 이 순서대로 등차수열을 이루는 순서쌍 $(a,b,c)$의 개수를 $T(N)$이라 할 때, $T(N)\le 100$을 만족시키는 $N$의 최댓값.

이 설계의 핵심은 "$b$를 세지 말고 $a$와 $c$만 고르는 문제로 바꾸는 것"입니다. $b$를 하나씩 고정해서 세면 $b$의 위치마다 개수가 달라져 합을 다시 정리해야 하는데, $b$를 시야에서 치우면 "홀수끼리 또는 짝수끼리 두 수 고르기" 한 줄로 압축됩니다.

처음에 저는 이걸 발상형으로 놓았습니다. 관점 전환이 뚜렷하고 그게 문항의 정체성이라 봤으니까요. 그런데 7절 (가)의 규칙을 대 보니 자격 미달이더군요.

"$b$는 두 수를 고르면 저절로 정해지니까 세지 마"라고 한마디만 던져 주면 학생이 바로 고칩니다.

조건 (나)를 식으로 옮기는 과정에서 연역되는 범주였습니다. 발상형은커녕 검문형도 아니라고 보고 드러난 재료까지 내렸습니다.

• 드러난 ① 등차중항으로 $b$를 소거하고 두 수 고르기로 바꾸는 결정

• 드러난 ② 홀수 개수 $p$, 짝수 개수 $q$로 조합 수를 세는 결정

• 드러난 ③ $N$의 홀짝으로 나눠 $T(N)$의 식을 정리하는 결정

• 검문형 ④ $a+c$가 짝수여야 $b$가 정수라는 확인

• 검문형 ⑤ 거꾸로 홀짝만 맞으면 $a<b<c$와 $b \in S$가 저절로 성립한다는 확인

• 검문형 ⑥ $T(N)$이 줄지 않으므로 경계만 보면 된다는 확인

• 검문형 ⑦ $T(21)=100$에서 부등호가 $\le$라 $21$이 포함된다는 확인

발상형으로 쳐줬다면 $3.25$가 나와 플래티넘을 달았을 겁니다. 명문화된 강등 규칙이 있어야 자기 편한 대로 부풀리는 걸 틀어막을 수 있습니다.

예 3. 발상형이 하나 들어가면 어떻게 되는가 (플래티넘 IV, DS 3.25)

$x$에 대한 부등식 $2^{\,x^{2}+n}\le 4^{\,mx}\cdot 2^{\,x}$ 를 만족시키는 모든 정수 $x$의 값의 합이 $30$이 되도록 하는 자연수 $m$이 존재한다. 이러한 모든 자연수 $n$의 값의 합.

• 드러난 ① 밑을 $2$로 통일해 지수부등식을 이차부등식으로 환원하는 결정

• 드러난 ② 해가 두 근 사이 구간이고 그 중심이 $m+\frac12$, 반폭이 $r$임을 잡는 결정

• 발상형 ③ 중심이 정수가 아니라 두 정수의 한가운데라서, 정수해가 반드시 짝을 이루고 각 짝의 합이 $2m+1$로 일정하다는 구조를 스스로 들여오는 결정

• 드러난 ④ 합 $=j(2m+1)=30$에서 $2m+1$이 $30$의 홀수 약수임을 읽는 결정

• 검문형 ⑤ $n\ge1$에서 $r<m+\frac12$가 나와 후보가 더 잘린다는 확인

• 검문형 ⑥ 짝의 개수 부등식에서 한쪽엔 등호가 붙고 다른 쪽엔 안 붙는다는 확인

• 검문형 ⑦ 구한 $n$ 각각에 대해 조건을 만족시키는 $m$이 실제로 존재하는지 확인

③이 왜 발상형 기준을 통과하는지가 관건입니다. 발문에 대칭이라는 말이 한 글자도 없고, 옆에서 "대칭을 보라"고 짚어 줘도 짝의 합이 일정하다는 데까지는 스스로 가야 합니다. 이걸 못 보면 $m$과 $n$을 하나씩 대입하는 노동으로 빠집니다. 재료 개수는 예 2와 별 차이가 없는데 티어가 한 칸 오르는 이유가 여기 있습니다.

예 4·5. 여기서 제 티어가 서로 어긋났습니다

(예 4) 합성 조건을 만족시키는 함수의 개수 — 제가 붙인 티어: 플래티넘 I (20)

$X=\{1,\cdots,6\}$에서 $X$로의 함수 $f$가 모든 $t$에 대해 $f(f(t))=f(t)$이고 $f(1)=2$, $f(3)\neq3$일 때 함수의 개수.

• 발상형 ① $f(f(t))=f(t)$를 "모든 함숫값은 자기 자신으로 대응되는 원소"로 읽어 정의역을 두 덩어리로 쪼개는 결정. 이 관점이 없으면 $6^{6}$가지를 훑게 됩니다

• 발상형 ② 그 덩어리의 크기를 매개변수로 올려 크기별로 세고 합산하는 구조를 만드는 결정

• 드러난 ③④⑤⑥ 크기별 조합 수 / 나머지 원소의 대응 수 / 합산 / 주어진 조건 반영

• 검문형 ⑦ $f(1)=2$에서 따라 나오는 제약 때문에 특정 크기가 아예 불가능해진다는 확인

• 검문형 ⑧ 서로 다른 크기에서 같은 함수를 중복해 세지 않았는지 확인

(예 5) 삼차함수의 절댓값 방정식과 구간의 최댓값 함수 — 제가 붙인 티어: 다이아몬드 III (23)

$f(x)=x^{3}-3a^{2}x+b$, $g(x)=|f(x)-k|$에 대해 $g(x)=c$의 실근이 5개가 되는 $k$의 집합이 $S(4)=\{4,28\}$일 때, 닫힌구간 $[t,\ t+3]$에서 $f$의 최댓값 $M(t)$가 미분가능하지 않은 $t$를 구하는 문항.

• 드러난 ① $|f(x)-k|=c$를 두 수평선 $f(x)=k\pm c$로 분해하는 결정

• 드러난 ② 실근 5개 = (3개 + 2개)이고 "2개"는 수평선이 극값을 지난다는 뜻임을 읽는 결정

• 검문형 ③ 네 경우 중 둘이 실제로 죽는다는 확인

• 드러난 ④ $S(c)$의 두 원소가 $b$에 대해 대칭이라 합과 차로 $a,b$가 한 줄에 나오는 결정

• 검문형 ⑤ $c<2a^{3}$이어야 $S(c)$가 비지 않는다는 확인

• 검문형 ⑥ 구간 길이 $3$이 두 극점 거리 $4$보다 짧아 두 극점을 동시에 품을 수 없다는 확인

• 드러난 ⑦ $M(t)$를 세 구간으로 나눠 표현하는 결정

• 발상형 ⑧ 미분가능성 문제를 "두 끝점의 함숫값이 뒤바뀌는 지점"으로 옮겨 $f(t)=f(t+3)$ 하나만 풀면 된다는 전환

• 검문형 ⑨ 구간식이 바뀌는 $t=-5$, $t=-2$에서는 $f'(-2)=0$ 때문에 저절로 매끄럽다는 확인. 이걸 놓치면 미분불가점을 셋으로 셉니다

• 검문형 ⑩ $t_{0}$에서 좌·우 미분계수가 실제로 다르다는 확인

그래서 무엇이 드러났나

두 문항의 DS가 정확히 같게 떨어졌는데, 제가 직관으로 붙인 티어는 플래티넘 I(20)과 다이아몬드 III(23)로 세 칸이 벌어져 있었습니다.

예 4에 등급을 매길 당시 저는 공지의 이 문장에 걸렸습니다. "핵심 선택 하나를 하고 나면 풀이가 자연스럽게 이어지는 경우는 플래티넘 I입니다." 자기 자신으로 가는 원소들의 집합만 잡으면 나머지 세기는 기계적으로 끝난다고 봤고, "확신이 서지 않으면 낮은 쪽"이라는 원칙을 빌려 20을 줬습니다.

그런데 재료를 세어 보니 예 4에는 발상형이 두 개 들어 있었습니다. 집합의 크기를 매개변수로 올려 크기별로 다시 묶는 두 번째 전환이 가려져 있었습니다. 제가 그 대목을 "자연스럽게 이어진다"고 느낀 이유는 제가 그 문항을 만든 사람이라 두 번째 전환이 안 보였기 때문입니다. 자기가 낸 지름길은 자동으로 통과되니까요.

출제자는 자기 문항의 발상을 과소평가합니다. 만들 때 이미 알고 있었으니 당연합니다. 재료를 하나씩 세는 절차는 그 맹점을 뚫습니다. 지금은 예 4를 다이아몬드 V 쪽으로 올리는 게 맞다고 보고 있습니다.

참고로 예 5는 여섯 명이 풀어 정답률 83%, 예 4는 아직 한 명이 풀었습니다. 표본이 이렇게 작아서는 근거로 쓸 수 없고, 쌓이는 대로 다시 보려고 합니다.

9. 수학도장 티어와의 대응 (어디까지나 제안)

• 브론즈 · DS 1.00 ~ 1.75 · L1

• 실버 · DS 1.75 ~ 2.25 · L1~L2

• 골드 · DS 2.25 ~ 3.00 · L2

• 플래티넘 · DS 3.00 ~ 4.00 · L3

• 다이아몬드 · DS 4.00 ~ 4.75 · L4

• 루비 · DS 4.75 ~ 5.00 · L4 상단

공지가 루비에 붙인 조건, 그러니까 "수능 30문항 중 가장 어려운 1~2문항 후보"라는 위치와 L4가 맞물립니다. L5부터는 수능 밖이라 루비 위에 얹을 칸이 없습니다.

이 대응은 제 문항들을 두 척도 위에 나란히 얹어 맞춰 본 시안입니다. 8절 표본 다섯 중 넷이 일치했고 어긋난 하나도 척도가 아니라 제 초기 판단이 틀린 경우였습니다. 그래도 표본이 다섯입니다. 어긋나는 사례를 보시면 알려 주시면 감사하겠습니다.

10. 아직 못 푼 것들

• 세는 사람에 따라 ±1은 흔들립니다. 규칙을 아무리 적어도 경계 사례에서는 판단이 갈립니다. 이 척도는 "누가 세도 같은 값"을 보장하지 못하고, 다만 한 사람이 여러 문항에 일관되게 매기는 것은 돕습니다. 8절이 그 증거입니다.

• 0.25와 0.75에 이론적 근거가 없습니다. 제 표본에 맞춰 기워 놓은 경험적 수치입니다. 비율은 1:2에서 1:4를 거쳐 지금의 1:3에 와 있습니다.

• 읽기 부담이 안 잡힙니다. 재료가 늘면 그걸 작동시킬 조건을 발문에 실물로 박아야 해서 문제가 길어지는데, 그 길이가 주는 부담은 DS에 반영되지 않습니다.

• 국어나 영어로는 그대로 못 옮깁니다. 재료가 명제와 관계 단위로 쪼개지는 과목에서는 세는 단위 자체를 다시 정의해야 합니다.

11. 맺음

공지 기준만으로 흔들림 없이 매겨 오신 분들께는 필요 없는 번거로움일 수 있습니다.

다만 문항 수가 일정 선을 넘으면 "어제 매긴 골드와 오늘 매긴 골드가 수평인가"에 대한 자기 불신이 찾아옵니다. 그 모호함을 걷어내는 보조 눈금이고, 적어도 저는 이 척도를 만들고 나서 두 가지에 답할 수 있게 됐습니다.

• 함정을 더 숨기면 더 어려워지는가. 아니라고 답할 수 있게 됐습니다.

• 내가 만든 문제의 발상을 내가 제대로 보고 있는가. 못 보고 있었다는 걸 8절에서 확인했습니다.

가중치나 등급 경계에 대한 반례는 언제든 환영합니다.