가르는 기준은 하나다. 연구자가 그것을 직접 기록할 수 있는가, 아니면 기록한 것에서 추론해야 하는가.

(가)는 행동이다. 시계가 재 준다. (라)도 행동이다. 알려 주었는지 아닌지를 관찰자가 적을 수 있다.

(나)는 정신과정이다. 잰다면 이렇게 한다 — 낱말을 보여 주고 "전에 본 적이 있는가"를 묻고 예/아니오를 기록한다. 또는 그 판단에 걸린 시간을 잰다. 어느 쪽이든 재는 것은 응답이지 느낌 자체가 아니다.

(다)도 정신과정이다. 잰다면 "도와줄 의향"을 몇 칸 척도로 묻거나, 실제로 도울 기회를 만들어 놓고 (라)를 관찰한다. 여기서 중요한 것은 (다)와 (라)가 같지 않다는 점이다. 마음이 있었는데 안 하기도 하고, 마음 없이 하기도 한다. 그래서 (다)를 (라)로 재기로 했다면 그 약속을 밝혀 두어야 하고, 결론도 그 약속의 범위 안에서만 말해야 한다.

흔한 실수는 (다)를 재려고 (라)를 관찰해 놓고 결론에서는 다시 (다)에 대해 말하는 것이다. 5장에서 이것을 타당도 문제로 다시 다룬다.

모범답안. 이 주장의 가장 강한 형태는 이렇다. 심리 현상이 물질적인 과정으로 이루어져 있다면, 그 물질적 과정을 남김없이 서술하는 이론은 심리학적 서술이 하는 일을 전부 할 수 있을 것이다. 실제로 과학사에서 그런 흡수가 일어난 적이 있다. 화학의 여러 규칙성이 원자 구조로 설명되고 나서 독립된 원리로 남지 않은 것이 그런 경우다. 그럼에도 이 문서가 층위를 여럿 두는 이유는 지금 우리가 가진 것이 그런 이론이 아니기 때문이다. 어떤 뇌 상태가 어떤 기억에 대응하는지 낱낱이 아는 상태가 아니고, 알게 되더라도 "이 사람이 왜 저 낱말을 더 잘 기억했는가" 같은 물음에 답하려면 부호화 조건이나 인출 단서 같은 심리학 층위의 개념이 여전히 필요하다. 게다가 사회·제도 층위의 설명은 개인의 뇌 안에 없는 것을 가리킨다. 시험 제도가 어떻게 되어 있는가는 어느 한 사람의 뇌 상태로 옮겨 적을 수 없다.

답에 반드시 들어가야 하는 것.

• 주장을 무너뜨리기 쉬운 형태로 요약하지 않았는가 — 이 방향의 흡수가 실제로 일어난 사례가 있다는 점을 인정할 것
• '원리상 가능한가'와 '지금 할 수 있는가'를 구별할 것
• 층위를 여럿 두는 것이 편의인지 원리적 필요인지에 대해 입장을 밝힐 것

다르게 답해도 되는 범위. 흡수가 원리상 가능하다고 보는 답도, 원리상 불가능하다고 보는 답도 다 괜찮다. 그 물음 자체가 미결이고 철학 문서 14장이 양쪽을 다룬다. 다만 "심리학은 과학이 아니므로 뇌과학으로 대체되어야 한다"는 식의 답은 오답이다. 대체 가능성의 물음과 과학인지의 물음은 다른 물음이고, 앞의 것에 답한다고 뒤의 것이 답해지지 않는다.

이 글은 결과를 알려 주기 전에 독자의 예상을 확인하지 않았다. "놀랍게도"는 독자가 반대쪽을 예상했으리라는 가정 위에 서 있는데, 그 가정을 확인한 적이 없다.

두 가지 문제가 생긴다. 첫째, 독자가 실제로는 그 결과를 예상했을 수도 있다. 그러면 "놀랍게도"는 결과를 실제보다 새롭게 보이게 만드는 장식이 된다. 둘째, 반대 결과가 나왔더라도 같은 글을 쓸 수 있었다. "놀랍게도 사람들은 ~했다." 어느 결과가 나와도 놀랍다고 쓸 수 있다면 그 놀라움은 결과에서 온 것이 아니다.

고치는 방법은 간단하다. 결과를 말하기 전에 독자가 스스로 예상을 적게 만드는 것이다. 이 문서의 예제 가운데 상당수가 그런 모양으로 되어 있다. 판단을 먼저 내리게 한 뒤 답을 보게 하면, 자기 예상이 맞았는지 틀렸는지를 자기가 확인할 수 있다.

조건을 갈라 놓으면 둘 다 참일 수 있다. 답은 여럿이고 아래는 그 가운데 하나다.

(가)가 참일 조건 — 문제가 여러 갈래의 지식을 필요로 하고, 각자가 서로 다른 조각을 갖고 있으며, 의견을 모으는 절차가 정해져 있을 때. 그러면 합쳐진 지식이 어느 한 사람의 지식보다 넓다.

(나)가 참일 조건 — 문제가 한 사람의 집중을 오래 요구하고, 누가 무엇을 했는지 구별되지 않으며, 먼저 말한 사람의 답에 나머지가 끌려갈 수 있을 때. 그러면 노력이 줄고 답의 다양성도 줄어든다.

어떻게 확인하는가. 조건을 실험자가 정해 놓고 두 방식을 견주면 된다. 같은 사람들을 데려와 절반은 혼자, 절반은 넷이서 같은 문제를 풀게 하고, 문제의 종류(지식 분산형 대 집중형)를 따로 바꿔 가며 되풀이한다. 그러면 "어느 쪽이 낫다"가 아니라 "어떤 문제에서 어느 쪽이 나은가"라는 답이 나온다.

여기가 요점이다. 상식의 두 문장은 서로 다투는 것이 아니라 조건을 밝히지 않은 것이다. 심리학이 하는 일은 어느 한쪽을 고르는 것이 아니라 조건을 찾아 붙이는 것이다. 18장에서 이 물음을 실제로 다룬다.

모범답안. 가장 강한 형태는 이렇다. 심리학의 결과 가운데 상당수는 발표되고 나면 사람들이 이미 알고 있던 것으로 받아들여진다. 그것도 몇몇 결과에 대해서만이 아니라 널리 그렇다. 그리고 그런 결과를 얻는 데 큰 비용이 든다. 이 지적은 어디까지 맞는가. 개별 결과가 상식과 겹친다는 부분은 자주 맞는다. 사람들은 실제로 많은 것을 대략 알고 있다. 그러나 받아들일 수 없는 부분이 둘이다.

첫째, 상식은 반대되는 답을 함께 갖고 있으므로 어느 쪽이 확인되어도 "상식과 같다"고 말할 수 있다. 그런 판정 방식은 무엇으로도 반박되지 않고, 반박되지 않는 판정은 아무것도 가려내지 못한다. 둘째, 심리학이 내놓는 것은 방향만이 아니라 크기와 조건이다. "칭찬이 도움이 된다"는 상식이지만 "어떤 종류의 칭찬이 언제, 얼마나"는 상식에 없다. 그리고 크기와 조건이 실제로 쓸모를 정한다.

답에 반드시 들어가야 하는 것.

• 이 지적에 맞는 부분이 있음을 인정할 것 — 실제로 겹치는 결과가 많다
• 상식이 반대되는 답을 함께 갖는다는 지적
• 방향과 크기·조건의 구별

다르게 답해도 되는 범위. 이 지적에 상당한 힘을 실어 주는 답도 좋다. 실제로 "당연한 것을 확인하는 데 자원을 쓴다"는 비판은 이 분야 안에서도 제기된다. 반대로 "심리학의 결과는 전부 반직관적이다"라고 답하면 오답이다. 사실과 다르고, 6장에서 볼 문제 가운데 하나가 반직관적인 결과를 우대하는 관행이었다.

(가) 기억이다. 8장에서 다룬다. 그런데 "어떻게 공부해야 하는가"라는 응용 물음과 곧장 이어지므로 교육 쪽으로도 걸친다. 이 결과는 재현이 잘 된 편에 속하고, 8장에서 그 사정을 함께 적는다.

(나) 언어와 발달 둘 다에 걸린다. 소리를 가르는 능력은 지각이고, 그것이 나이에 따라 달라지는 것은 발달이다. 11장과 15장 양쪽에 나온다. 갈래가 하나로 정해지지 않는 것이 정상이다. 갈래는 물음을 나누는 편의이지 자연의 이음매가 아니다.

(다) 생각하기(10장)와 사회심리학(18장)에 걸린다. 개인의 정보 처리로 볼 수도 있고 자기 입장을 지키는 일로 볼 수도 있다. 어느 쪽으로 놓느냐에 따라 설계가 달라진다는 점이 중요하다. 전자로 보면 사람에게 자료를 주고 판단을 재고, 후자로 보면 그 주장이 그 사람에게 무엇인지를 함께 다뤄야 한다.

답은 (다)다.

(가)는 다룬다. 오히려 이 문서가 재현 위기를 피하지 않고 18장의 소재로 정면에서 쓴다.

(나)도 다룬다. 19장이 이론 계보와 효과 연구의 지형을 개관한다. 다루지 않는 것은 기법의 절차와 "이럴 때는 이렇게 하라"는 형태의 조언이다.

(다)가 답이다. 자습서라는 형식은 읽는 사람을 자기 문제에 적용하는 쪽으로 민다. 자기 상태를 재 보게 하는 척도를 실으면 그 힘이 훨씬 세진다. 척도가 무엇이고 어떻게 만들어지는지는 5장에서 다루지만, 독자가 자기에게 대어 볼 척도는 싣지 않는다.

(라)도 다룬다. 17장이 지능 검사의 구조와 그 오용을 함께 다룬다. 검사를 설명하는 것과 검사를 제공하는 것은 다르다는 것이 (다)와 (라)를 가르는 선이다.

이유는 이렇다. 내성 보고는 보고한 사람 말고는 확인할 수 없고, 두 사람의 보고가 어긋날 때 누가 맞는지 가릴 절차가 없다. 자료로 쓰려면 여러 사람이 같은 것을 보고 같은 값을 얻을 수 있어야 하는데 내성은 그렇지 않다.

이 이유는 지금도 유효하다. 자기보고가 무엇에 취약한지는 5장에서 다루고, 그 목록은 왓슨의 지적과 거의 겹친다.

다만 지금은 자기보고를 버리지 않고 다룬다. 방법이 셋이다. 첫째, 같은 것을 여러 문항으로 여러 번 물어 흔들림을 재고 그것을 신뢰도로 보고한다. 둘째, 자기보고와 행동 지표를 함께 재서 둘이 맞아떨어지는지 확인한다. 셋째, 자기보고 자체를 설명해야 할 현상으로 다룬다. "사람들이 자기 상태를 어떻게 보고하는가"는 그 자체로 연구할 만한 물음이다.

요컨대 왓슨의 진단은 옳았고 처방이 지나쳤다. 확인할 수 없는 자료를 그대로 쓰면 안 된다는 것은 맞지만, 그렇다고 그 자료를 통째로 버리면 물을 수 없는 물음이 너무 많아진다.

모범답안. 이 서술은 학파의 교체를 참과 거짓의 교체로 그린다. 실제로 일어난 일은 그것이 아니라 자료로 인정하는 것의 범위가 바뀐 것이었고, 앞 학파가 세운 결과 가운데 지금도 쓰이는 것이 많다. 조건형성 연구는 행동주의가 남긴 것이고 지금도 정설이다. 반응 시간을 자료로 쓰는 방식은 분트의 실험실에서 자리 잡았고 인지심리학이 그대로 이어받았다. 고쳐 쓰면 이렇게 된다 — "구성주의는 내성 보고를 주된 자료로 삼았고, 그 보고를 확인할 수 없다는 문제 때문에 행동주의는 자료를 관찰 가능한 행동으로 좁혔다. 그 좁힘이 언어와 기억을 다루기 어렵게 만들자, 인지혁명은 속의 과정을 다루되 반응 시간과 오류 유형처럼 밖에서 잴 수 있는 것으로 검사하는 길을 열었다. 각 국면은 앞 국면의 결과를 버린 것이 아니라 자료의 범위를 다시 정한 것이다."

답에 반드시 들어가야 하는 것.

• 교체의 축이 참·거짓이 아니라 자료의 범위였다는 지적
• 앞 학파의 결과 가운데 지금도 쓰이는 것의 예를 하나 이상
• 행동주의의 좁힘에 그럴 만한 이유가 있었다는 인정

다르게 답해도 되는 범위. 인지혁명을 실제 '혁명'으로 보지 않는 답도 좋다. 그런 견해가 있고, 행동주의 시기에도 속의 과정을 다룬 연구가 있었다는 점을 근거로 든다. 반대로 "학파는 다 옳았다"로 얼버무리면 오답이다. 내성 보고를 확인할 수 없다는 문제는 실제 문제였고 해결된 적이 없다.

이 방법에는 세 가지 문제가 있다.

첫째, 알아챘는지를 다시 자기보고로 묻고 있다. 알아채고도 아니라고 답할 수 있고, 반쯤 알아챈 상태는 답하기 어렵다. 문제를 자기보고로 잡으려 하는데, 자기보고가 원래 문제였다.

둘째, 자료를 본 뒤에 사람을 빼는 절차가 된다. 누구를 뺄지 정하는 재량이 결과를 움직일 수 있고, 그 재량이 6장에서 다룰 문제의 핵심이다. 빼기로 했다면 자료를 보기 전에 기준을 못 박아야 한다.

셋째, 그렇게 빼고 나면 남은 사람들이 처음의 두 집단과 다른 집단이 된다. 무선배정으로 맞춰 놓은 균형이 깨진다. 4장에서 이것을 다시 본다.

그러면 무엇을 하는가. 애초에 눈치채지 못하게 만드는 쪽이 낫다. 참가자에게 조건을 알리지 않고, 가능하면 실험자에게도 알리지 않는다. 그리고 "알아챘는가" 문항을 쓸 거라면 그 문항과 제외 기준을 미리 정해 공개해 둔다.

적어도 셋을 건너뛰었다.

셋째(개인차)를 건너뛰었다. 평균이 높다는 것은 A 집단의 모든 사람이 B 집단의 모든 사람보다 높았다는 뜻이 아니다. 두 집단은 대개 크게 겹치고, 그 겹침의 정도를 말해 주는 것이 효과크기다. 5장에서 이 그림을 직접 본다. 겹침이 크면 "나에게 A가 나을 것"이라는 결론은 나오지 않는다.

넷째(원인이 여럿)를 건너뛰었다. 공부 방법이 점수에 대해 갖는 몫은 대개 작다. 잘 시간, 시험의 종류, 이미 아는 양이 함께 작용하고, 방법을 바꿔서 얻는 몫이 그것들에 비해 얼마나 되는지가 실제로 중요한 값이다.

다섯째(표본)를 건너뛰었다. 누가 참가했는지에 따라 결론이 닿는 범위가 정해진다. 대학생에게서 얻은 결과를 초등학생이나 성인 학습자에게 그대로 옮길 수 있는지는 따로 확인해야 한다.

여기에 더해 이 문장에는 앞서 다룬 문제가 하나 더 있다. "평균이 높았다"는 것과 "A 때문에 높았다"는 것은 다른 주장이다. 두 집단이 어떻게 나뉘었는지를 보지 않으면 앞의 것에서 뒤의 것으로 갈 수 없다. 그것이 4장 전체의 주제다.

모범답안. 다섯 가운데 첫째·셋째·넷째는 정도의 차이일 뿐 다른 과학에도 있다. 물리학도 관찰할 수 없는 것을 추론하고, 생물학은 개체 차이를 늘 다루며, 원인이 여럿 얽힌 현상은 지구과학에도 흔하다. 다섯째도 표본 문제라는 점에서 다른 분야의 것과 성격이 같다. 심리학에만 있는 것은 둘째, 즉 재려는 대상이 재는 일을 알아채고 그 때문에 달라진다는 점이다. 전자는 관찰된다는 사실에 반응해 행동을 바꾸지 않는다. 사람은 바꾼다. 그리고 무엇을 알아냈는지 알려 주면 다음번에 또 달라진다.

이것이 방법을 바꾸는 방식은 이렇다. 첫째, 은폐가 설계의 일부가 된다. 참가자에게 조건을 알리지 않고, 자료를 다루는 사람에게도 알리지 않는다. 다른 과학에서는 관찰자의 기대를 막기 위한 장치이지만 심리학에서는 대상의 반응까지 막아야 한다. 둘째, 속임과 사후설명이라는 절차가 생긴다. 그리고 그 절차는 곧장 윤리 문제를 만든다. 셋째, 결과를 알린 뒤에도 같은 결과가 나오는지가 별도의 물음이 된다.

답에 반드시 들어가야 하는 것.

• 둘째를 고르고, 나머지 넷은 정도의 차이임을 밝힐 것
• 그 차이가 설계에 낳는 구체적인 결과를 하나 이상 — 은폐, 속임, 사후설명 가운데
• 그 장치가 윤리 문제를 함께 만든다는 지적

다르게 답해도 되는 범위. 셋째나 넷째를 고르고 "정도의 차이가 너무 커서 질적으로 다르다"고 논증하는 답도 좋다. 실제로 심리학의 효과크기가 물리 상수의 정밀도와 견줄 수 없다는 지적에는 힘이 있다. 다만 "심리학만 어렵다"거나 "다른 과학도 똑같다"로 끝내면 오답이다. 앞의 것은 근거가 없고, 뒤의 것은 둘째 항목을 못 본 것이다.

(가) 기술 연구, 그중에서도 자연관찰이다. 말할 수 없는 것 — 왜 집어 드는지. 그리고 도서관 밖에서도 그런지. 관찰된 것은 이 장소, 이 시간대의 이 사람들이다.

(나) 상관 연구다. 말할 수 없는 것 — 잠을 늘리면 평점이 오르는지. 이 자료는 그 물음에 답하지 않는다. 다음 절에서 이유를 자세히 본다.

(다) 실험이다. 조건을 연구자가 동전 던지기로 정했다. 말할 수 없는 것 — '안내를 받은 것'이 아니라 '실제로 잔 것'의 효과인지. 안내를 받았다고 다 그렇게 자지는 않는다. 실제로 연구자가 정한 것은 수면 시간이 아니라 안내를 받았는지 여부이고, 결론도 거기까지다. 실제 수면 시간을 함께 재서 보고해야 이 간극이 드러난다.

세 답에 공통된 것이 있다. 말할 수 없는 것은 자료를 더 들여다본다고 나오지 않는다. 설계가 정해 놓은 한계이므로, 넘어가려면 설계를 바꿔야 한다.

모범답안. 장점이 둘이다. 첫째, 누가 재도 같은 값이 나온다. 개수를 세면 되므로 채점자에 따라 달라지지 않는다. 둘째, 짧은 시간에 많은 사람에게서 잴 수 있다. 그래서 표본을 키울 수 있고, 5장에서 볼 검정력 문제에 유리하다. 단점도 둘이다. 첫째, 개수와 질이 다르다. 쓸모없는 답을 스무 개 적은 사람이 뛰어난 답을 세 개 적은 사람보다 높게 나온다. 둘째, 이 과제가 실제 창작 활동과 얼마나 닮았는지 알 수 없다. 몇 분 동안 목록을 적는 일과 몇 달에 걸친 작업 사이에는 큰 간극이 있다. 그러므로 이 정의로 얻은 결과를 보고할 때는 결론을 이 정의의 범위 안에서 적어야 한다. "창의성이 높았다"가 아니라 "용도 나열 과제의 점수가 높았다"로 쓰고, 그 점수가 다른 창의성 지표와 어떤 관계인지 알려진 것이 있으면 함께 적는다. 이것이 5장의 구성 타당도가 하는 일이다.

답에 반드시 들어가야 하는 것.

• 장점 쪽에 "누가 재도 같다"가 들어갈 것 — 이것이 이 정의를 고른 주된 이유다
• 단점 쪽에 "개수와 질이 다르다"가 들어갈 것
• 보고할 때 결론을 정의의 범위로 좁혀야 한다는 지적

다르게 답해도 되는 범위. 이 정의를 훨씬 나쁘게 보는 답도 좋다. 창작 활동과의 간극이 너무 커서 이 점수를 창의성이라 부르는 것 자체가 오해를 낳는다는 지적에는 힘이 있다. 반대로 훨씬 좋게 보는 답도 좋다. 잴 수 없으면 연구가 시작되지 않고, 좁더라도 잴 수 있는 정의에서 출발하는 것이 표준적인 방식이다. 다만 "조작적 정의는 원래 다 좁으니 문제가 아니다"로 끝내면 오답이다. 좁다는 것이 문제가 아니라 좁은 채로 넓은 결론을 적는 것이 문제이며, 그 구별이 이 예제의 요점이다.

여기서 조심할 것 하나. 개수 대신 '독창성'을 평정하기로 바꾸면 단점 하나는 줄지만 장점 하나가 사라진다. 평정자에 따라 값이 달라지므로, 그때는 평정자를 여럿 두고 그들의 일치도를 함께 보고해야 한다. 5장에서 그 지표를 다룬다.

다시 쓰면 이렇다. "이 앱을 쓰고 있고, 알림을 받았고, 설문에 답한 사람 가운데 78%가 만족한다고 응답했다."

기울어진 자리가 셋이다.

첫째, 표집틀이 이 앱 이용자다. 앱을 안 쓰는 사람은 뽑힐 수가 없다. 그런데 결론은 "우리나라 사람"에 대해 말한다.

둘째, 무응답이다. 만족하지 않는 사람은 앱을 덜 쓰거나 이미 지웠을 가능성이 크다. 그러면 응답자는 만족한 쪽으로 기울어진 집단이다. 이 기울어짐은 표본을 아무리 키워도 줄지 않는다. 표본이 커지면 우연에서 오는 흔들림만 줄고, 기울어짐은 그대로 남는다. 이것이 이 절에서 가장 중요한 문장이다.

셋째, 문항이다. "만족하십니까"라는 물음 자체가 긍정 쪽으로 민다. 5장에서 다룬다.

무엇을 하면 나아지는가. 이용자 명단에서 무선표집해 개별로 접촉하고, 응답률을 함께 보고하고, 응답자와 비응답자가 알려진 항목(가입 시기, 사용량)에서 다른지 견주어 보고한다. 그래도 "우리나라 사람"에 대해서는 말할 수 없다.

모범답안. 이 주장은 옳은 전제에서 지나친 결론으로 간다. 전제는 맞는다. 표본이 크게 쏠려 있고, 그 쏠림이 결론의 범위를 좁히는 것도 맞는다. 그러나 결론이 따라 나오지 않는 이유가 셋이다. 첫째, 현상마다 다르다. 문화에 따라 크게 달라지는 현상이 있고 여러 문화에서 비슷하게 나오는 현상이 있으며, 어느 쪽인지는 실제로 여러 곳에서 재 보아야 알 수 있다. 실제로 그렇게 재 본 다중연구실 연구들이 있고, 그 결과는 "어느 효과인가"가 "어느 나라인가"보다 큰 차이를 만든다는 쪽이었다. 둘째, 표본이 좁다는 것은 결론의 범위를 좁히지 결론을 지우지 않는다. "이 표본에서는 이랬다"는 여전히 참이고, 그것이 다음 연구의 출발점이 된다. 셋째, 이 주장을 밀고 나가면 같은 논리로 어떤 표본에 대해서도 같은 말을 할 수 있다. 어느 표본도 인류 전체가 아니기 때문이다. 그러면 남는 것은 아무것도 하지 말자는 결론뿐이다.

답에 반드시 들어가야 하는 것.

• 전제가 옳다는 인정 — 쏠림은 실제이고 크다
• 범위를 좁히는 것과 지우는 것의 구별
• 어느 현상이 문화에 민감한지는 미리 알 수 없고 재 봐야 안다는 지적

다르게 답해도 되는 범위. 이 지적에 훨씬 무겁게 힘을 싣는 답도 좋다. 특히 사회·정서·도덕 판단을 다루는 영역에서는 쏠림의 대가가 크고, 그 영역의 결과를 인류 일반에 대한 주장으로 읽으면 안 된다는 답은 정당하다. 반대로 "사람은 어디나 다 비슷하니 문제가 안 된다"고 답하면 오답이다. 그것이야말로 확인 없이 하는 일반화이고, 이 지적이 겨눈 바로 그 태도다.

답은 (나)뿐이다. 나머지 셋은 전부 인과 주장이고, 이 자료는 인과를 말하지 않는다.

(가)가 왜 안 되는지 셋으로 나눠 보자.

방향이 반대일 수 있다. 성적이 잘 나오지 않는 학생이 불안해서 잠을 줄이고 더 오래 앉아 있는다면, 인과의 화살은 평점에서 수면으로 간다. 같은 자료가 나온다.

혼입변수가 있을 수 있다. 아르바이트 시간을 생각해 보자. 오래 일하는 학생은 잘 시간도 줄고 공부할 시간도 준다. 그러면 아르바이트 시간 하나가 두 값을 함께 움직인다. 수면과 평점 사이에는 직접적인 연결이 없어도 자료는 똑같이 나온다. 시간 관리 습관, 건강 상태, 수강한 과목의 난이도도 같은 자리에 놓인다.

우연일 수 있다. 이 경우에는 가능성이 낮다. 표본이 800명이고 관계가 뚜렷하다고 했으므로 우연으로 이만한 관계가 나올 일은 드물다. 다만 "우연이 아니다"는 "인과다"와 다른 말이다. 유의성은 앞의 두 갈래를 하나도 지우지 못한다.

(다)는 (가)를 다른 말로 적은 것이다. "확인되었다"는 표현이 붙었을 뿐 주장의 구조는 같다.

(라)가 가장 조심할 답이다. 예측과 개입은 다르다. 이 자료로 "수면 시간이 긴 학생의 평점이 높을 것"이라고 예측하는 것은 괜찮다. 상관은 예측을 허락한다. 그러나 "잠을 더 자게 만들면 평점이 오를 것"은 개입에 대한 주장이고 상관이 허락하지 않는다. 혼입변수가 원인이었다면 잠만 늘려도 아무 일이 일어나지 않는다. 아르바이트를 그대로 두고 잠만 늘리라고 하면 공부 시간이 줄어 오히려 나빠질 수도 있다.

(가)나 (라)를 골랐다면 그것이 정상이다. 이 미끄러짐은 눈에 잘 띄지 않고, 학술 논문의 요약문에서도 자주 일어난다. 앞으로 이 문서에서 어떤 결과를 만나면 먼저 "이것은 상관인가 실험인가"를 확인하라.

진전이 있었지만 결론은 아직 나오지 않는다.

무엇이 나아졌는가. 아르바이트 시간이라는 혼입변수 하나가 지워졌다. 아르바이트 시간이 같은 학생들끼리 견주었는데도 관계가 남았다면, 그 관계를 아르바이트 시간으로 설명할 수는 없다.

무엇이 남았는가. 셋이다.

첫째, 재지 않은 혼입변수는 통제할 수 없다. 이것이 결정적이다. 통제는 잰 것에 대해서만 할 수 있고, 잴 생각을 못 한 변수는 그대로 남는다. 건강 상태, 집에서의 사정, 애초의 학업 능력 가운데 재지 않은 것이 있다면 그것이 여전히 후보다.

둘째, 방향 문제가 그대로 남는다. 아르바이트를 통제해도 "성적이 안 나와서 잠을 줄인다"는 설명은 지워지지 않는다.

셋째, 통제 자체가 새 문제를 만들 수 있다. 통제하는 변수가 X 와 Y 사이의 경로 위에 있으면, 통제하는 순간 보려던 효과가 사라진다. 수면이 아르바이트 시간을 통해 성적에 영향을 준다면 아르바이트를 통제하는 것은 그 경로를 막는 일이다. 무엇을 통제할지는 자료가 정해 주지 않고 이론이 정한다.

그러면 무엇이 답을 주는가. 수면 시간을 연구자가 무선배정으로 정하는 것이다. 다음 절의 주제다. 그리고 그것이 여기서는 쉽지 않다는 것도 함께 봐야 한다. 사람에게 몇 달 동안 정해진 시간만 자라고 시킬 수 있는가. 할 수 있어도 해도 되는가.

(가)가 허락된다. 예측은 상관만 있으면 된다. 두 값이 함께 움직인다는 사실을 알면, 한쪽을 보고 다른 쪽을 어림할 수 있다. 왜 함께 움직이는지 몰라도 예측은 된다. 검사와 평가가 둘 다 어떤 제3의 능력에서 나오는 것이더라도 예측은 여전히 맞는다.

(나)는 허락되지 않는다. 개입은 인과를 요구한다. 검사 점수가 그 제3의 능력이 남긴 자국일 뿐이라면, 자국만 지우거나 만들어도 능력은 그대로다. 시험 요령만 익혀 점수를 올린 사람의 업무 평가가 올라갈 이유가 없다.

이 구별을 기억할 짧은 말이 있다. 온도계를 데워도 방이 따뜻해지지 않는다. 온도계 눈금과 방 온도는 상관이 아주 높고 예측도 잘 된다. 그렇다고 눈금을 손으로 올리면 방이 따뜻해지지는 않는다.

실무에서 이 구별이 무너지는 자리가 있다. 어떤 지표를 목표로 삼으면 그 지표와 원래 재려던 것 사이의 관계가 끊어지기 쉽다. 검사 점수를 올리는 것 자체가 목표가 되면 사람들이 검사에 맞춰 준비하게 되고, 그러면 그 점수는 더 이상 능력의 자국이 아니게 된다.

결론지을 수 있는 것 — 오전반의 점수가 오후반보다 높았다. 여기까지다.

결론지을 수 없는 것 — 새 방법이 효과가 있었다. 두 가지가 한꺼번에 달랐기 때문이다.

혼입변수가 둘이다.

첫째, 시간대다. 방법과 시간대가 완전히 겹쳐 있어서 둘을 갈라낼 방법이 없다. 이런 상태를 방법과 시간대가 완전히 혼입되었다고 한다. 자료를 아무리 정교하게 분석해도 갈라지지 않는다.

둘째, 자기가 골랐다는 것이다. 이것이 더 큰 문제다. 무선배정이 없으므로 두 집단이 처음부터 다른 사람들일 수 있다. 오전 강의를 고른 학생과 오후를 고른 학생은 생활 습관, 다른 수업의 부담, 아침 시간에 대한 태도에서 다를 가능성이 크다.

고치는 방법. 학생을 무선배정하고, 시간대를 방법과 어긋나게 짠다. 오전에도 두 방법을 다 하고 오후에도 두 방법을 다 하면 시간대의 효과가 두 방법에 고르게 걸린다. 신청한 시간대에 배정할 수 없는 학생이 나오면 그 사람들이 어느 쪽에서 얼마나 빠졌는지 보고한다.

무선배정을 할 수 없다면 어떻게 하는가. 그때는 실험이 아니라 준실험이 되고, 결론의 세기가 내려간다. 다음다음 절의 주제다.

(가)는 무선표집이다. 누구를 부를지를 우연이 정했다. 말할 수 있는 것 — 전국 성인의 수면 습관 분포에 대해 말할 수 있다. 표본이 모집단을 대표하기 때문이다. 말할 수 없는 것 — 무엇이 수면 습관을 만드는지. 조사이므로 인과가 없다. 그리고 실제로는 무응답이 남는다. 3000명을 뽑아도 연락이 닿고 응답한 사람만 자료가 되므로, 응답률과 응답자·비응답자의 차이를 함께 보고해야 한다.

(나)는 무선배정이다. 부른 사람을 조건에 나눌 때 우연을 썼다. 말할 수 있는 것 — 이 120명에게서 낮잠이 기억 과제 점수를 움직였다. 인과를 말할 수 있다. 말할 수 없는 것 — 대학생 일반이나 사람 일반에 대해. 자원한 120명이 어디서 왔는지가 범위를 정한다.

둘을 나란히 놓으면 맞바꿈이 보인다. (가)는 넓은 범위에 대해 약한 것을 말하고, (나)는 좁은 범위에 대해 강한 것을 말한다. 어느 쪽이 나은 연구가 아니라 서로 다른 물음에 답한 연구다. 그리고 둘 다 하는 연구, 즉 무선표집한 사람들에게 무선배정하는 연구는 비용이 크고 실제로는 드물다.

가장 먼저 확인할 것은 통제 집단이 있는가다. 없다면 이 결과는 프로그램의 효과를 말하지 않는다.

이유가 겹쳐 있다.

첫째, 평균으로의 회귀다. 하위 20%만 골라 뽑았다는 것이 결정적이다. 그 집단은 실력이 낮은 사람과 그날 운이 나빴던 사람이 섞여 있고, 두 번째 측정에서는 아무것도 하지 않아도 평균이 올라간다.

둘째, 성숙이다. 시간이 지나면서 저절로 나아지는 부분이 있다.

셋째, 검사 효과다. 같은 형태의 검사를 두 번째 보면 그것만으로 점수가 오른다.

넷째, 탈락이다. 프로그램을 끝까지 마친 사람만 사후 점수가 있다면, 힘들어서 그만둔 사람이 빠진 것이다. 남은 사람은 처음의 집단이 아니다.

넷 가운데 앞의 셋은 같은 방식으로 뽑은 통제 집단이 있으면 한꺼번에 막힌다. 통제 집단에도 똑같이 걸리기 때문이다. 넷째는 설계로 막을 수 없고 탈락률을 보고하는 수밖에 없다.

확인할 것이 하나 더 있다. 얼마나 올랐는가. "크게 올랐다"는 크기를 말하지 않는다. 5장에서 이 물음을 다룬다.

모범답안. 두 사람 다 확인 없이 결론을 내렸다는 점에서 같은 잘못을 하고 있다. 앞사람은 실험실 과제라는 사실만으로 무관하다고 하고, 뒷사람은 효과가 나왔다는 사실만으로 적용된다고 한다. 외적 타당도는 설계의 종류에서 자동으로 따라 나오는 성질이 아니라 확인해야 알 수 있는 것이다. 실제로 확인하는 방법은 정해져 있다. 같은 물음을 현장에서 다시 묻고, 실험실에서 잰 지표와 현장에서 잰 행동 사이에 관계가 있는지 재고, 참가자를 달리해서 되풀이한다. 확인하기 전까지 옳은 서술은 "이 과제에서 이런 효과가 나왔고, 바깥으로 얼마나 옮겨 가는지는 아직 모른다"이다.

답에 반드시 들어가야 하는 것.

• 두 주장이 같은 종류의 잘못을 하고 있다는 지적
• 외적 타당도가 확인의 대상이지 설계에서 따라 나오는 성질이 아니라는 것
• 실제로 확인하는 방법을 하나 이상

다르게 답해도 되는 범위. 실험실 과제의 가치를 훨씬 높게 보는 답도, 훨씬 낮게 보는 답도 좋다. 그 무게에 대해서는 이 분야 안에서도 견해가 갈린다. 특히 실험실 과제에서 잰 값이 같은 사람에게서 되풀이해 재도 안정적인지, 그리고 현장 행동과 상관이 있는지가 그 논쟁의 실제 쟁점이다. 다만 "실험실 연구는 무의미하다"로 끝내면 오답이다. 내적 타당도가 필요한 물음에 대해 다른 수단이 없다.

사다리에서는 자연실험 칸에 놓인다. 갈림(등교 시각 변경)을 연구자가 정하지 않았고 개인이 고르지도 않았다. 지역 단위의 결정이 갈랐다.

이 설계가 강한 이유가 있다. 바꾸기 전과 뒤를 두 지역에서 각각 재기 때문에, 그 사이에 두 지역에 똑같이 걸린 변화는 상쇄된다. 그 해에 전국적으로 무슨 일이 있었더라도 두 지역에 같이 걸렸다면 차이에는 남지 않는다.

인과 주장을 하려면 더 보여야 할 것이 셋이다.

첫째, 바꾸기 전에 두 지역이 같은 흐름을 보이고 있었는지. 변경 전 몇 년 동안 두 지역의 수면 시간이 같은 방향으로 움직이고 있었다면 "그대로 뒀으면 계속 같았을 것"이라는 가정이 그럴듯해진다. 이 확인이 이 설계의 핵심이다.

둘째, 등교 시각 말고 다른 것이 함께 바뀌지 않았는지. 같은 해에 그 지역이 시험 제도나 학원 규제도 함께 바꿨다면 갈라낼 수 없다.

셋째, 왜 그 지역이 바꾸기로 했는지. 이미 학생들이 잠을 못 자는 문제가 심했기 때문에 바꿨다면 갈림이 우연이 아니고, 평균으로의 회귀가 개입한다.

그리고 "더 보였다"고 해도 무선배정만큼 세지지는 않는다. 이 설계가 도달하는 결론은 "다른 그럴듯한 설명을 하나씩 지웠고 남은 것이 등교 시각이다"이지, "다른 설명이 있을 수 없다"가 아니다.

모범답안. 전제는 대체로 옳지만 결론이 지나치다. 무선배정이 인과 주장에 가장 강한 근거를 준다는 것은 맞고, 그것 없이 얻은 인과 주장이 더 약한 것도 맞는다. 그러나 "아무 말도 할 수 없다"는 인과 주장을 있음과 없음의 둘로 보는 것이다. 실제로는 세기의 문제다. 준실험은 그럴듯한 대안 설명을 하나씩 지워 가는 작업이고, 지운 만큼 결론이 세진다. 게다가 다른 종류의 증거가 함께 쌓이면 결론이 더 세진다 — 시간 순서가 맞는지, 양이 늘면 효과도 느는지, 여러 나라와 여러 표본에서 같은 방향이 나오는지, 그럴 만한 기제가 알려져 있는지. 흡연과 폐암의 관계가 사람을 무선배정한 실험 없이도 정설이 된 것이 이런 방식이었다. 그리고 무선배정을 못 하는 것이 기술의 한계가 아니라 윤리의 한계인 경우가 많다는 점도 함께 봐야 한다. 배정할 수 없어서가 아니라 배정해서는 안 되어서 못 하는 것이다.

답에 반드시 들어가야 하는 것.

• 전제의 옳은 부분을 인정할 것 — 무선배정 없는 인과 주장은 실제로 더 약하다
• 인과 주장의 세기가 정도의 문제라는 지적
• 준실험에서 결론을 세게 만드는 수단을 하나 이상

다르게 답해도 되는 범위. 관측 자료에서 인과를 읽는 데 훨씬 엄격한 태도를 취하는 답도 좋다. 실제로 그런 태도를 지지하는 근거가 있고, 관측 연구에서 나온 인과 주장이 나중에 실험으로 뒤집힌 사례가 여러 분야에 있다. 다만 "관측 자료로도 실험만큼 알 수 있다"고 답하면 오답이다. 재지 않은 혼입변수라는 자리는 계산으로 메울 수 없다.

모범답안. 이 계획에는 문제가 둘 있다. 첫째, 사후설명을 할 대상이 없다. 몰래 찍힌 사람들은 누가 찍혔는지 특정되지 않으므로 나중에 설명할 방법이 없다. 사후설명은 속임을 정당화하는 조건인데 그 조건이 채워지지 않는다. 둘째, 동의도 철회도 없다. 찍힌 사람은 들어온 적이 없으므로 나갈 수도 없다. 그럼에도 이 연구를 살릴 길은 있다. 개인을 알아볼 수 없는 형태로만 기록하는 것이다. 얼굴을 찍지 않고 줄의 길이와 사람들 사이의 거리만 세거나, 관찰자가 그 자리에서 수치만 적고 영상은 남기지 않는다. 그러면 특정 개인의 자료가 만들어지지 않으므로 동의의 문제가 다르게 놓인다. 다만 그렇게 고쳐도 최종 판단은 심사 위원회가 한다. 어디까지가 '개인을 알아볼 수 없는' 것인지가 자명하지 않기 때문이다 — 장소와 시각이 좁게 특정되면 사람도 특정된다.

답에 반드시 들어가야 하는 것.

• 사후설명이 실제로 불가능하다는 지적 — 이것이 이 계획의 결정적 결함이다
• 고치는 방향이 "기록의 형태"에 있다는 것. 동의를 받는 쪽으로 고치면 관찰하려던 행동 자체가 달라진다
• 판단을 연구자가 혼자 내리지 않는다는 것

다르게 답해도 되는 범위. 공공장소의 익명 관찰에 동의가 필요하지 않다고 보는 답도 정당하다. 실제로 그런 관찰을 심사 면제 대상으로 두는 규정이 있고, 그 근거는 참가자가 특정되지 않고 부담이 없다는 것이다. 반대로 훨씬 엄격한 답, 즉 영상 기록 자체를 하지 말자는 답도 좋다. 다만 "공공장소이므로 무엇을 찍어도 된다"고 답하면 오답이다. 공공장소인지와 개인이 특정되는지는 다른 물음이다.

여기서 일반적인 원칙 하나가 나온다. "나중에 설명하면 된다"는 속임을 정당화하지 못한다. 설명이 실제로 가능해야 하고, 설명으로 되돌릴 수 있는 종류의 부담이어야 한다.

답은 (다)다.

(가)는 조건부로 허락된다. 속임이 필요하고 부담이 작으며 사후설명이 있으면 된다. 다만 "진짜 목적을 알리지 않는 것"과 "거짓을 알리는 것"은 부담이 다르고, 뒤쪽에 더 엄한 조건이 붙는다.

(나)는 허락된다. 다만 액수가 너무 크면 사실상 압력이 된다. 형편이 어려운 사람이 부담을 무릅쓰고 들어오게 만들면 "압력 없이"라는 조건이 깨진다. 그래서 액수도 심사의 대상이다.

(다)가 답이다. 그만두면 손해를 보게 만들면 철회권이 이름만 남는다. 미리 알렸다는 것으로 정당화되지 않는다. 알리고 하는 것과 해도 되는 것은 다르다. 실제로는 참여한 시간에 비례해 지급하는 방식을 쓴다.

(라)는 허락된다. 오히려 6장에서 볼 자료 공개의 흐름이 이것을 권한다. 다만 공유 범위를 사전동의에 적어야 하고, 이름을 지웠다는 것만으로 알아볼 수 없게 되는 것은 아니므로 무엇을 지웠는지도 밝혀야 한다.

문제는 비율척도에만 허락되는 연산을 등간(기껏해야) 척도에 썼다는 것이다.

"두 배"라고 말하려면 0 이 "없음"을 뜻해야 한다. 이 척도에서 1 은 없음이 아니라 "전혀 아니다"라는 응답 범주이고, 애초에 0 이라는 값이 존재하지 않는다. 번호를 1–5 대신 0–4 로 붙였다면 같은 자료에서 "3.2 대 1.1"이 되어 "세 배 가까이"가 나온다. 번호를 어떻게 붙였는가에 따라 '배'가 달라진다면 그 '배'는 자료가 아니라 번호 매기기의 성질이다.

어떻게 써야 하는가. 차이로 쓴다. "A 집단이 B 집단보다 평균 2.1점 높았다"는 등간 가정 아래에서 뜻이 있다. 그리고 그 2.1점이 큰 차이인지는 척도의 흩어짐과 견주어야 알 수 있다. 그것이 이 장 뒤쪽의 효과크기다.

덧붙일 것. 엄밀히 따지면 이 척도가 등간이라는 보장도 없으므로 "2.1점 높았다"도 완전히 안전하지는 않다. 더 조심하려면 각 칸에 몇 명이 답했는지의 분포를 함께 보이는 편이 낫다.

(가) 등간이다. 시각에는 "시간이 없음"을 뜻하는 0 이 없다. 자정을 0 으로 삼는 것은 약속이다. 평균은 뜻이 있다 — "평균 도착 시각"은 말이 된다. 다만 "오후 4시가 오후 2시의 두 배"는 말이 안 된다. 그리고 밤을 걸치는 자료라면 평균 자체가 이상해지므로 조심해야 한다.

(나) 비율이다. 0 이 "하나도 못 맞혔다"를 뜻한다. 평균도 되고 "두 배"도 말이 된다. 다만 맞힌 문항 수가 능력에 비례한다는 뜻은 아니다. 문항 난이도가 고르지 않으면 20문항과 40문항 사이의 차이가 60문항과 80문항 사이의 차이와 같은 뜻이 아니다. 척도 수준과 그 점수가 재려는 것 사이의 관계는 다른 문제다.

(다) 명목이다. 1 과 2 는 이름표다. 평균은 뜻이 없다. "조건의 평균이 1.5"는 아무것도 말하지 않는다. 다만 조건이 둘뿐일 때 0 과 1 로 코딩하면 그 평균이 "처치 집단의 비율"이 되어 뜻을 갖는다. 이때 뜻이 생긴 것은 평균이 아니라 코딩 방식이 그 값에 새 해석을 준 것이다.

(라) 서열이다. 평균 등수는 계산은 되지만 해석이 어렵다. 1등과 2등의 실력 차이가 10등과 11등의 차이와 같다는 보장이 없기 때문이다. 여러 대회의 성적을 합치려면 등수보다 기록(비율척도)을 쓰는 편이 낫다.

두 지표가 서로 다른 것을 재기 때문이다.

재검사 신뢰도가 높다는 것은 사람들의 총점 순서가 두 시점에서 비슷하다는 뜻이다. 내적 일관성이 낮다는 것은 문항들이 서로 다른 방향을 가리킨다는 뜻이다.

둘이 동시에 성립하는 경우가 있다. 척도가 여러 갈래를 한꺼번에 재고 있을 때다. 예를 들어 "공부 습관" 척도가 계획 세우기, 집중 유지, 자료 정리라는 서로 다른 세 가지를 묻는 문항으로 되어 있다고 하자. 세 갈래는 서로 별로 상관이 없으므로 내적 일관성이 낮다. 그런데 각 사람의 세 갈래 점수가 시간이 지나도 안정적이라면 총점도 안정적이어서 재검사 신뢰도는 높다.

그러면 무엇을 해야 하는가. 총점을 쓰지 말고 갈래를 나눠야 한다. 세 갈래를 따로 채점하고 각각의 신뢰도를 따로 보고한다. 세 갈래를 더한 총점은 무엇을 뜻하는지 말할 수 없는 수다.

이 예제가 보이는 것이 앞의 첫째 오해의 뒷면이다. 알파가 낮다는 것은 "나쁜 척도"라는 뜻이 아니라 "하나로 합치면 안 된다"는 뜻일 수 있다.

모범답안. 이 결론을 "관계가 없다"로 읽으면 안 된다. 이 자료는 두 가지를 구별하지 못하기 때문이다 — 실제로 관계가 없는 것과, 관계가 있는데 측정의 흔들림에 묻힌 것. 잰 값은 "재려던 값에 흔들림이 얹힌 것"이고, 흔들림은 두 변수에서 서로 무관하게 생기므로 두 잰 값 사이의 관계에 아무것도 보태지 못한 채 각 값의 흩어짐만 키운다. 그러면 관측된 상관이 실제 관계보다 작아지며, 신뢰도가 낮을수록 이 축소가 크다. 그러므로 연구자는 다음을 보고했어야 한다. 두 측정의 신뢰도를 결과와 함께 적어 독자가 축소의 정도를 가늠할 수 있게 하고, 가능하다면 측정을 개선한 뒤 다시 재야 한다 — 문항을 늘리거나, 여러 번 재서 평균을 내거나, 평정자를 여럿 두는 방법이 있다. 신뢰도를 알면 흔들림이 없었을 때의 상관을 어림하는 보정 방법도 있으나, 그 보정은 가정에 크게 기대므로 결과로 내세우지 말고 참고로만 적어야 한다.

답에 반드시 들어가야 하는 것.

• "관계가 없다"와 "관계를 잡지 못했다"를 구별할 것
• 낮은 신뢰도가 관측 상관을 작게 만드는 방향이라는 것 — 방향이 반대로 적히면 틀린 답이다
• 보고했어야 할 것을 하나 이상 구체적으로 적을 것

다르게 답해도 되는 범위. 보정을 적극적으로 권하는 답도, 보정을 아예 쓰지 말자는 답도 좋다. 그 처리를 어디까지 믿을지에 대해서는 실무에서 견해가 갈린다. 다만 "신뢰도가 낮으면 상관이 커지거나 작아질 수 있다"고 답하면 오답이다. 흔들림이 두 변수에서 무관하게 생기는 한 방향은 하나다. 그리고 "신뢰도가 낮으니 이 연구는 아무 쓸모가 없다"로 끝내도 오답이다. 관측된 상관은 참 관계의 하한 노릇을 하므로 정보가 아주 없지는 않다.

여기서 일반적인 교훈이 나온다. "차이가 없었다"는 결과는 "차이가 있었다"는 결과보다 읽기 어렵다. 잡을 힘이 없어서 못 잡은 것일 수 있기 때문이다. 이 장 마지막 절이 그 문제를 다룬다.

빠진 것이 셋이다.

첫째, 변별 증거가 없다. 기존 척도와 높게 상관한다는 것은 수렴 증거일 뿐이다. 이 척도가 다른 것과는 상관이 낮다는 것도 보여야 한다. 그렇지 않으면 이 척도가 그냥 "전반적으로 자기를 좋게 보고하는 경향" 같은 것을 재고 있을 수 있다.

둘째, 기존 척도와 0.85 로 상관한다면 새 척도가 왜 필요한지가 설명되지 않았다. 거의 같은 것을 재는 척도가 하나 더 늘었을 뿐일 수 있다. 새 척도가 정당화되려면 기존 척도가 못 하는 무언가를 해야 한다 — 더 짧거나, 다른 집단에서 쓸 수 있거나, 예측을 더 잘하거나.

셋째, 알파 0.94 는 오히려 경고 신호일 수 있다. 문항들이 거의 같은 말을 되풀이하고 있을 가능성이 있다. 그러면 재는 범위가 좁아져 내용 타당도가 나빠진다.

그리고 첫 문장의 논리 자체를 짚어야 한다. "따라서 타당하다"는 결론은 나오지 않는다. 타당도는 검사의 성질이 아니라 해석의 성질이므로, "무엇에 대한 어떤 해석이 타당한가"를 밝혀야 한다. 이 척도로 개인의 진로를 정해도 되는가와 집단 평균을 견주어도 되는가는 요구되는 증거가 다르다.

모범답안. 쓸 수 있는 자리와 쓸 수 없는 자리가 갈린다. 예측이 목적이라면 쓸 수 있다. 준거 타당도 증거가 있으므로, 이 검사 점수로 그 일의 성과를 어림하는 것은 정당하다. 4장에서 본 대로 예측에는 인과도 이론도 필요 없다. 그러나 세 가지 자리에서는 쓸 수 없다. 첫째, 점수를 설명으로 쓸 수 없다. "이 사람이 잘하는 이유는 이 검사 점수가 높기 때문"은 아무것도 설명하지 않는다. 둘째, 개입의 근거로 쓸 수 없다. 점수를 올리는 훈련이 성과를 올린다는 보장이 없다. 셋째, 새로운 상황으로 옮길 수 없다. 왜 예측이 되는지 모르면, 다른 집단이나 다른 일에서도 예측이 될지 알 수 없다. 이론이 없다는 것은 예측이 언제 깨질지 모른다는 뜻이다. 그리고 실무에서 이것은 공정성 문제로 이어진다. 검사가 어떤 집단에서만 예측이 잘 된다면, 이론이 없는 상태에서는 그것을 미리 알아챌 수 없다.

답에 반드시 들어가야 하는 것.

• 예측과 설명·개입을 갈라 놓을 것
• 이론이 없으면 다른 상황으로 옮길 근거가 없다는 지적
• "쓸 수 있다/없다"로 단정하지 말고 쓰임에 따라 갈 것

다르게 답해도 되는 범위. 예측력만으로 충분하다는 쪽에 훨씬 무게를 싣는 답도 좋다. 실제로 예측을 목적으로 하는 자리에서는 그것이 표준적인 태도이고, 이론이 앞서지 않아도 되는 사례가 많다. 반대로 이론 없는 검사를 아예 쓰지 말자는 답도 좋다. 다만 "예측이 되니 그 검사가 그 능력을 재는 것이 증명되었다"고 답하면 오답이다. 그것이 구성 타당도와 준거 타당도를 섞은 것이다.

그림에서 읽으면 A 는 50, B 는 84, C 는 98 근처다. D 는 그림이 백분위를 적어 둔 범위를 넘지만 99를 넘는다.

표준점수로 보면 네 간격이 모두 1 로 같다. A→B, B→C, C→D 가 각각 1 이다.

백분위로 보면 전혀 같지 않다. A→B 는 34 만큼, B→C 는 14 만큼, C→D 는 2 남짓이다.

둘 다 맞는 답이다. 물음이 무엇을 묻느냐에 달렸다.

왜 이렇게 되는가. 백분위는 "몇 명이 그 아래에 있는가"를 세는 값이고, 사람은 가운데에 몰려 있기 때문이다. 가운데에서 조금만 움직여도 많은 사람을 지나치고, 바깥에서는 크게 움직여도 지나칠 사람이 얼마 없다.

실무에서 이것이 무는 자리가 있다. "백분위가 10 올랐다"는 어디에서 올랐느냐에 따라 뜻이 완전히 다르다. 40에서 50으로 오른 것과 88에서 98로 오른 것은 표준점수로 보면 후자가 훨씬 큰 변화다. 그래서 변화를 보고할 때는 백분위보다 표준점수 쪽이 낫다.

확인할 것이 넷이다.

첫째, 번역이 같은 것을 묻고 있는가. 낱말의 뜻과 어감이 정확히 대응하지 않는 경우가 흔하다. 표준적인 확인 방법은 되번역이다 — 번역한 것을 다른 사람이 원래 말로 다시 옮겨 원문과 견준다.

둘째, 반응 양식이 다르지 않은가. 어떤 집단은 양 끝을 잘 쓰고 어떤 집단은 가운데를 잘 쓴다는 것이 알려져 있다. 그러면 재려는 것이 같아도 평균이 달라진다. 확인 방법 하나는 각 사람 안에서 표준화한 뒤 견주는 것이다.

셋째, 사회적 바람직성의 방향이 같은가. 어떤 특성을 좋게 여기는 정도가 사회마다 다르면, 같은 상태에 있는 사람이 다르게 답한다.

넷째, 척도가 두 집단에서 같은 구조를 갖는가. 문항들이 두 집단에서 같은 방식으로 묶이는지를 확인하는 절차가 있다. 구조가 다르면 총점을 견주는 것 자체가 뜻이 없다. 이 확인 없이 국가 간 평균을 견주는 것이 이 영역의 가장 흔한 잘못이다.

그리고 4장의 물음도 그대로 남는다. 두 나라에서 누구를 뽑았는가. 한쪽은 대학생이고 다른 쪽은 일반 성인이라면 나라의 차이가 아니라 표본의 차이다.

구하려는 것은 표준편차 몇 개만큼 떨어져 있는가다. 단위는 없다.

아는 것 — 두 평균과 공통 표준편차. 쓰는 관계는 정의 그대로다.

$d={\displaystyle \frac{\text{두 평균의 차이}}{\text{표준편차}}}={\displaystyle \frac{52-48}{10}}=0.4$

말로 옮기면 이렇다. "처치 집단의 평균이 통제 집단의 평균보다 표준편차의 0.4배만큼 높았다."

답이 말이 되는가. 코헨의 관례로는 작음과 중간 사이다. 그리고 앞의 그림에서 0.5 칸을 보면 두 분포가 거의 겹쳐 있다. 그러므로 이 결과에서 "처치를 받으면 점수가 오른다"는 개인 수준의 예측은 나오지 않는다.

함께 볼 것이 있다. 이 값이 얼마나 정확한지는 표본 크기가 정한다. 두 집단이 각각 10명이었다면 이 0.4 는 아주 불확실한 추정값이고, 각각 500명이었다면 꽤 정확하다. 그래서 효과크기는 언제나 구간과 함께 보고해야 한다. 구간을 구하는 방법은 확률 문서 10장이 다룬다.

마지막으로 흔한 실수 하나. "4점 차이"와 "$d=0.4$"는 같은 정보가 아니다. 표준편차가 2점이었다면 같은 4점 차이가 $d=2$ 가 되어 아주 큰 효과다. 점수의 단위가 익숙하지 않을수록 $d$ 로 옮겨 보는 것이 낫다.

모범답안. 유의성만 보면 두 연구가 같은 이야기를 한 것처럼 보이지만 효과크기를 보면 정반대 이야기를 하고 있다. 어느 쪽을 더 믿어야 하는가 하면 대개 큰 표본 쪽이며, 이유가 둘이다. 첫째, 추정의 정확도가 다르다. 40명에서 나온 $d=0.9$ 는 구간이 아주 넓어 참값이 0.2 일 수도 1.5 일 수도 있고, 2000명에서 나온 0.08 은 구간이 좁다. 둘째, 그리고 이것이 결정적인데, 작은 표본에서 유의하게 나온 결과는 효과를 위쪽으로 부풀린다. 다음 절의 주제다. 그렇다고 연구 가가 쓸모없는 것은 아니다. 두 연구를 함께 놓고 보면 "효과가 있기는 하나 아주 작다"는 쪽으로 기울고, 두 연구의 절차와 참가자를 견주면 차이의 이유가 드러날 수도 있다. 그리고 큰 표본 쪽에서도 물어야 할 것이 남는다 — $d=0.08$ 은 유의하지만 실제로 값어치가 있는 크기인가. 그 판단은 통계가 아니라 개입의 비용과 쓰임이 정한다.

답에 반드시 들어가야 하는 것.

• 유의성이 같다고 두 결과가 같은 것이 아니라는 지적
• 추정의 정확도 차이 — 구간의 넓이를 언급할 것
• 작은 표본에서 유의한 결과가 위쪽으로 치우친다는 방향

다르게 답해도 되는 범위. 두 연구가 실제로 다른 것을 쟀을 가능성을 앞세우는 답도 좋다. 표본 크기만큼이나 절차와 참가자가 달랐을 수 있고, 그렇다면 두 값이 다른 것이 이상하지 않다. 반대로 $d=0.08$ 을 "사실상 0"으로 읽는 답도 맥락에 따라 정당하다. 다만 "둘 다 유의하므로 효과가 확인되었다"고 답하면 오답이고, "평균을 내서 $d=0.5$ 로 보면 된다"고 답해도 오답이다. 뒤의 것은 두 추정의 정확도가 크게 다르다는 사실을 지운다.

이 예제가 보이는 것이 심리학이 p 값에서 효과크기 쪽으로 무게를 옮긴 이유다. "유의했다"만 적으면 두 연구가 같아 보인다. 실제로 문헌이 그렇게 쌓였고, 6장이 그 결과를 다룬다.

문제는 "잡지 못했다"를 "없다"로 옮긴 것이다.

집단당 15명이면 검정력이 아주 낮다. 앞 그림에서 보면 $d=0.5$ 정도의 효과라도 이 표본에서는 잡을 확률이 절반에 크게 못 미친다. 그러므로 이 연구는 차이가 있었더라도 못 잡았을 연구다. 못 잡은 것이 차이가 없다는 증거가 되지 않는다.

무엇을 보고했어야 하는가. 셋이다.

첫째, 효과크기의 추정값과 구간. 구간이 −0.9 에서 0.9 처럼 넓다면 이 연구는 아무 말도 하지 않은 것이다. 구간이 −0.1 에서 0.1 처럼 좁다면 "차이가 있어도 아주 작다"고 말할 수 있다. 이 구별이 이 문제의 전부다.

둘째, 이 표본으로 잡을 수 있었던 효과크기. "우리 표본은 d = 0.9 이상의 효과만 0.8 의 확률로 잡을 수 있었다"고 적으면 독자가 판단할 수 있다.

셋째, 연구를 시작하기 전에 무엇을 잡으려 했는지. 표본 크기를 어떻게 정했는지 적혀 있지 않으면, 자료를 보다가 멈춘 것인지 미리 정한 것인지 알 수 없다. 6장에서 이것이 왜 중요한지 본다.

그리고 "효과가 같다"는 주장을 진지하게 하려면 그것을 겨냥한 설계가 따로 있다. "이만큼보다 작은 차이는 실제로 무시할 만하다"는 기준을 미리 정하고, 구간이 그 안에 들어가는지를 보는 방식이다.

모범답안. 이 주장에는 맞는 부분이 하나 있고 그 부분 때문에 결론이 뒤집힌다. 맞는 부분은 "작은 표본에서 유의하려면 관측된 효과가 커야 한다"는 것이다. 그것은 사실이고, 유의성 문턱이 표본이 작을수록 높은 자리에 있기 때문이다. 그런데 여기서 나오는 결론은 정반대다. 관측된 효과가 크게 나온 이유가 참 효과가 커서일 수도 있고 우연이 크게 도와서일 수도 있는데, 표본이 작을수록 뒤쪽의 몫이 커진다. 그러므로 작은 표본에서 나온 큰 효과크기는 참값의 좋은 추정이 아니라 위쪽으로 치우친 추정이다. 되풀이하면 대개 작아진다. 그리고 이 논리를 문헌 전체에 적용하면 더 나쁜 결과가 나온다. 유의한 것만 발표된다면 문헌에 남는 작은 연구들은 전부 우연이 도와준 쪽으로 골라진 것들이다.

답에 반드시 들어가야 하는 것.

• 전제가 참이라는 인정 — 작은 표본에서 유의하려면 관측 효과가 커야 한다
• 관측된 효과와 참 효과를 구별할 것
• 작을수록 위쪽으로 치우친다는 방향까지 밝힐 것

다르게 답해도 되는 범위. 작은 표본 연구가 여전히 쓸모 있다는 답도 좋다. 실제로 예비 연구로서, 그리고 나중에 여러 연구를 모아 종합할 재료로서 값어치가 있다. 다만 "그러므로 작은 연구의 추정값을 그대로 인용해도 된다"고 답하면 오답이다. 그렇게 인용된 값들이 6장에서 볼 문제의 재료가 되었다.

답은 (다)다.

(가)는 가장 직접적인 방법이다. 앞 그림의 가로축이 그것이다.

(나)도 검정력을 올린다. 앞 절에서 본 대로 낮은 신뢰도는 관측되는 효과를 작게 만든다. 흔들림을 줄이면 같은 참 효과가 더 크게 관측되므로 잡기 쉬워진다. 이 경로는 자주 잊힌다. 표본을 늘리는 것보다 측정을 개선하는 편이 싸게 먹히는 경우가 있다.

(라)도 올린다. 참 효과 자체를 키우는 것이기 때문이다. 다만 대가가 있다. 실제 상황에서 쓰지 않을 만큼 강한 처치를 주면 외적 타당도가 나빠진다. 4장의 맞바꿈이 여기서도 나온다.

(다)가 답이다. 기준을 엄하게 하면 위양성은 줄지만 검정력도 함께 내려간다. 문턱이 높아졌으므로 실제로 있는 효과도 더 자주 놓친다. 같은 검정력을 유지하려면 표본을 더 늘려야 한다.

(다)를 고르지 못하고 (나)를 골랐다면, 신뢰도와 검정력의 연결이 이 장에서 새로 나온 것이므로 앞 절을 다시 보라.

모범답안. 이 진단은 세 사건 가운데 하나만 설명하고 나머지 둘을 설명하지 못한다. 자료 조작 사건은 이 진단에 맞는다 — 개인의 부정이었고 적발되어 논문이 철회되었다. 그러나 앞의 둘은 다르다. 벰의 논문은 자료를 조작한 것이 아니라 그 분야의 표준 절차를 그대로 따랐고 심사도 통과했다. 시먼스와 동료들의 논문은 일부러 재량을 써서 시연한 것인데, 그들이 쓴 재량은 그때까지 부정으로 여겨지지 않던 것들이었다. 진단이 중요한 이유는 처방이 달라지기 때문이다. 부정이 원인이라면 처방은 적발과 처벌이고, 감사를 강화해 부정 연구자를 걸러 내면 된다. 그러나 원인이 그것이 아니었으므로 실제로 나온 처방은 전혀 다른 것들이었다 — 자료를 보기 전에 계획을 못 박기, 결과가 나오기 전에 심사받기, 여러 연구실이 함께 재기. 그러므로 정확한 진단은 이렇다. 부정도 있었지만 문제의 본체는 규칙을 다 지켜도 생기는 것이었다.

답에 반드시 들어가야 하는 것.

• 이 진단이 맞는 사건이 하나 있다는 인정 — 부정 사건을 부정이 아닌 것으로 만들면 안 된다
• 나머지 둘이 규칙 위반이 아니었다는 지적
• 진단이 달라지면 처방이 달라진다는 연결

다르게 답해도 되는 범위. 부정의 몫을 더 크게 보는 답도 좋다. 적발된 사례가 빙산의 일각이라는 견해에는 근거가 있고, 실제로 자료의 이상을 통계적으로 탐지하는 방법이 그 뒤로 발달했다. 반대로 부정을 거의 무시할 만하다고 보는 답도 좋다. 다만 "따라서 부정은 문제가 아니다"로 끝내면 오답이고, "따라서 연구자를 더 엄하게 감시해야 한다"로 끝내도 오답이다. 뒤의 것은 이 장 전체가 반박하는 처방이다.

이 구별을 놓치면 "나는 정직하니 내 연구는 괜찮다"는 결론으로 간다. 그것이 이 장이 가장 경계하는 결론이다.

보통의 연구에서는 결과가 참인지 우리가 모른다. 그것이 연구를 하는 이유다. 그러므로 "이 결과가 재량 때문에 나온 것인가"를 판정할 방법이 없다. 결과만 보고는 갈라낼 수 없다.

이 시연은 그 문제를 우회한다. 정답을 미리 아는 문제를 골라 온 것이다. 생년월일은 노래로 달라지지 않으므로, 이 절차가 유의한 결과를 냈다면 그 절차가 잘못된 것이지 다른 설명이 있을 수 없다.

그래서 이 시연이 하는 말은 "이 연구는 틀렸다"가 아니라 "이 절차는 참이 아닌 것도 유의하게 만든다"이다. 그리고 그 절차는 그때까지 문헌 전체에서 널리 쓰이던 것이었다.

이런 논증 형태에 이름이 있다. 이미 답이 정해진 사례를 절차에 넣어 절차를 검사하는 것이다. 어떤 방법이 믿을 만한지 알고 싶을 때 쓰는 표준적인 수단이며, 철학 문서 9장이 다루는 방법론의 물음과 같은 자리에 있다.

5장에서 본 검정력을 떠올려 보자. 검정력은 실제로 효과가 있을 때 그것을 잡아낼 확률이고, 심리학의 전형적인 표본 크기에서는 그 값이 결코 97%가 아니다. 잡으려는 효과가 작으면 0.5 에도 못 미치는 경우가 흔하다.

그러면 셈이 맞지 않는다. 검사한 가설 가운데 전부가 참이었다고 극단적으로 가정해도, 검정력이 0.5 라면 유의하게 나오는 것은 절반이어야 한다. 참이 아닌 가설도 섞여 있었다면 비율은 더 내려간다. 그런데 문헌에는 97%가 유의하다고 적혀 있다.

이 불일치를 설명하는 길은 둘뿐이다.

첫째, 유의하지 않은 결과가 문헌에 실리지 않았다. 출판 편향이다.

둘째, 유의하지 않은 결과를 유의하게 만드는 재량이 쓰였다. 연구자 자유도다.

대개 둘 다다. 그리고 두 설명 모두 개별 연구를 들여다봐서는 확인할 수 없고 문헌 전체의 모양을 봐야 드러난다. 그것이 이 재현 프로젝트가 한 일이다.

여기서 배울 것 하나. "가설이 거의 언제나 지지되는 문헌"은 그 자체로 경고 신호다. 연구가 잘 되고 있다는 뜻이 아니라 무언가가 걸러지고 있다는 뜻이다.

(나)가 정확하다.

(가)는 세 자리에서 틀렸다.

첫째, "심리학 연구의"가 아니라 "이 표본으로 뽑힌 100편의"다. 학술지 세 곳, 한 해, 되풀이 가능한 연구라는 조건이 붙어 있다. 4장의 표본 이야기가 여기에도 그대로 걸린다. 재현 연구도 하나의 연구이고 그 표본이 결론의 범위를 정한다.

둘째, "재현에 실패했다"와 "거짓이다"는 다르다. 재현 연구가 유의하지 않았다는 것은 효과가 없다는 증거가 아니다. 5장의 "유의하지 않다는 것은 없다는 뜻이 아니다"가 여기서도 성립한다. 재현 연구 쪽에 적용될 때도 마찬가지다.

셋째, 가장 중요한 정보인 효과크기가 절반으로 줄었다는 사실이 빠졌다. 이것이 "맞았다/틀렸다"보다 훨씬 많은 것을 말한다. 효과가 아예 0 이 된 것이 아니라 작아졌다면, 원래 있던 효과가 부풀려져 있었다는 뜻이다.

(가)처럼 읽으면 다음 걸음이 "심리학을 믿지 말자"가 되고, (나)처럼 읽으면 다음 걸음이 "효과크기와 구간을 확인하자"가 된다. 후자가 이 문서가 가려는 곳이다.

모범답안. 첫 화살표, 즉 "유의한 결과만 싣는다"를 끊는 것이 가장 효과가 크다. 이유는 그것이 고리의 상류에 있기 때문이다. 학술지가 결과와 무관하게 싣는다면, 연구자에게 유의한 결과가 필요할 이유가 줄고, 그러면 재량을 쓸 유인도 줄고, 유의하지 않은 결과가 문헌에 남으므로 서랍 문제도 줄고, 위양성이 쌓이는 속도도 느려진다. 한 화살표를 끊는 것으로 아래 네 칸이 동시에 약해진다. 실제로 이 진단에 맞춰 나온 제도가 등록보고서이며, 결과가 나오기 전에 설계만 보고 게재를 확정하는 방식이다. 다만 이것으로 고리가 완전히 끊기지는 않는다. 채용과 승진의 셈법이 여전히 논문 수를 세고, 재현 연구의 보상도 그대로이기 때문이다.

답에 반드시 들어가야 하는 것.

• 고른 화살표가 왜 그 자리인지 — 상류인지, 비용이 낮은지, 다른 칸에 미치는 범위가 넓은지
• 그것을 끊었을 때 다른 칸들이 어떻게 되는지 추적할 것
• 그것만으로 끊기지 않는 부분을 밝힐 것

다르게 답해도 되는 범위. "채용·승진의 셈법"을 고르는 답도 아주 좋다. 그것이 가장 근본적인 자리이고, 실제로 그 지적을 하는 사람들이 있다. 대신 바꾸기가 가장 어렵다는 대가를 함께 적어야 한다. "표본 크기"나 "재현 연구의 보상"을 고르는 답도 좋다. 다만 "연구자의 태도"를 고르면 오답이다. 그것은 화살표가 아니라 이 그림이 명시적으로 배제한 설명이다.

설명이 셋이다.

첫째, 출판 편향이다. 작은 연구는 효과가 크게 나와야 유의해지고, 유의한 것만 실린다면 문헌에 남은 작은 연구들은 전부 크게 나온 것들이다. 이것이 앞 그림의 모양이다.

둘째, 연구자 자유도다. 작은 연구에서는 재량의 효과가 더 크다. 몇 명을 빼는 것만으로도 결과가 크게 움직이기 때문이다.

셋째, 그리고 이것을 빠뜨리면 안 되는데, 작은 연구가 실제로 다른 연구일 수 있다. 작은 연구는 대개 통제가 더 잘 되고, 참가자가 더 균질하고, 처치를 더 강하게 준다. 그러면 참 효과 자체가 클 수 있다. 큰 연구는 여러 곳에서 모으느라 조건이 느슨해져 효과가 작아진다.

어떻게 가리는가. 셋이다.

사전등록된 연구만 따로 모아 본다. 그 집합에서도 같은 패턴이 나오면 셋째 설명 쪽이고, 사라지면 앞의 둘 쪽이다.

연구의 절차를 코딩해서 견준다. 처치 강도와 참가자 균질성을 실제로 재서 넣어 보면 셋째 설명을 검사할 수 있다.

다중연구실 재현을 한다. 같은 절차를 여러 곳에서 미리 정해 놓고 돌리면 출판 편향도 자유도도 개입할 수 없다. 다음다음 절의 주제다.

여기서 요점 하나. 비대칭은 신호이지 판정이 아니다. 출판 편향의 증거로 이 모양을 대는 것은 정당하지만, 이 모양만으로 결론을 내리면 셋째 설명을 놓친다.

모범답안. 결론지을 수 없고, 그 점이 이 연구의 핵심이다. 조작 말고도 이 결과를 낼 수 있는 경로가 여럿 있기 때문이다. 실험자가 참가자를 대하는 방식이 조건에 따라 달라졌을 수 있다 — 말의 속도, 안내하는 태도, 문을 열어 주는 시점 같은 것들이며, 어느 것도 의도적이지 않고 실험자 자신도 알아채기 어렵다. 그리고 걷는 시간을 사람이 쟀다면 재는 시점의 판단이 조건에 따라 조금씩 달라질 수도 있다. 실제로 두엔과 동료들의 첫째 실험이 자동 측정을 쓴 이유가 이것이다. 그러므로 이 결과가 말하는 것은 이 절차에서 나온 효과가 '처치의 효과'와 '실험자 기대의 효과'를 갈라내지 못한다는 것이다. 4장의 말로 옮기면 실험자의 기대가 혼입변수였다. 막는 방법도 4장에 이미 있었다 — 이중은폐와 자동 측정이다. 참가자가 어느 조건인지 실험자가 모르게 하고, 사람이 판단할 여지가 있는 측정을 기계로 바꾼다.

답에 반드시 들어가야 하는 것.

• 조작이라고 결론지을 수 없다는 판단, 그리고 그 대안 경로를 하나 이상 구체적으로 댈 것
• 이 문제를 4장의 혼입변수 또는 은폐와 연결할 것
• 기대가 의도적이지 않다는 점 — 의도를 전제하면 처방이 틀어진다

다르게 답해도 되는 범위. 참가자 쪽에서 무엇을 알아챘을 가능성(요구특성)을 앞세우는 답도 좋다. 실험자의 태도 변화와 참가자의 눈치챔은 같은 고리의 두 끝이며, 이 자료만으로 어느 쪽인지 가릴 수 없다. 반대로 이 재현의 한계를 지적하는 답도 정당하다 — 표본과 절차가 원 연구와 완전히 같지는 않았다. 다만 "그러므로 점화 효과는 존재하지 않는다"고 답하면 오답이다. 이 연구가 보인 것은 그 절차로는 가릴 수 없다는 것이지 효과가 없다는 것이 아니다.

마지막으로 이 예제가 겨누는 태도 하나. "나는 편향되지 않았다"는 것으로는 이 문제를 막을 수 없다. 편향이 의식적이지 않기 때문이다. 그래서 대응이 결심이 아니라 절차인 것이다.

답은 (라)다.

(라)가 자유도가 아닌 이유는 선택이 자료를 보기 전에 이루어졌기 때문이다. 여기서 갈림은 "참가자를 빼느냐 마느냐"가 아니라 "결과를 보고 정하느냐"다. 제외 자체는 정당한 처리이고 근거도 있다.

(가)는 선택적 중단이다. 자료가 쌓이는 동안 p 값은 오르내리는데, 유의해진 순간에 멈추면 유의한 결과만 건지게 된다. 시먼스와 동료들의 모의실험에서 이 재량 하나만으로도 위양성 확률이 5%를 넘게 올랐다.

(나)는 결과를 보고 정한 제외 기준이다. 기준 자체는 흔히 쓰이는 것이지만, 기준을 결과에 맞춰 골랐다면 그 결과는 우연 하나에 대해서만 5%를 지킨 것이 아니다.

(다)는 선택적 보고다. 부록에 실었으니 감춘 것이 아니라고 할 수 있지만, "주 결과"로 무엇을 세웠는지가 독자의 판단을 정한다. 그리고 두 종속변수를 다 쟀다는 것은 검정을 두 번 했다는 뜻이므로, 5%를 지키려면 그것을 셈에 넣어야 한다.

셋에 공통된 것이 있다. 어느 것도 자료를 조작하지 않았다. 실제로 한 일은 "정당해 보이는 선택을 결과를 보고 골랐다"뿐이다.

확인할 것은 이 예측이 자료를 보기 전에 세워졌는지다.

왜 의심하는가. 예측이 두 번 좁혀져 있기 때문이다 — 조건 하나로 좁혔고, 참가자의 하위집단으로 또 좁혔다. 결과를 보고 나서 이렇게 좁힐 수 있는 방법은 아주 많다. 남성만, 나이 어린 참가자만, 첫 시행만, 특정 문항만. 그 가운데 유의하게 나온 조합 하나를 골라 서론에 적으면 정확히 이 문장이 된다.

어떻게 확인하는가. 셋이다.

첫째, 사전등록이 있는지를 본다. 있으면 등록 문서에 이 예측이 적혀 있는지 확인한다. 이것이 가장 확실한 방법이고, 사전등록이 존재하는 이유가 정확히 이것이다.

둘째, 없다면 서론이 근거로 든 선행 연구가 실제로 그런 예측을 시키는지 본다. 그 선행 연구들이 하위집단 차이를 다룬 적이 없다면 예측의 근거가 없는 것이다.

셋째, 같은 논문 안에서 다른 하위집단 결과가 보고되었는지 본다. 하나만 보고되어 있으면 나머지가 어떻게 되었는지 알 수 없다.

그리고 사전등록이 없다고 이 논문이 틀렸다는 뜻은 아니다. 확인이 필요한 탐색적 결과로 읽으면 된다. 이 예제가 요구하는 것은 논문을 버리는 것이 아니라 그 결과에 붙일 무게를 정하는 일이다.

모범답안. 옳지 않다. 이 연구가 보인 것은 분석에 선택이 들어간다는 것이지 분석이 자의적이다는 것이 아니다. 두 주장은 다르다. 29개 팀의 추정값은 아무렇게나 퍼진 것이 아니라 중앙값 1.31 근처에 몰려 있었고, 대다수가 같은 방향을 가리켰다. 자료가 분석 방법과 무관하게 아무 답이나 낸다면 그런 모양이 나오지 않는다. 그러므로 이 결과에서 나오는 결론은 "분석 하나의 결과를 그대로 인용하면 안 된다"이지 "분석이 무의미하다"가 아니다. 실제로 이 연구에서 나온 처방도 그런 것이었다 — 분석 계획을 미리 공개하기, 여러 분석의 결과를 함께 보고하기, 결론이 분석 선택에 얼마나 민감한지를 따로 보고하기.

답에 반드시 들어가야 하는 것.

• "선택이 들어간다"와 "자의적이다"를 구별할 것
• 추정값들이 한 방향으로 몰려 있었다는 점을 언급할 것
• 나오는 처방이 "분석을 그만두자"가 아니라는 지적

다르게 답해도 되는 범위. 이 결과를 훨씬 무겁게 받아들이는 답도 좋다. 실제로 "논문 하나의 결과는 증거로서 매우 약하다"는 결론을 이 연구에서 끌어내는 사람들이 있고, 그 결론에는 힘이 있다. 반대로 "중앙값이 1보다 크니 효과가 있는 것으로 결론 내면 된다"고 답하면 오답이다. 그것은 29개 결과를 다시 하나로 눌러 담는 것이고, 이 연구가 보이려던 바로 그 문제로 되돌아간다.

이 설명은 진지하게 검토해야 할 대안이다. 등록보고서를 쓰는 연구자는 결과와 무관하게 실린다는 것을 알고 있으므로, 결과가 나올지 확신하지 못하는 물음도 다룰 수 있다. 그러면 지지되는 비율이 낮아지는 것이 자연스럽다.

그런데 이 설명이 맞더라도 원래의 진단이 무너지지는 않는다. 오히려 같은 이야기의 다른 면이다. 표준 경로에서는 "결과가 나올지 확신하지 못하는 물음"을 다루기 어렵다는 뜻이기 때문이다. 그것 자체가 고리의 첫 화살표가 하는 일이다.

어떻게 가리는가. 셋이다.

첫째, 같은 물음을 다룬 논문끼리 짝지어 견준다. 등록보고서로 나온 재현 연구와 그 원 연구를 짝지으면 물음이 같으므로 이 대안 설명이 약해진다.

둘째, 물음의 성격을 코딩해서 넣어 본다. 새 효과를 찾는 연구인지 알려진 효과를 확인하는 연구인지를 나눠 견준다.

셋째, 같은 연구자가 두 경로로 낸 논문을 견준다. 연구자가 같으면 "무모한 연구자" 설명이 통하지 않는다.

여기서 배울 것. 두 집단을 견주는 자료를 볼 때는 언제나 "그 집단이 어떻게 만들어졌는가"를 물어야 한다. 4장의 선택 문제가 문헌 수준에서 다시 나온 것이다.

거의 정확하지만 한 자리를 더 다듬어야 한다.

정확한 부분. "유의하지 않았다"로 끝내지 않고 구간을 봤다는 점이 옳다. 5장에서 세운 대로, 잡을 힘이 없어서 못 잡은 것과 실제로 없는 것을 가르는 것은 구간이다. 여기서는 구간이 좁고 0 을 감싸므로 "못 잡았다"가 아니라 "있어도 아주 작다"고 말할 수 있다.

다듬어야 할 부분. "존재하지 않는다"가 아니라 "이 절차로 잰 이 효과는 0 에 매우 가깝다"가 정확하다. 구간의 위쪽 끝이 0.15 이므로 아주 작은 효과까지 배제되지는 않았다. 그리고 이 재현은 특정한 과제와 절차를 썼고, 원 이론을 지지하는 쪽에서는 그 절차가 자제력을 충분히 소모시키지 않았다고 주장했다. 그 반론은 검사 가능한 반론이며, 다른 절차로 다시 재는 것이 답이다.

그러면 이 문서는 이것을 어떻게 다루는가. "자아 고갈은 대규모 사전등록 재현에서 효과가 거의 0 이었다"를 서술의 주어로 삼는다. "자아 고갈이 있다. 다만 논란이 있다"로 적으면 독자는 앞부분을 기억한다. 순서가 판단을 바꾼다.

여기서 이 문서의 규칙 하나를 명시해 둔다. 재현에 실패한 결과는 그 실패가 서술의 주어가 된다. 7장부터 이 규칙을 계속 쓴다.

1. 재현되었는가. 이 논문만으로는 알 수 없다. 원 연구 하나이고 독립적인 재현이 있다는 말이 없다. 사전등록 여부도 적혀 있지 않다. $p=0.03$ 은 문턱 바로 아래이며, 5장과 이 장에서 본 대로 그런 값이 되풀이될 확률은 높지 않다. 판정 — 잠정적이다.

2. 표본이 무엇인가. 대학생 48명이다. 어느 나라인지, 어떻게 모집했는지 적혀 있지 않다. 판정 — 결론의 범위는 이 대학생들까지다.

3. 효과가 얼마나 큰가. 이 보고에는 그 정보가 없다. 유의성만 적혀 있고 효과크기도 구간도 없다. 그리고 집단당 24명이면 5장의 그림에서 보듯 검정력이 낮으므로, 유의하게 나온 이 결과의 효과크기 추정값은 위쪽으로 부풀려져 있을 가능성이 크다. 판정 — 크기를 알 수 없고, 알아도 부풀려져 있을 것이다.

4. 얼마나 일반화되는가. 잰 것은 화면 앞에서의 반응 시간이고, 결론은 "정보 처리 속도"에 대해 말한다. 둘 사이에 다리가 놓이지 않았다. 4장의 조작적 정의 이야기가 여기에 걸린다. 이 과제의 점수가 다른 처리 속도 지표와 어떤 관계인지, 실제 상황의 어떤 행동에 대응하는지가 적혀 있지 않다. 판정 — 결론이 잰 것보다 넓다.

종합하면 이렇게 적어야 한다. "한 연구에서, 대학생 48명을 대상으로, 특정 재인 과제의 반응 시간이 짧아졌다. 크기는 보고되지 않았고 재현은 확인되지 않았다."

그리고 이 판정이 "이 논문은 나쁘다"는 뜻이 아니라는 점을 기억해야 한다. 이런 연구는 필요하고, 다음 걸음의 출발점이 된다. 판정이 정하는 것은 이 결과에 붙일 무게다.

있다. 네 물음 가운데 둘이 아직 답해지지 않았다.

2. 표본이 무엇인가. 여러 연구실이 되풀이했다고 해도 그 연구실들이 전부 비슷한 곳이면 표본은 여전히 좁다. 같은 나라, 같은 종류의 대학, 같은 방식으로 모집한 참가자라면 되풀이의 수가 늘어도 범위가 넓어지지 않는다. 재현의 수와 표본의 넓이는 다른 것이다.

4. 얼마나 일반화되는가. 같은 실험실 과제를 여러 곳에서 되풀이한 것이라면 그 과제 밖으로 나간 적이 없다. 되풀이는 그 과제에서의 효과를 단단하게 만들지, 그 효과가 실제 행동에 대응한다는 것을 보이지 않는다.

이 예제가 보이는 것이 네 물음을 따로 물어야 하는 이유다. 1번에 잘 답한 것이 2번과 4번에 대해 아무것도 말하지 않는다. "재현되었으니 믿을 만하다"로 끝내면 남은 두 물음을 건너뛴 것이다.

덧붙일 것 하나. 이 상황에서 남은 물음에 답하는 방법도 정해져 있다. 다른 종류의 표본을 넣어 되풀이하고(2번), 그 과제 점수와 실제 행동 지표의 관계를 재는 연구를 따로 한다(4번). 물음마다 그 물음을 겨냥한 설계가 있다. 4장의 지도로 돌아가면 어느 설계인지 찾을 수 있다.

답은 다다. 다가 맞는 이유. 미로를 지난 경험 때문에 생긴 변화이고, 그 경험이 끝난 뒤에도 남는다. 정의의 세 조각을 다 만족한다.

가가 아닌 이유. 시간이 지나 몸이 자란 결과다. 경험 때문이 아니다. 다만 여기에 함정이 있다 — "시간이 지나면서 생겼다"는 것만으로는 성숙이라고 단정할 수 없다. 그 사이에 경험도 함께 쌓이기 때문이다. 가르려면 경험의 양을 다르게 해 놓고 견주어야 한다. 4장의 설계 이야기가 여기에 걸린다.

나가 아닌 이유. 피로다. 쉬면 되돌아간다. "비교적 지속적인"을 만족하지 않는다. 라가 아닌 이유. 몸 상태 때문에 생긴 일시적 변화다. 자고 나면 되돌아간다. 나와 같은 종류의 탈락이다.

이 예제가 보이는 것은 정의가 거르는 장치라는 점이다. 학습이라는 말은 넓게 쓰이지만, 연구에서 이 말을 쓰려면 성숙·피로·상태 변화를 먼저 배제해야 한다. 그리고 배제하는 일은 정의를 읽는 것이 아니라 설계로 하는 것이다.

모범답안. 한쪽 언어의 소리를 되풀이해 들려주면서 아기가 그 소리 쪽을 보거나 젖꼭지를 빠는 정도를 잰다. 되풀이될수록 그 반응이 줄어들 것이다 — 습관화가 일어난 것이다. 반응이 충분히 줄어든 뒤에 다른 쪽 언어의 소리로 바꾼다. 이때 반응이 되살아나면 아기가 두 소리를 다르게 여긴 것이고, 되살아나지 않으면 같은 것으로 다룬 것이다.

답에 반드시 들어가야 하는 것.

• 반응이 줄어드는 것을 먼저 확인한 뒤에 바꾼다는 순서
• 되살아남을 "구별했다"의 지표로 삼는다는 연결
• 통제 조건 — 소리를 바꾸지 않고 계속 들려주는 조건이 함께 있어야 한다. 그것이 없으면 되살아난 반응이 시간이 지나 저절로 회복된 것인지 바꿔서 생긴 것인지 갈라낼 수 없다

다르게 답해도 되는 범위. 지표로 무엇을 쓸지는 여러 선택이 가능하다 — 보는 시간, 빠는 속도, 심장 박동. 어느 것을 골라도 좋고, 여러 지표를 함께 재는 답은 더 낫다. 자극을 바꾸는 시점을 아기마다 다르게 정하자는 답도 좋다.

다만 통제 조건을 두지 않은 답은 오답이다. 그리고 "아기가 두 언어를 안다"로 결론을 넓히는 답도 오답이다. 이 절차가 보이는 것은 두 소리를 다르게 다룬다는 것까지다. 네 물음의 넷째다.

약점은 '자꾸 붙여 주면 그만큼'에 있다. 레스콜라의 설계가 보인 것이 바로 이 부분이 틀렸다는 것이다. 짝지어진 횟수를 고정해 놓고도 조건형성의 크기가 크게 달라졌다. 정하는 것은 횟수가 아니라 그 자극이 무엇을 얼마나 알려 주는가다.

이 주장에 그대로 대는 반례가 둘 있다. 좋은 장면이 그 상품 없이도 자주 나온다면 상품은 아무것도 예측하지 않게 되고(레스콜라의 오른쪽 끝), 이미 다른 것이 그 장면을 예측하고 있다면 상품은 더 배워지지 않는다(차단).

그러면 이 주장을 어떻게 고쳐야 하는가. "붙인 횟수"가 아니라 "그 상품이 있을 때와 없을 때가 얼마나 다른가"로 바꾸어야 한다. 여기에 하나를 더 붙여야 이 문서의 기준에 맞는다. 실험실의 조건형성 결과를 광고 효과로 곧장 옮기는 것 자체가 다리를 건너뛴 것이다. 네 물음의 넷째다. 사람이 상품과 장면의 관계를 어떻게 다루는지는 개가 종소리와 먹이를 다루는 것과 같지 않을 수 있고, 그것을 확인하려면 그 상황에서 재는 별도의 연구가 필요하다.

모범답안. 이 서술은 자료가 지지하는 것보다 강하다. 잰 것은 "지금 이 상황에서 반응이 나오지 않는다"이고, 적은 것은 "저장된 것이 없어졌다"이다. 소거 뒤에도 원래 학습이 남아 있다는 것은 여러 절차로 확인되어 있으므로, 반응이 사라진 것만으로 지워졌다고 적을 수 없다.

검사 방법. 셋 가운데 어느 것이든 좋다.

• 시간을 두고 다시 잰다. 자발적 회복이 나오면 남아 있는 것이다.
• 장소를 바꾸어 잰다. 소거를 한 방이 아닌 다른 방에서 불빛을 주었을 때 반응이 돌아오면, 소거는 그 맥락에 딸린 학습이었다는 뜻이다.
• 소음을 한 번 다시 준 뒤 불빛을 잰다. 반응이 돌아오면 원래 연결이 남아 있는 것이다.

답에 반드시 들어가야 하는 것.

• 잰 것(반응 없음)과 결론(저장된 것 없음)이 다르다는 지적
• 남아 있는지를 드러나게 만드는 조작을 제안할 것. 그냥 한 번 더 재는 것은 답이 아니다

다르게 답해도 되는 범위. 세 방법 가운데 어느 것을 골라도 좋고, 다른 방법을 제안해도 좋다. 소거가 새 학습이라는 설명 대신 "인출이 안 될 뿐"이라는 설명을 택하는 답도 괜찮다. 이 둘을 가르는 것은 아직 진행 중인 물음이다.

다만 "돌아왔으니 소거는 소용이 없다"로 가는 답은 오답이다. 소거는 반응을 실제로 줄이고, 그것이 여러 절차의 바탕이다. 요점은 소용이 없다는 것이 아니라 돌아오는 것을 전제로 짜야 한다는 것이다.

무조건자극 — 입에 들어온 신맛 음료. 배운 적 없이 침을 나오게 한다. 무조건반응 — 그 음료가 입에 들어왔을 때 나오는 침.

조건자극 — 캔을 딸 때 나는 소리. 원래는 침과 아무 상관이 없었다. 조건반응 — 그 소리만 듣고 나오는 침.

여기서 확인해 둘 것이 셋 있다. 첫째, 조건반응과 무조건반응이 같은 "침"이라 헷갈리기 쉽다. 이름은 반응의 종류가 아니라 무엇이 그 반응을 불러냈는가로 붙는다. 음료가 불러냈으면 무조건반응, 소리가 불러냈으면 조건반응이다.

둘째, 이 소리가 조건자극이 된 것은 그 사람에게만 해당한다. 같은 소리를 처음 듣는 사람에게는 아무 일도 일어나지 않는다. 조건자극은 자극의 성질이 아니라 그 개체가 겪은 관계다.

셋째, 이 상황을 자기 경험으로 확인해 보고 싶을 수 있는데, 한 사람의 경험은 예제의 재료이지 증거가 아니다. 6장의 규칙 그대로다. 이 관계를 확인하려면 소리와 음료의 관계를 조작해 놓고 침을 재는 설계가 필요하다.

먼저 세로축부터 정한다. 행동이 늘었는지 줄었는지를 보는 것이 순서다. 가 — 부적 강화. 방을 치우는 행동이 늘었으므로 강화다. 그리고 잔소리라는 있던 것이 없어졌으므로 부적이다.

나 — 부적 처벌. 늦게 내는 행동이 줄었으므로 처벌이다. 점수라는 있던 것이 깎였으므로 부적이다. 다 — 정적 처벌. 발언이 줄었으므로 처벌이고, 비웃음이라는 것이 더해졌으므로 정적이다.

라 — 부적 강화. 약을 먹는 행동이 늘었으므로 강화이고, 통증이 없어졌으므로 부적이다. 여기서 세 가지를 확인해 두자.

첫째, 가와 라가 같은 칸이다. 하나는 잔소리가 그친 것이고 하나는 통증이 사라진 것인데 같은 칸에 들어간다. 이것이 "정적·부적"이 좋다·나쁘다가 아니라는 뜻이다. 둘째, 나와 다가 같은 "줄었다" 줄에 있지만 칸이 다르다. 하나는 있던 것을 뺐고 하나는 없던 것을 더했다.

셋째, 가장 흔한 잘못은 가와 라를 처벌로 읽는 것이다. "잔소리"와 "통증"이라는 말이 나쁜 것을 가리키기 때문인데, 그 말들은 없어진 것이지 결과로 온 것이 아니다. 결과로 온 것은 "없어짐"이고, 그 뒤에 행동이 늘었다.

모범답안. 이 제안은 앞 절이 지적한 네 가지 가운데 어느 것도 다루지 않고 세기만 키운다. 먼저 물어야 할 것은 "약했는가"가 아니라 "이것이 처벌로 작동하기는 했는가"다. 처벌인지 아닌지는 결과로 정하는데, 행동이 줄지 않았으므로 이것은 정의상 처벌이 아니었다. 그렇다면 세기를 키우는 것은 작동하지 않은 것을 더 하는 일이다.

확인해야 할 것이 넷이다.

• 즉시성 — 청소가 지각 직후에 이어졌는가, 아니면 며칠 뒤였는가.
• 일관성 — 지각할 때마다 붙었는가, 가끔 빠졌는가. 가끔 빠지면 오히려 그 행동이 소거에 강해진다.
• 지각의 원인 — 지각이 무엇 때문에 유지되는지가 이 규칙과 아무 관계가 없을 수 있다. 통학 시간이나 등교 전 일정 같은 것이라면 결과를 바꿔서 될 일이 아니다.
• 대신할 행동 — 제때 오는 행동에 붙는 것이 아무것도 없다면, 줄어들 자리에 들어올 것이 정해지지 않는다.

답에 반드시 들어가야 하는 것.

• "줄지 않았으므로 처벌이 아니었다"는 정의상의 지적
• 세기 말고 다른 축(즉시성·일관성·원인·대안 행동) 가운데 최소 둘

다르게 답해도 되는 범위. 이 규칙을 아예 버리고 제때 오는 쪽을 강화하는 설계로 바꾸자는 답이 좋고, 규칙을 유지하되 즉시성과 일관성을 고쳐 다시 재 보자는 답도 좋다. 학생마다 지각의 사정이 다르니 개인별로 봐야 한다는 답도 좋다.

다만 "처벌은 언제나 효과가 없다"로 일반화하는 답은 오답이다. 조건이 갖춰지면 처벌은 행동을 줄인다. 요점은 효과가 없다는 것이 아니라 그 조건이 실제 상황에서 잘 갖춰지지 않는다는 것이다.

가 — 고정비율. 세는 것이 횟수이고 그 수가 정해져 있다. 나 — 고정간격. 세는 것이 시간이고 그 길이가 정해져 있다.

다 — 변동간격. 세는 것이 시간이고 그 길이가 일정하지 않다. 라 — 변동비율. 세는 것이 횟수이고 그 수가 일정하지 않다.

가르는 순서. 먼저 "무엇이 강화를 불러오는가"를 묻는다. 내가 한 횟수가 불러오면 비율, 흘러간 시간이 불러오면 간격이다. 그다음에 그것이 정해져 있는지를 묻는다. 소거에 가장 오래 버티는 것은 라(변동비율)다. 이유는 앞 절에 있다. 원래 몇 번 만에 오는지가 정해져 있지 않으므로, 지금 여러 번 안 오는 것이 평소와 구별되지 않는다. 반대로 가(고정비율)는 열 개를 채웠는데 오지 않으면 곧바로 달라졌다는 것이 드러난다.

덧붙일 것 하나. 이 네 가지는 기본형이고 실제 상황은 대개 여러 계획이 섞여 있다. 위의 보기들도 깔끔하게 하나로 떨어지지 않는 경우가 많다 — 나의 경우 급여 자체는 고정간격이지만 그 사이의 여러 행동에 다른 결과들이 붙어 있다. 실제 상황을 한 계획으로 이름 붙일 수 있다고 여기는 것이 이 부분에서 가장 흔한 과장이다.

확인할 수 있는 것. 보상이 예측할 수 없는 시점에 온다면 그것은 변동 계획이다. 그리고 동물 연구에서 변동 계획이 고른 반응과 소거 저항을 만든다는 것은 잘 재현된 결과다. 이 두 가지는 다투어지지 않는다.

확인할 수 없는 것이 셋이다. 첫째, 비율인지 간격인지가 이 서술로는 정해지지 않는다. "예측할 수 없는 시점"은 변동간격을 가리키는 말이고, 변동비율은 "예측할 수 없는 횟수"다. 둘은 다른 반응 모양을 만든다. 무엇이 보상을 불러오는지 — 사용자가 한 행동의 수인지 흐른 시간인지 — 를 알기 전에는 이름을 붙일 수 없다.

둘째, "붙잡아 둔다"는 사용 시간이나 이탈률 같은 결과에 대한 주장인데 그것을 잰 자료가 이 서술에 없다. 계획의 이름을 붙이는 것과 그 계획이 실제로 그 효과를 냈다고 말하는 것은 다른 주장이다.

셋째, 실험실의 변동비율 결과를 이 상황으로 옮기는 다리가 놓이지 않았다. 네 물음의 넷째다. 사람이 앱을 쓰는 상황에는 보상 말고도 수많은 것이 걸려 있고, 그것들을 통제한 비교가 없다.

그러면 무엇이라 적어야 정확한가. "이 보상 방식은 변동 계획의 성질을 갖는다. 변동 계획이 동물 연구에서 어떤 반응 모양을 만드는지는 잘 알려져 있다. 이 앱에서 실제로 그런 일이 일어나는지는 그 앱에서 따로 재야 안다."

한 칸으로는 아무것도 결론지을 수 없다. 맛과 불편함을 짝지어 학습이 일어났다는 것만으로는 "맛이 특별하다"도 "불편함이 특별하다"도 말할 수 없다. 그냥 이 절차에서 학습이 일어났다는 것뿐이다.

두 칸이면 어떨까. 맛과 불편함 대 빛소리와 불편함을 견주면 "맛이 더 잘 붙는다"는 말은 할 수 있다. 그러나 여기에 다른 설명이 남는다 — 이 절차에서는 맛이 그냥 더 눈에 띄는 자극이었을 수도 있다. 그렇다면 어떤 결과와 짝지어도 맛 쪽이 이길 것이다.

네 칸이 그 설명을 잘라 낸다. 결과를 발에 오는 자극으로 바꾸면 순서가 뒤집히기 때문이다. 이번에는 빛소리가 이긴다. 맛이 언제나 우세한 자극이라면 이런 일이 일어날 수 없다.

그러므로 이 설계가 보이는 것은 "맛이 세다"가 아니라 "자극과 결과의 조합에 따라 붙는 정도가 다르다"이다. 그리고 그 결론은 대각선 모양에서만 나온다. 4장의 말로 하면, 네 칸 설계는 "자극이 눈에 띄는 정도"라는 혼입변수를 잘라 내기 위한 것이다.

이런 설계를 두 요인 교차 설계라 하고, 필요한 결론이 상호작용에 있을 때 쓴다. 이 장 마지막 절에서 같은 모양의 설계가 다시 나온다.

모범답안. 이 주장은 무너진 것의 범위를 잘못 잡았다. 이 실험이 반박한 것은 "어떤 자극이든 어떤 결과와도 똑같이 연합된다"는 부가 주장이지 조건형성이라는 현상 자체가 아니다. 실제로 이 실험 자체가 조건형성의 절차로 이루어져 있다 — 맛과 불편함을 짝지었더니 그 맛을 피하게 되었다는 것이 바로 조건형성이다. 어떤 결과가 이론의 한 주장을 반박하면서 그 이론의 다른 부분을 그대로 쓰고 있다면, 그 결과는 이론 전체를 버리라고 말하는 것이 아니다.

답에 반드시 들어가야 하는 것.

• 무너진 것이 등가능성이라는 부가 주장이지 조건형성 현상 자체가 아니라는 구별
• 그 실험 자체가 조건형성 절차라는 지적
• 무엇이 남았는지의 예시 — 획득·소거·자발적 회복·일반화·변별 가운데 최소 하나

다르게 답해도 되는 범위. 이 결과가 이론의 핵심에 얼마나 가까운 타격이었는지는 견해가 갈릴 수 있다. 인접성이 그 이론의 중심이었다고 보면 타격이 크고, 중심은 강화의 원리였다고 보면 작다. 어느 쪽으로 답해도 좋다.

다만 "그러므로 조건형성은 쓸모없다"로 가는 답은 오답이고, 반대로 "아무것도 달라지지 않았다"로 가는 답도 오답이다. 뒤의 것은 이 절이 통째로 반박하는 서술이다. 정확한 요약은 이렇다 — "현상은 남았고, 그 현상이 아무 데나 똑같이 일어난다는 주장은 버려졌다."

그 구간의 성적이 나아지지 않았다는 것이 이 실험이 성립하는 조건이다. 이유는 이렇다. 이 실험이 보이려는 것은 "강화 없이도 배우고 있었다"인데, 배웠다는 증거를 강화가 붙은 뒤의 급격한 향상에서 가져온다. 만약 강화가 없던 구간에서도 성적이 꾸준히 좋아졌다면, 강화 뒤의 향상은 그저 그 흐름이 이어진 것으로 읽을 수 있다. 향상이 강화가 붙은 시점에 갑자기 나타나야 "그때 새로 배운 것"이 아니라 "그때 드러난 것"이라는 해석이 힘을 얻는다.

그리고 여기에 통제 조건이 함께 필요하다. 끝까지 먹이를 받지 못한 집단이 있어야 한다. 그 집단의 성적이 계속 그대로라면, 향상이 시간이 지나서 생긴 것이 아니라 먹이 때문이라는 것이 드러난다. 4장의 통제 집단 이야기 그대로다.

이 예제가 보이는 것은 "아무 일도 일어나지 않은 구간"이 자료의 일부라는 점이다. 변화가 없었다는 사실이 여기서는 결론을 떠받치는 자료다.

모범답안. 이 추론은 두 자리를 건너뛰었다. 첫째, 잰 것과 결론이 다르다. 그 절차에서 잰 것은 실험실에서 아이가 특정 인형을 특정 방식으로 다루었는가이고, 결론은 아이가 "폭력적으로 된다"는 성향에 대한 것이다. 그 인형은 원래 그렇게 다루라고 만든 물건이고, 그 상황에는 아이가 그 행동을 해도 되겠다고 읽을 단서가 여럿 있다. 네 물음의 넷째다.

둘째, 보고 따라 하는 일이 일어난다는 것과 그것이 지속되는 성향을 만든다는 것은 다른 주장이다. 앞의 것은 관찰학습이 성립한다는 말이고, 뒤의 것은 그 학습이 오래 남아 다른 상황으로 옮겨 간다는 말이다. 두 번째 주장은 다른 설계로 확인해야 하며, 실제로 이 물음에 대한 문헌은 지금도 갈린다. 효과가 있다는 쪽과 크기가 매우 작거나 다른 요인으로 설명된다는 쪽이 각각 메타분석을 내놓았다.

정확한 서술. "사람은 남이 하는 것을 보고 새 행동을 목록에 넣는다. 이것은 잘 확인된 현상이다. 그 목록에 들어간 행동이 실제로 언제 나오는지는 다른 문제이며, 특정 종류의 영상이 실제 행동에 미치는 영향은 지금도 다투어지고 있다."

답에 반드시 들어가야 하는 것.

• 실험실 과제와 실제 행동 사이의 다리가 놓이지 않았다는 지적
• 학습(목록에 들어감)과 수행(실제로 함)의 구별
• 이 물음이 미결이라는 표시. 어느 한쪽으로 단정하지 않을 것

다르게 답해도 되는 범위. 영향이 있다고 보는 쪽으로 기울어도, 없다고 보는 쪽으로 기울어도 좋다. 다만 어느 쪽이든 "실험이 있으니 증명되었다"는 형태로 적으면 오답이다. 그리고 이 절차 하나로 결론을 내리는 답도 오답이다.

이 설계로는 그 결론이 나오지 않는다. 문제가 셋이다. 첫째, 교차가 없다. 각 유형의 학생이 맞춘 수업만 받았다. 맞추지 않은 수업을 받은 같은 유형의 학생이 없으므로 견줄 대상이 없다. 이 주장을 검사하려면 네 칸이 다 있어야 하고, 나온 것은 두 칸뿐이다.

둘째, 지난해와 견주는 것은 통제가 아니다. 4장에서 본 대로 시간이 지나면 여러 가지가 함께 달라진다 — 교사, 학생 구성, 시험 난이도, 그리고 새 방식을 시작할 때 따라오는 관심과 노력. 그리고 4장의 평균으로의 회귀도 걸린다. 지난해가 유난히 낮았다면 아무것도 하지 않아도 올라갔을 것이다.

셋째, 오른 것이 무엇 때문인지 갈라낼 수 없다. 자료를 새로 만들었고, 수업 방식을 손봤고, 교사가 더 신경 썼다. 이 가운데 무엇이 효과를 냈는지 이 설계는 말해 주지 않는다. 실제로 가장 그럴듯한 설명은 "수업 자료를 다시 만들면서 전체적으로 나아졌다"이고, 이 설명은 학습 유형과 아무 상관이 없다.

고치는 법은 앞의 그림에 있다. 같은 유형의 학생을 두 수업에 무선배정하고, 같은 시험으로 재고, 네 칸을 다 채운다. 그런 다음 필요한 상호작용이 나오는지 본다. 그리고 그 설계를 실제로 한 연구들에서 상호작용이 나오지 않았다는 것이 지금까지의 결과다.

모범답안. 그렇지 않다. 두 주장을 갈라야 한다. 지지되지 않은 것은 "학습자의 유형에 맞추면 낫다"이지 "방식은 중요하다"가 아니다. 방식은 중요한데, 그것을 정하는 것이 학습자의 유형이 아니다. 무엇을 가르치는가가 방식을 정한다 — 지리는 지도로, 화음은 소리로, 절차는 해 보이면서 가르치는 편이 낫고, 이것은 학습자가 누구든 그렇다. 그리고 방식과는 다른 축에서 실제로 효과가 확인된 것들이 있다. 학습을 몰아서 하지 않고 나눠서 하는 것, 다시 읽는 대신 보지 않고 떠올려 보는 것이 그렇다. 이 둘은 학습자의 유형과 상관없이 여러 표본에서 되풀이 확인되었고, 8장에서 다룬다.

답에 반드시 들어가야 하는 것.

• "유형에 맞추기"와 "방식이 중요하다"를 갈라내는 구별
• 방식을 정하는 것이 자료의 성질이라는 대안
• 실제로 근거가 있는 것을 최소 하나 대기

다르게 답해도 되는 범위. 학습자의 선호를 아예 무시하라는 답도, 선호를 참고하되 성적의 근거로 삼지 말라는 답도 좋다. 뒤의 답이 조금 더 정확하다 — 선호에 맞추면 수업에 참여하려는 마음이 달라질 수 있고, 그것 자체는 재 볼 만한 물음이다. 다만 그것은 "더 잘 배운다"와 다른 주장이고 따로 검사해야 한다.

"근거가 없으니 이 주제는 신경 쓸 것 없다"로 끝내는 답은 오답이다. 이 절이 하는 말은 관심을 끄라는 것이 아니라 같은 관심을 근거가 있는 쪽으로 옮기라는 것이다.

이 정보만으로는 정할 수 없다. 세 걸음 모두가 이 결과를 낼 수 있다. 소개받는 순간 다른 데 주의가 가 있었다면 부호화가 안 된 것이고, 그 뒤 5분 동안 비슷한 이름을 여럿 들었다면 저장 단계에서 밀린 것이며, 이름은 남아 있는데 꺼내는 실마리가 없을 수도 있다.

물어야 할 것은 이렇다. 첫째, 단서를 주면 나오는가. 첫 글자를 알려 주거나 몇 개 이름 가운데 고르게 했을 때 맞히면 인출 문제다. 이것이 회상과 재인을 함께 쓰는 이유다. 둘째, 그때 무엇을 하고 있었는가. 이름을 듣는 동안 다른 것에 주의가 가 있었다면 부호화 쪽이다. 셋째, 그 5분 동안 무엇이 있었는가. 비슷한 이름을 여럿 더 들었다면 간섭이고, 이것은 9장에서 다룬다.

이 예제가 보이는 것은 같은 겉모습의 실패가 여러 원인에서 나온다는 점이다. 그래서 기억 연구는 "못 떠올렸다"는 사실 하나가 아니라 어떤 조건에서 떠올렸고 어떤 조건에서 못 떠올렸는가의 대비로 결론을 낸다. 4장에서 본 대로, 결론은 언제나 비교에서 나온다.

결론지을 수 있는 것. 끝쪽 이점과 처음쪽 이점이 같은 것에 기대고 있지 않다. 근거는 한 가지 조작이 한쪽만 건드렸다는 데 있다. 만약 하나의 장치가 목록 전체를 담고 있다면 그 장치를 방해했을 때 곡선 전체가 내려앉아야 한다. 그렇지 않았다.

결론지을 수 없는 것이 셋이다. 첫째, "머릿속에 두 개의 저장고가 있다"까지는 나오지 않는다. 나온 것은 두 이점이 서로 다른 조작에 민감하다는 것이고, 그것을 설명하는 모형은 여럿일 수 있다. 실제로 저장고를 둘로 나누지 않고 인출 시점의 단서 구조로 설명하는 모형도 있다. 둘째, 빼기 과제가 무엇을 방해했는지가 이 결과로 정해지지 않는다. 되뇌기를 막은 것일 수도, 주의를 가져간 것일 수도, 시간을 흘려보낸 것일 수도 있다. 갈라내려면 방해 과제의 종류를 바꿔 가며 재야 한다. 셋째, 실험실의 낱말 목록에서 실제 상황의 기억으로 건너뛸 수 없다. 네 물음의 넷째다.

그리고 이 설계에서 통제 조건이 왜 필요한지를 짚어 두자. 방해 조건만 재고 "끝쪽이 안 나온다"고 적으면 아무 말도 한 것이 아니다. 끝쪽이 원래 잘 나온다는 것이 견줄 조건에서 확인되어야 "사라졌다"고 말할 수 있다.

가는 정설로 적을 수 있고, 나는 적을 수 없다.

가가 되는 이유. 잠깐 담아 두는 양에 한계가 있다는 것은 여러 절차, 여러 재료, 여러 표본에서 되풀이 확인되었다. 어떤 과제로 재든 그 수가 "적다"는 결론은 흔들리지 않는다.

나가 안 되는 이유가 셋이다. 첫째, 단위가 정해지지 않았다. 앞의 그림에서 본 대로 같은 자료가 세는 방식에 따라 열두 개도 되고 세 개도 된다. 단위가 정해지지 않은 수는 값이 아니다. 둘째, 절차에 따라 값이 달라진다. 속으로 되뇌게 두느냐 막느냐, 항목을 묶게 두느냐 막느냐에 따라 다른 값이 나오고, 막았을 때 뚜렷이 작은 값이 보고되었다. 셋째, 이 수가 널리 퍼진 경로가 근거의 강도와 어울리지 않는다. 논문 제목의 인상적인 표현이 그대로 상식이 되었고, 그 뒤 반세기 동안 이루어진 정교화가 함께 옮겨지지 않았다.

그러면 이 문서는 어떻게 적는가. "담을 수 있는 양은 제한되어 있다. 그 수는 무엇을 하나로 세느냐와 어떤 절차로 재느냐에 딸린 값이며, 하나로 정해져 있지 않다." 6장에서 세운 대로, 모른다고 적는 것도 답이다.

가는 단기기억, 나는 작업기억이다.

차이를 만드는 것은 "담는 동안 다른 일을 하는가"다. 가에서는 들은 것을 그대로 붙들고 있다가 내놓기만 하면 된다. 나에서는 붙들고 있는 동시에 다른 과제를 처리해야 하고, 그 처리가 붙들고 있는 것을 밀어내려 한다. 담기와 처리를 함께 요구하는 것이 작업기억 과제의 정의적인 특징이다.

여기서 한 가지를 더 짚어야 한다. 나가 가보다 "어려운 과제"라서 작업기억인 것이 아니다. 숫자를 열다섯 개 들려주면 가도 훨씬 어려워지지만 그것은 여전히 단기기억 과제다. 갈라 주는 것은 난이도가 아니라 구조다.

그리고 실무적으로 중요한 점. 두 과제의 점수는 서로 상관이 있지만 같지 않고, 바깥의 것을 예측하는 힘이 다르다. 그래서 "기억력 검사"라는 이름 아래 어느 쪽을 썼는지 밝히지 않은 보고는 읽을 수 없다. 4장의 조작적 정의 이야기가 여기 그대로 걸린다.

모범답안. 이 문장은 잘못된 수를 잘못된 개념에 붙인 뒤 잘못된 상황에 적용했다. 잘못이 넷이다.

첫째, 개념을 바꿔치기했다. 인용된 수는 단기 저장에 대한 오래된 논의에서 나온 것이고, 문장은 그것을 작업기억에 붙였다. 앞 절에서 본 대로 둘은 다른 개념이고 다른 과제로 잰다.

둘째, 그 수 자체가 확정된 값이 아니다. 세는 단위와 절차에 따라 달라진다. 이 문서는 하나의 수를 적지 않는다.

셋째, 단위가 다르다. 실험에서 세는 항목은 서로 관련 없는 숫자나 낱말이다. 발표 자료의 "항목"은 대개 여러 낱말로 된 뜻 있는 덩어리이고, 듣는 사람이 이미 아는 것과 이어져 있다. 이미 아는 것과 이어진 덩어리는 하나로 세어진다. 그래서 실험의 수를 그대로 옮길 수 없다.

넷째, 상황이 다르다. 실험에서는 자료가 사라진 뒤에 떠올려야 하지만 발표에서는 화면이 그대로 있다. 담아 둘 필요가 없는 상황에 담아 두는 용량의 한계를 적용한 것이다.

그러면 이 조언이 통째로 틀렸는가. 그렇지는 않다. 한 화면에 너무 많은 것을 올리면 읽는 사람이 무엇을 볼지 정하는 데 힘을 쓰게 되고, 그것이 이해를 방해한다는 것은 그럴듯하다. 다만 그 결론은 주의와 화면 설계에 대한 연구에서 따로 가져와야 하고, 기억 용량의 수에서 끌어낼 수는 없다. 결론이 맞아 보인다는 것과 그 결론에 댄 근거가 맞다는 것은 다른 일이다.

답에 반드시 들어가야 하는 것.

• 단기기억과 작업기억을 바꿔치기했다는 지적
• 그 수가 확정된 값이 아니라는 지적
• 실험의 항목과 발표 자료의 항목이 다른 단위라는 지적

다르게 답해도 되는 범위. 네 잘못 가운데 어느 것을 가장 무겁게 볼지는 갈릴 수 있고, 넷 가운데 셋만 짚어도 좋다. 조언 자체를 지지하는 답도, 반대하는 답도 좋다. 다만 "수가 틀렸다"만 짚고 끝내는 답은 부족하다. 수를 고쳐도 이 문장의 나머지 세 잘못이 그대로 남기 때문이다.

모범답안. 이 결론은 상관에서 인과로, 그리고 인과에서 개입으로 두 번 건너뛰었다. 4장에서 세운 대로 상관은 세 가지를 구별하지 못한다 — 작업기억이 독해를 떠받치는 것일 수도, 잘 읽는 습관이 두 점수를 함께 올린 것일 수도, 어휘 지식이나 유동추론 같은 셋째 요인이 둘 다를 끌어올린 것일 수도 있다. 게다가 이 결론은 상관에서 곧바로 훈련 효과를 말하는데, 그것은 "작업기억 점수를 올리면 독해가 따라 오른다"는 별도의 주장이고 무선배정 실험으로만 검사된다. 실제로 이 훈련 물음은 여러 차례 검사되었고, 훈련한 과제 자체의 점수는 오르지만 훈련하지 않은 다른 과제로 옮겨 가는 정도는 작거나 확인되지 않는다는 보고가 이어졌다. 그러므로 정확히 적으면 이렇다 — "복합 폭 점수와 독해 점수는 함께 움직인다. 한쪽을 훈련해 다른 쪽이 좋아지는지는 별도의 실험이 답할 물음이고, 지금까지의 결과는 옮겨 감이 크지 않다는 쪽이다."

답에 반드시 들어가야 하는 것.

• 상관에서 인과를 읽었다는 지적과 대안 설명 최소 하나
• 인과와 "훈련하면 좋아진다"가 다른 주장이라는 구별
• 훈련 효과를 검사하려면 무선배정과 훈련하지 않은 과제에서의 측정이 필요하다는 지적

다르게 답해도 되는 범위. 훈련의 옮겨 감에 대해 여전히 가능성이 있다고 보는 답도 좋다. 어떤 조건에서 어떤 종류의 훈련이 무엇으로 옮겨 가는지는 아직 정리되지 않았다. 다만 "상관이 높으니 훈련이 통한다"를 그대로 두는 답은 오답이고, "훈련은 절대 소용없다"로 단정하는 답도 오답이다. 뒤의 것은 자료보다 강한 결론이다.

가 — 비서술(절차). 어떻게 하는지 말로 설명하기는 어렵고 해 보이기는 쉽다. 설명을 잘 못 한다고 해서 모르는 것이 아니다.

나 — 서술, 의미. 세상에 대한 앎이고 언제 어디서 알게 되었는지는 대개 붙어 있지 않다.

다 — 서술, 일화. 내가 겪은 일이고 언제 어디서가 붙어 있다.

라 — 비서술(점화). 먼저 만난 것 때문에 뒤의 처리가 빨라지는 것이고, 본인은 그런 일이 있었다는 것을 알아채지 못해도 나타난다.

여기서 자주 헷갈리는 자리가 둘 있다. 첫째, 가와 라를 "기억이 아니다"로 밀어내는 것이다. 둘 다 앞의 경험 때문에 뒤가 달라진 것이므로 기억이 맞다. 다만 꺼내 놓는 방식이 다를 뿐이다. 둘째, 다가 시간이 지나면서 나 쪽으로 옮겨 갈 수 있다는 점이다. 여러 번 겪어 익숙해진 일은 "그때 그랬다"가 아니라 "대개 그렇다"로 남는다. 두 갈래는 서로 다른 상자가 아니라 서로 다른 성질이고, 같은 내용이 시간이 지나며 성질을 바꿀 수 있다.

모범답안. 이 추론은 사례가 지지하는 것보다 두 걸음 앞서 있다. 사례가 지지하는 것은 두 갈래가 서로 독립적으로 무너질 수 있다는 것까지다. 그것만으로도 큰 결론이다 — 하나의 장치가 두 가지를 다 한다면 이런 분리가 나올 수 없기 때문이다. 그러나 "다른 부위에 저장된다"는 것은 자리에 대한 주장이고, 그 주장을 하려면 손상된 부위가 어디인지 그리고 남은 능력이 어느 부위에 기대는지를 따로 확인해야 한다. 사례 자체는 그 정보를 주지 않는다. 게다가 이런 사례는 수가 적고 손상 범위가 사람마다 다르며 우연히 생긴 것이라 4장의 말로는 무선배정이 없는 자연 관찰에 가깝다. 그러므로 정확한 서술은 이렇다 — "서술과 비서술이 따로 무너지는 사례가 여럿 보고되었다. 이것은 두 갈래가 다른 장치라는 강한 근거다. 어느 부위가 무엇을 맡는지는 별도의 자료가 답할 물음이다."

답에 반드시 들어가야 하는 것.

• 사례가 지지하는 것이 "분리"까지라는 범위의 지적
• "자리"에 대한 주장에는 다른 자료가 필요하다는 지적
• 단일 사례 또는 소수 사례의 한계

다르게 답해도 되는 범위. 이런 사례의 값어치를 높게 보는 답도 좋다. 실제로 이 분리는 뒤에 여러 사례와 다른 방법으로 되풀이 확인되었고, 지금은 근거가 사례 하나에 기대고 있지 않다. 그렇게 적는 답이 더 정확하다. 다만 "사례 하나로 증명되었다"를 그대로 두는 답은 오답이고, "사례이므로 아무 값어치가 없다"는 답도 오답이다. 뒤의 것은 이 분야에서 이 분리가 어떻게 세워졌는지를 지운다.

보통의 회상 시험이라면 나가 낫다. 뜻을 다루었기 때문이다. 처리 수준 연구가 되풀이 확인한 방향이다.

뒤집으려면 검사를 바꾸면 된다. 예를 들어 "아까 본 낱말 가운데 'ㅏ'가 들어 있던 것을 골라라" 같은 식으로, 부호화 때 한 일과 같은 종류의 일을 요구하는 검사를 쓰면 가 조건이 나아질 수 있다. 이것이 전이 적합성 처리가 말하는 바다.

여기서 배울 것은 "어느 조건이 더 낫다"는 문장이 검사를 밝히지 않으면 미완성이라는 점이다. 5장의 말로 하면, 종속변수를 정하지 않은 채 처치의 효과를 말한 것이다.

그리고 이 예제에는 함정이 하나 더 있다. 가 조건에서도 참가자는 낱말의 뜻을 안다. 글자를 보려면 낱말을 읽어야 하고, 읽으면 뜻이 딸려 온다. 그러므로 두 조건의 차이는 "뜻을 처리했는가 아닌가"가 아니라 "뜻에 얼마나 오래 머물렀는가" 쪽에 가깝다. 조건을 깔끔하게 갈랐다고 믿는 것이 이런 설계에서 가장 흔한 과신이다.

모범답안. 이 방법은 보면서 알아보는 일만 연습시키는데 시험은 보지 않고 꺼내는 일을 요구하므로, 연습한 것과 요구되는 것이 어긋나 있다. 게다가 세 번째 읽을 때의 술술 읽힘이 "안다"는 신호로 잘못 읽혀서, 본인은 그 어긋남을 알아채지 못한다.

진단 — 부호화할 때 하는 일과 시험에서 요구되는 일이 맞지 않는다. 시험은 대개 보지 않고 꺼내는 일을 요구하는데, 이 방법은 보면서 알아보는 일만 연습시킨다. 전이 적합성 처리의 관점에서 이 둘은 다른 과제다.

그리고 "거의 다 아는 느낌"이 문제의 핵심이다. 세 번째 읽을 때 글이 술술 읽히는 것은 사실인데, 그 술술 읽힘이 '내가 이것을 안다'는 신호로 잘못 읽힌다. 실제로 술술 읽히는 이유는 그 글을 방금 두 번 보았기 때문이지 그 내용을 꺼낼 수 있기 때문이 아니다. 이 어긋남을 확인하는 방법은 하나뿐이다 — 책을 덮고 꺼내 보는 것.

형광펜 자체가 문제인가. 칠하는 행위는 대개 고르는 일에서 끝나고 뜻을 다루는 일로 이어지지 않는다는 것이 여러 정리에서 지적되었다. 다만 칠한 자리를 나중에 가리고 그 내용을 떠올려 보는 데 쓴다면 이야기가 달라진다. 도구가 아니라 그 도구로 무엇을 하는가가 정한다.

대안은 다음 절에 있다. 미리 한 줄로 적으면 이렇다 — 읽는 시간을 줄이고 그 시간을 꺼내 보는 데 쓴다. 그리고 그 일을 한 번에 몰아서 하지 않는다.

답에 반드시 들어가야 하는 것.

• 연습하는 일과 시험이 요구하는 일이 어긋난다는 지적
• "아는 느낌"이 실제로 아는 것과 다르다는 지적, 그리고 그 느낌이 어디서 오는지
• 확인하는 방법 — 보지 않고 꺼내 보기

다르게 답해도 되는 범위. 형광펜을 아예 버리라는 답도, 칠한 자리를 가리고 떠올리는 데 쓰라는 답도 좋다. 뒤의 답이 조금 더 정확하다. 세 번 읽는 것 자체가 나쁘지 않고 그 사이에 무엇을 하느냐가 문제라고 보는 답도 좋다. 다만 "세 번은 부족하니 다섯 번 읽으라"는 답은 오답이다. 같은 일을 더 하는 것이고, 이 진단이 지적한 어긋남은 그대로 남는다.

설명. 맥락은 약한 단서이고, 약한 단서는 다른 강한 단서가 없을 때만 값어치가 있다.

회상 검사에서는 아무 실마리 없이 스스로 꺼내야 하므로, 방의 소리처럼 함께 들어간 것들이 실마리로 쓰인다. 방이 같으면 그 실마리가 있고 다르면 없으니 성적이 갈린다.

재인 검사에서는 낱말 자체가 주어진다. 그 낱말이 그 무엇보다 강한 단서이므로, 맥락이 있든 없든 결과가 달라지지 않는다. 단서들 사이에는 경쟁이 있고, 강한 단서가 있으면 약한 단서가 하는 일이 없어진다.

이 예제가 보이는 것은 "효과가 있다/없다"가 검사 방법에 딸려 있다는 점이다. 두 검사 가운데 하나만 쓴 연구는 반대 결론을 내놓을 것이고, 둘 다 쓴 연구만이 왜 그런지를 말할 수 있다. 앞 절의 전이 적합성 처리와 같은 교훈이다.

1. 재현되었는가. 맥락이 회상을 돕는다는 것 자체는 여러 절차에서 되풀이되었다. 이 물음에는 비교적 잘 답한다.

2. 표본이 무엇인가. 이 조언이 기대는 연구들은 대개 특정 표본에서 인공 재료로 이루어졌다. 그 자체가 흠은 아니지만, 결론의 범위를 정한다.

3. 효과가 얼마나 큰가. 여기서 이 조언이 가장 크게 흔들린다. 여러 연구를 모은 정리에서 크기가 작은 편으로 보고되었고, 재인 검사에서는 잘 나오지 않는다. 실제 시험은 순수한 회상보다 여러 종류의 단서가 섞여 있는 과제다.

4. 얼마나 일반화되는가. 실험의 "맥락"은 물속과 물 밖처럼 크게 다른 상황이거나 방의 소리 같은 것이다. 같은 건물의 두 강의실 사이 차이가 그만한 크기인지는 확인된 바 없다. 그리고 이 조언을 따르는 데 드는 비용도 계산에 넣어야 한다. 그 교실에서만 공부하려면 공부 시간과 장소가 크게 제한되고, 그 제한 때문에 잃는 것이 얻는 것보다 클 수 있다.

종합. "맥락이 인출을 돕는다는 것은 확인된 현상이다. 그러나 그 크기는 작고, 실제 시험 상황에서 그만한 값어치가 있는지는 확인되지 않았다. 공부 장소를 맞추는 데 드는 노력은 다음 절의 두 가지에 쓰는 편이 낫다."

이 예제가 보이는 것이 "참인 현상"과 "쓸 만한 조언"이 다르다는 점이다. 현상이 참이어도 크기가 작으면 조언이 되지 못한다. 5장에서 효과크기를 세운 이유가 이것이다.

모범답안. 총 시간을 그대로 둔 채 두 가지를 바꾼다. 여섯 시간을 여러 날에 나누고, 각 시간 안에서 읽는 몫을 줄여 보지 않고 꺼내 보는 몫을 늘린다. 다만 시험이 몇 시간 뒤라면 이 배치의 이점이 나오지 않고, 아직 아무것도 모르는 상태라면 꺼낼 것이 없어 성립하지 않는다.

다시 배치하는 법. 여섯 시간을 이틀에 몰지 않고 더 넓게 나눈다 — 예를 들어 여러 날에 걸쳐 한 시간씩. 그리고 각 시간 안에서 읽는 시간을 줄이고 책을 덮고 꺼내 보는 시간을 늘린다. 꺼내 본 뒤 확인하고, 틀린 것을 다시 꺼내 본다.

나아지지 않는 경우가 있다. 셋을 꼽을 수 있다.

• 시험이 아주 가까울 때. 앞의 그림에서 본 대로 두 곡선은 교차한다. 몇 시간 뒤에 시험을 본다면 몰아서 한 쪽이 나쁘지 않다. 이 방법들의 이점은 지연에서 나온다.
• 아직 아무것도 모를 때. 꺼낼 것이 없으면 인출 연습이 성립하지 않는다. 처음에는 읽어서 넣는 일이 필요하고, 인출 연습은 그다음이다.
• 꺼내 본 뒤 확인하지 않을 때. 틀린 채로 꺼낸 것을 그대로 두면 틀린 것을 연습하게 된다. 확인이 절차의 일부다.

여기에 이 답이 넘지 말아야 할 선을 하나 적는다. 이 배치가 성적을 얼마나 올릴지는 이 문서가 수로 말할 수 없다. 실험실과 수업에서 잰 차이가 특정한 시험에서 얼마가 될지는 그 상황에서 재야 안다. 말할 수 있는 것은 방향이고, 방향은 여러 연구에서 일정했다.

답에 반드시 들어가야 하는 것.

• 총 시간을 고정한 채 배치만 바꾼다는 것. 시간을 늘리라는 답은 이 절의 결과를 쓴 것이 아니다
• 읽기를 꺼내 보기로 바꾸는 조작
• 나아지지 않는 경우를 최소 하나

다르게 답해도 되는 범위. 며칠에 걸쳐 어떻게 나눌지는 여러 답이 가능하고, 이 문서는 최적 간격을 수로 적지 않는다. 꺼내 보기의 형태도 자유롭다 — 백지에 적기, 문제를 만들어 풀기, 소리 내어 설명하기 모두 인출이다. 다만 공부 시간을 늘리라는 답은 이 물음에 대한 답이 아니고, 효과의 크기를 수로 적는 답도 오답이다.

아직 보이지 못한 것 — 인출 연습의 이점 그 자체다. 이 연구는 직후 시험만 쟀는데, 이 방법의 이점은 지연에서 나온다. 직후에 비슷하게 나온 것은 예상되는 결과이고, 이것만 보고 "차이가 없다"고 적으면 정확히 거꾸로 읽은 것이다.

더 해야 할 것. 일주일 뒤에 실제로 시험을 봐야 한다. 예측을 물어본 것은 예측을 잰 것이지 성적을 잰 것이 아니다. 그리고 두 조의 총 학습 시간이 같았는지도 확인해야 한다. 읽기 네 번과 읽기 한 번 더하기 꺼내기 세 번이 같은 시간이 아니라면, 무엇 때문에 차이가 났는지 갈라낼 수 없다. 4장의 혼입변수다.

이 연구가 이미 잘 보인 것도 있다. 예측과 실제가 어긋나는 구조의 절반을 이미 잡았다 — 읽기 조가 자기 성적을 더 높게 본다는 것. 여기에 일주일 뒤 성적이 더해지면 예측과 성적이 반대 방향을 가리킨다는 것을 한 연구 안에서 보일 수 있다. 그것이 이 결과가 실무에서 갖는 힘의 대부분이다. 사람들이 이 방법을 안 쓰는 이유가 효과를 몰라서가 아니라 자기 학습을 잘못 읽기 때문이라는 것을 보이기 때문이다.

나와 다는 뒷받침된다. 가는 뒷받침되지 않는다.

가가 탈락하는 이유. 7장 마지막 절에서 본 대로다. 이 주장을 검사하려면 유형과 방식을 교차시켜 상호작용을 봐야 하는데, 그 설계를 갖춘 연구가 매우 적었고 갖춘 곳에서 필요한 상호작용이 나오지 않았다. 이 문서가 이 항목을 근거 없음으로 다루는 것이 그 뜻이다.

나가 되는 이유. 총 시간을 고정한 채 배치만 바꾸는 비교이고, 여러 재료·연령대·기간에서 방향이 일정하게 보고되었다. 재현이 잘 된 소수에 든다.

다가 되는 이유. 역시 총 시간을 고정한 비교이고, 지연 시험에서의 이점이 여러 장면에서 되풀이되었다.

여기서 세 조언의 성격 차이를 짚어 두는 것이 중요하다. 가는 사람을 분류해서 다르게 대하라는 조언이고, 나와 다는 누구에게나 같은 것을 하라는 조언이다. 앞의 것은 검사하기가 훨씬 까다롭다 — 분류가 타당해야 하고, 교차 설계가 필요하고, 상호작용이 나와야 한다. 뒤의 것은 단순한 비교로 검사된다. 주장이 복잡해질수록 그것을 떠받치는 데 필요한 근거도 늘어난다. 그리고 널리 퍼진 조언일수록 그 늘어난 근거가 갖춰졌는지 확인되지 않은 경우가 많다.

모범답안. 다시 외우는 시간은 사람의 판단이 아니라 행동을 세는 지표이고, 회상이 0인 구간에서도 남아 있는 것을 잡아내며, 여러 시점을 같은 자로 견주게 해 준다. 대신 그 시간에는 남은 기억 말고 다른 것도 섞여 들어간다.

나은 이유가 셋이다.

첫째, 자기 보고에 기대지 않는다. 사람이 자기가 얼마나 아는지를 판단하는 일은 그 자체로 어긋나기 쉽다 — 8장 마지막 절에서 본 대로, 술술 읽히는 것이 안다는 느낌으로 잘못 읽힌다. 절약은 판단이 아니라 행동을 센다.

둘째, 바닥에서도 잰다. 회상 검사는 아무것도 못 떠올리면 0이 되어 그 아래를 구별하지 못한다. 절약은 회상이 0인 구간에서도 남아 있는 것을 잡아낸다.

셋째, 같은 자로 여러 시점을 잰다. 20분 뒤와 한 달 뒤를 같은 단위로 견줄 수 있다.

한계도 있다. 다시 외우는 시간은 원래 기억이 남은 정도만 반영하지 않는다. 그 자료에 익숙해진 정도, 외우는 요령이 늘어난 정도가 함께 들어간다. 그래서 두 번째 학습이 순수하게 "남은 것"만 재는 것은 아니다. 그리고 이 지표는 통째로 다시 외울 수 있는 짧은 목록에나 쓸 수 있어서, 긴 글이나 겪은 일에는 적용하기 어렵다. 5장에서 본 대로 어떤 지표도 구성개념을 그대로 잡지 못하고, 잡는 방식마다 딸려 오는 것이 다르다.

답에 반드시 들어가야 하는 것.

• 자기 보고에 기대지 않는다는 지적
• 회상이 0인 구간에서도 잰다는 지적
• 한계를 최소 하나 — 이 지표에 다른 것이 섞여 든다는 것

다르게 답해도 되는 범위. 세 이유 가운데 둘만 들어도 좋고, 다른 장점을 드는 답도 좋다. 한계 쪽을 더 크게 보아 이 지표를 낮게 평가하는 답도 정당하다. 다만 "객관적인 지표이므로 문제가 없다"로 끝내는 답은 오답이다. 5장이 세운 대로, 어떤 지표도 구성개념을 그대로 잡지 못한다.

읽는 법 — 역행 간섭이다. 나중에 들어온 것(목록 나)이 먼저 배운 것(목록 가)의 인출을 방해했다. 그림 맞추기 집단이 있었기 때문에 "하루가 지나서"라는 설명이 잘린다. 두 집단 모두 하루가 지났는데 한쪽만 더 떨어졌기 때문이다. 통제 집단이 하는 일이 정확히 이것이다.

말할 수 없는 것이 셋이다.

첫째, 목록 가가 지워졌는지는 알 수 없다. 잰 것은 꺼내지 못했다는 것이고, 8장에서 본 대로 못 꺼내는 것과 없는 것은 다르다. 단서를 주었을 때 나오는지 봐야 한다.

둘째, "비슷해서"인지 "더 외워서"인지 갈라지지 않는다. 목록 나가 비슷했다는 것이 원인인지, 그냥 무언가를 더 외운 것 자체가 원인인지 이 설계로는 모른다. 가르려면 비슷하지 않은 목록을 외우는 조건을 하나 더 두어야 한다. 세 조건이 있어야 답이 나온다.

셋째, 그림 맞추기가 "아무것도 하지 않은 것"은 아니다. 그것도 무언가를 하는 일이고, 나름의 방해를 했을 수 있다. 완벽한 통제 조건은 없으며, 있는 것은 무엇을 갈라내려는지에 맞춘 통제 조건이다.

자료가 지지하는 부분. 망각이 처음에 빠르고 뒤로 갈수록 완만해진다는 모양은 여러 차례 확인되었고 2015년의 재현에서도 나왔다. 그리고 다시 배우면 곡선이 위로 올라간다는 것 — 그림의 두 번째 곡선 — 도 원래 자료에 있다. "복습이 남는 양을 늘린다"는 방향은 지지된다.

넘어간 부분이 셋이다.

첫째, "배운 것의 대부분"이 무엇을 가리키는지 바뀌었다. 그 곡선의 재료는 뜻이 없는 철자 묶음이다. 뜻이 있고 이미 아는 것과 이어진 자료는 훨씬 느리게 잊힌다. 그 곡선의 가파름을 수업에서 배운 내용에 그대로 옮길 수 없다.

둘째, 참가자가 한 사람이다. 곡선의 모양이 재현되었다는 것과 그 기울기가 사람마다 같다는 것은 다른 이야기다. 네 물음의 둘째다.

셋째, "그러니 그날 안에"가 곡선에서 따라 나오지 않는다. 곡선은 언제 복습하는 것이 나은지에 대해 말하지 않는다. 그 물음에 답한 것은 8장의 간격 효과 연구이고, 거기서 나온 방향은 오히려 시험이 멀수록 간격을 넓게 두라는 쪽이다. 곧바로 복습하는 것이 언제나 최선은 아니다.

정확히 적으면 이렇다 — "망각은 처음에 빠르다. 되풀이해 배우면 남는 양이 는다. 언제 되풀이할지는 이 곡선이 아니라 간격 효과 연구가 답한다."

통제 조건은 같은 길이의 글을 읽되 그 세부가 들어 있지 않은 조건이다. 오정보 조건과 다른 점이 그 세부 하나뿐이어야 한다.

통제 조건이 없으면 문제가 둘이다.

첫째, 사람들이 원래 얼마나 그렇게 답하는지를 모른다. 없던 세부를 보았다고 답하는 일은 오정보가 없어도 일어난다. 장면을 완벽하게 기억하는 사람은 없고, 빈자리는 그럴듯한 것으로 채워지기 때문이다. 그 바탕 비율을 모르면 오정보가 얼마나 더 만들었는지 말할 수 없다. 4장에서 세운 대로, 하나의 값은 견줄 것이 없으면 아무 말도 하지 않는다.

둘째, "상당수"라는 말이 아무것도 정하지 않는다. 5장에서 본 대로 크기는 견줌에서 나온다. 두 조건의 차이가 크기이고, 조건이 하나면 크기가 없다.

여기에 하나를 더 짚어 둘 만하다. 이 설계에서 실험자가 어느 조건인지 알면 안 된다. 6장의 실험자 기대 효과다. 마지막 검사를 진행하는 사람이 참가자가 어느 조건이었는지 알고 있으면, 묻는 말투나 되묻는 방식이 달라질 수 있다. 이 장 마지막 절에서 볼 실무 개선의 첫 항목이 정확히 같은 이유에서 나왔다.

모범답안. 이 결론에는 그 한 달 동안 무엇이 있었는지에 대한 기록이 빠져 있다. 두 진술이 다르다는 것만으로는 시간이 흐른 탓인지, 사이에 들어온 정보 탓인지, 묻는 방식이 달랐던 탓인지 갈라낼 수 없다. 게다가 직후 진술을 기준으로 삼는 것이 이 설계의 숨은 가정이다.

빠진 것은 "그 한 달 동안 무엇이 있었는가"다. 두 진술이 다르다는 것만으로는 무엇이 그 차이를 만들었는지 알 수 없고, 후보가 여럿이다.

• 시간 — 그냥 흐린 것일 수 있다. 앞 절의 망각이다.
• 사이에 들어온 정보 — 다른 목격자의 말, 보도, 수사 과정에서 들은 것. 이것이 오정보 효과다.
• 질문이 달랐던 것 — 두 번째에 다른 방식으로 물었다면 그 차이가 진술의 차이를 만들 수 있다.
• 첫 진술 자체가 이미 정확하지 않았을 가능성 — "직후 진술"을 기준으로 삼는 것이 이 설계의 숨은 가정인데, 직후 진술도 정확하다는 보장이 없다.

그리고 이 마지막 항목이 실제 연구에서 가장 다루기 어려운 자리다. 실제 사건에는 "무엇이 정말 일어났는가"에 대한 기록이 대개 없다. 그래서 이 분야가 실험실에서 영상이나 연출된 사건을 쓰는 것이다 — 정답을 아는 사건이어야 진술을 채점할 수 있다. 6장에서 본, 답을 미리 아는 사례를 절차에 넣어 절차를 검사하는 방식과 같은 발상이다.

정확히 적으면 이렇다 — "두 진술이 달랐다. 그 사이에 무엇이 있었는지를 기록하지 않았으므로 무엇이 그 차이를 만들었는지는 이 자료로 정해지지 않는다."

답에 반드시 들어가야 하는 것.

• 차이를 만들 수 있는 후보를 최소 둘 — 시간, 사이에 들어온 정보, 질문 방식 가운데
• "직후 진술이 정확하다"가 이 설계의 숨은 가정이라는 지적
• "왜곡되었다"가 자료보다 강하다는 판정

다르게 답해도 되는 범위. 오정보 쪽에 무게를 두는 답도, 그냥 시간이 흐른 것으로 보는 답도 좋다. 어느 쪽이든 왜 그렇게 보는지의 근거가 있으면 된다. 다만 "그러므로 목격자 진술은 시간이 지나면 못 쓴다"로 넓히는 답은 오답이다. 이 자료는 그 결론을 지지하지 않고, 마지막 절에서 볼 대로 절차에 따라 진술의 값어치가 크게 달라진다.

가가 위험이 크다. 이 질문은 모자를 쓰고 있었다는 것을 전제로 깔고 있다. 목격자가 모자를 보지 못했더라도, 이 질문에 답하려면 모자를 상정해야 하고, 그렇게 상정한 모자가 이후의 진술에 남을 수 있다. 앞 절의 절차에서 동사 하나가 한 일과 같은 종류다.

나가 나은 이유. 아무것도 전제하지 않고, 목격자가 스스로 꺼내게 한다. 8장의 말로 하면 재인이 아니라 회상을 시키는 것이다.

절차. "먼저 아무것도 전제하지 않는 열린 질문으로 끝까지 말하게 하고, 구체적인 물음은 그다음에, 이미 나온 것에 대해서만 한다."

이것이 실제 수사 면담 지침의 뼈대다. 다만 여기서 맞바꿈이 하나 있다는 것을 적어 두어야 한다. 열린 질문만 쓰면 얻는 정보의 양이 줄어든다. 사람은 묻지 않으면 말하지 않는 것이 많다. 그래서 실제 지침은 열린 질문을 먼저 충분히 쓰고 나서 구체적인 질문으로 좁혀 가되, 좁힐 때 전제를 넣지 않는 형태를 쓰도록 짜여 있다. 정확성과 정보량 사이의 맞바꿈이고, 어느 한쪽을 0으로 만드는 절차는 없다.

설명 — 내용은 남고 출처는 남지 않았다. 그 소식의 내용은 여러 번 접하면서 익숙해졌지만, "확인되지 않았다"는 표시는 내용에 붙어 다니는 것이 아니라 그것을 만났을 때의 맥락에 속한다. 맥락은 내용보다 빨리 떨어져 나간다.

그러면 사람은 무엇으로 그것을 사실로 판단했는가. 위의 그림에 있는 단서들이다. 익숙하다는 것, 그리고 이미 아는 다른 것들과 앞뒤가 맞는다는 것. 그런데 익숙함은 여러 번 접했기 때문에 생긴 것이지 그것이 사실이어서 생긴 것이 아니다.

여기서 중요한 점 하나. 이 사람은 거짓말을 하고 있지 않다. 본인의 관점에서는 아는 것을 말한 것이다. 그래서 "누가 거짓말을 하는가"라는 물음으로는 이런 사태를 다룰 수 없고, 출처를 함께 남기는 절차가 필요해진다. 이 장 마지막 절의 개선 항목들이 모두 이 성질을 갖는다 — 사람의 정직함이 아니라 절차를 고친다.

덧붙일 것 하나. 이 예제를 "그러니 사람의 말을 믿으면 안 된다"로 읽으면 안 된다. 출처 판단은 대개 잘 작동한다. 이 절이 보이는 것은 그것이 어떤 조건에서 어긋나는가이고, 그 조건을 알아야 그 조건을 피하는 절차를 만들 수 있다.

그대로 보인 것은 아니다. 잰 것과 결론 사이에 두 걸음이 있다.

첫째, 잰 것은 "일어났을 가능성"에 대한 평정이지 "기억"이 아니다. 평정이 올라간 것은 그 사건을 더 그럴듯하게 여기게 되었다는 뜻일 수 있고, 그것은 그 사건에 대한 기억이 생겼다는 것과 다르다. 실제로 이 구별 때문에 뒤의 연구들은 "그 일이 기억나는가"와 "그 일이 있었다고 믿는가"를 따로 묻는다. 둘은 갈라진다 — 있었다고 믿지만 기억나지는 않는 상태가 흔하다.

둘째, 평정이 올라간 다른 이유가 있을 수 있다. 그 사건에 대해 생각하는 데 시간을 썼으므로 그것이 더 쉽게 떠오르게 되었고, 쉽게 떠오르는 것을 더 그럴듯하게 여기는 경향이 있다. 이것은 10장에서 다룰 어림법이고, 기억이 생긴 것과 다른 기제다.

그러면 이 결과는 값어치가 없는가. 그렇지 않다. 이 결과가 보이는 것은 "겪지 않은 일에 대한 판단이 상상만으로 움직인다"이고, 그것만으로도 실무적으로 중요하다. 진술을 받는 과정에서 "그때 이런 일이 있었다면 어땠을지 떠올려 보라"고 요청하는 것이 왜 위험한지를 이 결과가 설명하기 때문이다.

정확히 적으면 이렇다 — "상상은 그 일이 있었을 것이라는 판단을 올린다. 그것이 그 일에 대한 기억을 만들었다고 말하려면 기억과 믿음을 갈라 묻는 설계가 필요하다."

모범답안. 이 비판은 이 절차의 수치를 실제 사건에 옮기는 데 대해서는 옳고, 이 절차가 답하려는 물음에 대해서는 지나치다. 이 절차가 답하는 것은 겪지 않은 것에 대한 확신이 생길 수 있는가라는 존재 물음이고, 실제 사건 쪽의 근거는 오정보 연구들이 따로 대고 있다.

가장 강한 형태의 비판. 낱말 목록에서 일어나는 일과 겪은 사건에서 일어나는 일은 재료·시간·정서적 무게가 모두 다르다. 낱말 목록에서는 항목들이 하나의 뜻으로 강하게 수렴하도록 일부러 만들어졌고, 그런 수렴 구조는 실제 사건에 없다. 게다가 그 절차의 오기억은 몇 분 안에 일어나는데 실제 사건의 진술은 몇 달, 몇 년에 걸쳐 만들어진다. 그러므로 이 절차에서 나오는 효과의 크기나 조건을 실제 사건에 옮길 근거가 없다.

이 비판이 맞는 부분. 위의 내용은 대체로 맞다. 이 절차의 수치를 실제 사건에 옮길 수 없고, 두 절차의 오기억이 같은 기제라는 것도 확인된 바 없다. 실제로 두 종류의 오기억 경향이 개인 안에서 서로 별로 이어지지 않는다는 보고도 있다.

이 비판이 지나친 부분. 이 절차는 "실제 사건의 기억이 얼마나 자주 어긋나는가"에 답하려고 만들어진 것이 아니다. 답하려는 것은 "겪지 않은 것에 대한 확신이 생길 수 있는가"라는 존재 물음이고, 그 물음에는 한 번의 깨끗한 시연으로 답할 수 있다. 그리고 실제 사건 쪽의 근거는 이 절차가 아니라 앞 절의 오정보 연구들과 실제 사건을 다룬 연구들이 따로 대고 있다.

판정. "이 절차는 원리를 보이는 자리에 쓰고, 크기와 조건을 말하는 자리에는 쓰지 않는다." 이것이 실험실 과제를 읽는 일반적인 방식이기도 하다 — "그런 일이 있을 수 있는가"에는 답하고 "얼마나 자주 있는가"에는 답하지 않는다.

답에 반드시 들어가야 하는 것.

• 비판을 가장 강한 형태로 적을 것. 재료·시간·구조의 차이 가운데 최소 둘
• 이 절차가 답하려는 물음이 존재 물음이라는 구별
• 실제 사건 쪽의 근거는 다른 연구가 댄다는 지적

다르게 답해도 되는 범위. 이 절차의 값어치를 낮게 보는 답도 좋다. 두 종류의 오기억이 같은 기제라는 근거가 없다는 지적은 정당하고, 개인 안에서 두 경향이 잘 이어지지 않는다는 보고도 있다. 반대로 높게 보는 답도 좋다. 다만 "그러므로 실제 사건의 오기억도 흔하다"로 넓히는 답은 오답이고, "실험실 과제이므로 볼 것 없다"는 답도 오답이다.

이유 — 견줄 기준이 없으면 "달라졌다"를 말할 수 없다.

기록 없이 할 수 있는 것은 지금의 보고를 받는 것뿐인데, 그것으로는 두 가지를 구별할 수 없다. 그 사람이 정확히 기억하고 있는 것인지, 아니면 달라진 내용을 확신하고 있는 것인지. 지금의 보고만으로는 그 둘이 똑같이 보인다 — 확신은 어느 쪽에서나 높기 때문이다. 이 절의 결과가 바로 그 점이다.

그리고 실패하는 설계의 형태를 짚어 두자. "그때 무엇을 하고 있었는지 지금도 또렷이 기억하는가"를 묻는 조사는 이 물음에 답하지 못한다. 그것은 확신을 잰 것이지 정확성을 잰 것이 아니다. 그런데 이런 조사가 "섬광기억은 오래 간다"는 결론과 함께 인용되는 일이 있다. 6장의 네 물음 가운데 셋째로 보면, 무엇을 잰 것인지가 정해지지 않은 자료다.

이 설계의 어려움도 함께 적어 둘 만하다. 큰 사건은 미리 정할 수 없다. 그래서 이런 연구는 사건이 일어난 뒤 며칠 안에 급히 자료를 모아야 하고, 그 과정에서 참가자를 고르는 방식이 제한된다. 그리고 여러 해에 걸쳐 같은 사람을 다시 만나야 하므로 4장에서 본 탈락 문제가 그대로 걸린다.

모범답안. 이 추론은 생생함을 정확성의 근거로 삼는데, 이 절의 자료가 보인 것은 그 둘이 나란히 가지 않는다는 것이다. 그러므로 전제가 참이어도 결론이 따라 나오지 않는다.

평가 — 전제가 결론을 떠받치지 못한다. 이 절의 자료가 보인 것이 정확히 그것이다. 생생함과 확신은 거의 유지되는데 처음 기록과의 일치도는 떨어진다. 그러므로 "생생하다"에서 "맞다"로 가는 걸음이 자료로 지지되지 않는다.

왜 자연스럽게 느껴지는가. 이유가 둘이다. 첫째, 일상에서는 이 둘이 대체로 함께 간다. 방금 있었던 일은 생생하고 정확하다. 그래서 생생함을 정확성의 신호로 쓰는 습관이 대개는 잘 작동하고, 그 습관이 오래된 기억으로 그대로 옮겨 간다. 둘째, 어긋났다는 것을 알아챌 방법이 없다. 자기 기억이 달라졌는지 확인하려면 그때의 기록이 있어야 하는데 보통은 없다. 그래서 어긋난 기억도 어긋나지 않은 기억과 똑같은 느낌으로 다가온다.

그러면 어떻게 해야 하는가. 개인이 자기 기억을 더 잘 판단하는 방법은 이 장이 알려 줄 수 없다. 이 장이 알려 주는 것은 그런 판단이 왜 어려운가이고, 그래서 중요한 자리에서는 개인의 확신 대신 기록과 절차에 기대야 한다는 것이다. 다음 절이 그 절차의 이야기다.

마지막으로 한 가지. 이 예제를 "그러니 사람의 기억은 믿을 수 없다"로 읽으면 지나치다. 기억은 대부분의 상황에서 충분히 잘 작동한다. 문제가 되는 것은 정확성이 크게 걸려 있고 확인할 방법이 없는 자리이고, 그런 자리가 바로 다음 절의 주제다.

답에 반드시 들어가야 하는 것.

• 생생함과 정확성이 나란히 가지 않는다는 자료의 지적
• 그 추론이 왜 자연스럽게 느껴지는지에 대한 설명 하나
• 개인의 판단 대신 기록과 절차가 필요하다는 결론

다르게 답해도 되는 범위. 큰 줄거리는 대체로 유지된다는 점을 들어 이 사람의 기억을 어느 정도 신뢰하는 답도 좋다. 실제로 무엇이 유지되고 무엇이 달라지는지는 항목에 따라 다르다. 다만 "생생하니 맞다"를 그대로 두는 답도, "생생하니 오히려 틀렸다"로 뒤집는 답도 오답이다. 뒤의 것은 이 자료가 말하지 않는 것이다.

정직함으로 해결되지 않는다. 이유가 셋이다.

첫째, 새어 나가는 신호가 의도적이지 않다. 6장에서 본 실험자 기대 효과가 정확히 이것이다. 목격자가 용의자 앞에서 잠시 멈췄을 때의 자세, 다른 사람을 가리켰을 때의 되묻는 말투, 시선의 방향 — 이런 것들은 본인도 알아채지 못한 채 달라진다. 정직함은 알아챈 것에만 작동한다.

둘째, 지목 이후가 더 문제다. 목격자가 용의자를 골랐을 때 진행자가 무심코 "네" 하고 넘어가는 것만으로도 목격자의 확신이 올라갈 수 있다. 그리고 앞 절에서 본 대로, 올라간 확신은 그대로 유지되면서 나중에 그 사건을 판단하는 사람들에게 전해진다. 오염이 지목이 아니라 확신에 남는다.

셋째, 확인할 방법이 없다. 신호가 새어 나갔는지를 나중에 판정할 수단이 없으므로, 절차 자체가 그 가능성을 없애야 한다. 4장에서 은폐를 설계에 넣는 이유와 같다 — 은폐는 연구자를 의심해서 넣는 것이 아니라, 의심할 필요가 없게 만들려고 넣는 것이다.

이것이 이 절 전체를 관통하는 발상이기도 하다. 개선 항목들은 모두 사람의 정직함이나 능력을 요구하지 않는다. 요구하는 것은 절차이고, 절차는 검사할 수 있다.

이 자료만으로는 정해지지 않는다. 그리고 그것이 이 물음의 요점이다.

두 절차가 서로 다른 지표에서 이겼다. 하나는 맞히는 쪽이 낫고 하나는 틀리지 않는 쪽이 낫다. 어느 쪽을 고를지는 자료가 아니라 무엇을 더 나쁘게 볼 것인가가 정한다.

그런데 여기서 한 걸음 더 나가야 한다. 두 지표를 각각 보는 것으로는 절차가 정말 더 나은지를 알 수 없다. 이유는 이렇다. 어떤 절차가 지목을 전반적으로 덜 하게 만들면, 옳은 지목과 틀린 지목이 함께 줄어든다. 그것은 절차가 두 가지를 더 잘 가려낸다는 뜻이 아니라 더 조심스러워졌다는 뜻일 뿐이다. 반대로 같은 조심성으로 맞추어 놓고 견주면 결론이 달라질 수 있다.

그래서 이 물음을 다루려면 "얼마나 잘 가려내는가"와 "얼마나 조심스러운가"를 갈라 주는 틀이 필요하다. 그 틀이 12장의 신호탐지이론이다.

그리고 이것이 앞 절에서 적은 논쟁의 실제 내용이다. 한동안 널리 권고되던 절차가 뒤집힌 것이 아니라, 그 권고를 떠받치던 분석 방식이 두 가지를 갈라 놓지 못했다는 지적이 나온 것이다. 지금은 어느 쪽이 낫다고 확정되지 않았고, 이 문서는 그 상태를 그대로 적는다.

진행자를 모르게 한다 — 6장의 실험자 기대 효과, 그리고 4장의 은폐. 원리가 그대로 옮겨 왔다.

범인이 없을 수도 있다고 알린다 — 8장의 인출 단서와 이 장의 오정보 효과. 안내 없는 절차는 "이 안에 있다"를 전제로 깔고, 전제가 깔린 물음이 답을 만든다는 것을 이 장 앞부분에서 보았다.

함께 세우는 사람들을 진술에 맞춰 고른다 — 4장의 통제 조건. 견줄 것이 제대로 갖춰져야 결론이 나온다. 용의자만 진술과 맞는 지목 절차는 조건이 하나뿐인 실험과 같다.

지목 직후에 확신을 적는다 — 이 장의 섬광기억 절과 오정보 절. 확신은 뒤에 들어오는 것으로 바뀌므로, 바뀌기 전의 값을 남겨 두어야 한다.

절차를 기록한다 — 6장의 사전등록과 성질이 같다. 나중에 재구성할 수 없도록 그 시점에 남겨 두는 것이다.

이 대응을 짚어 보는 것이 이 예제의 목적이다. 이 절차 개선은 목격자 연구에서만 나온 특수한 규칙이 아니라, 이 문서가 3장부터 세워 온 방법론이 하나의 실무 장면에 그대로 적용된 것이다. 그리고 그것이 이 문서가 방법론을 앞쪽 본체에 둔 이유이기도 하다.

모범답안. 이 주장은 방향은 옳게 잡았으나 결론이 자료보다 훨씬 강하다. 옳게 잡은 부분부터 적으면, 목격자의 진술이 절차에 따라 크게 달라진다는 것과 확신이 정확성의 좋은 지표가 아니라는 것은 이 장이 다룬 대로 확인된 결과다. 그러나 "쓰지 말아야 한다"로 가는 데에는 세 가지가 빠져 있다. 첫째, 이 장의 결과는 기억이 언제나 어긋난다는 것이 아니라 어떤 조건에서 어긋나는가를 밝힌 것이다. 그 조건들이 밝혀졌기 때문에 그것을 줄이는 절차가 만들어졌고, 잘 짜인 절차에서 얻은 지목은 그렇지 않은 것과 같은 무게로 다룰 수 없다. 둘째, 오염되지 않은 절차의 첫 확신은 상당한 정보를 담는다는 것이 지금의 다수설이다. "확신은 쓸모없다"는 옛 서술을 근거로 삼으면 지금의 자료와 어긋난다. 셋째, 대안의 비용이 계산에 들어 있지 않다. 목격자 진술을 통째로 배제하면 다른 증거가 없는 사건에서 아무 판단도 할 수 없게 되고, 그 결과가 더 나은지는 이 장의 자료가 답하지 않는다. 그러므로 정확한 형태는 이렇다 — "목격자의 진술은 그것이 어떤 절차로 얻어졌는지와 함께 평가되어야 한다. 절차가 그 진술의 값어치를 크게 바꾸며, 그것이 이 분야가 실제로 제안해 온 것이다."

답에 반드시 들어가야 하는 것.

• 이 장의 결과가 "조건"에 대한 것이라는 지적
• 절차의 좋고 나쁨에 따라 같은 종류의 증거를 다르게 다뤄야 한다는 결론
• 확신에 대한 서술이 바뀌었다는 표시. 옛 서술을 그대로 쓰면 안 된다

다르게 답해도 되는 범위. 목격자 진술의 무게를 지금보다 훨씬 낮게 두어야 한다는 답은 좋다. 실제로 그 방향의 권고가 있고, 판단하는 사람들에게 이 분야의 결과를 설명하는 절차를 두자는 제안도 있다. 반대로 잘 짜인 절차의 지목은 상당히 믿을 만하다는 답도 좋다. 다만 "기억은 믿을 수 없다"를 근거로 삼는 답은 오답이다. 그것은 이 장의 결론이 아니라 이 장을 뭉뚱그린 것이고, 6장에서 본 "심리학은 다 엉터리다"와 같은 종류의 잘못이다.

모범답안. 정의를 확인하는 일이라면 어느 사례든 같은 작업을 거치므로 판단 시간이 체계적으로 갈릴 이유가 없다. 그런데 갈리고, 그 방향이 전형성 평정과 나란히 간다. 이것을 구하려는 쪽에서는 그 차이가 개념의 구조가 아니라 낱말을 알아보는 단계에서 생겼다고 말할 수 있고, 그 반론은 낱말이 쓰이는 빈도를 맞춰 놓고 견주는 것으로 검사된다.

문제가 되는 이유. 정의를 만족하는지 따지는 일이라면, 어떤 사례든 자질 목록을 확인하는 같은 작업을 거친다. 그러면 판단 시간이 이렇게 체계적으로 갈릴 이유가 없다. 그리고 갈리는 방향이 전형성 평정과 나란히 간다는 것이 우연으로 보기 어렵다.

가장 강한 반론. 판단 시간의 차이가 개념의 구조가 아니라 다른 것에서 온다는 것이다. 전형적인 사례는 대개 더 자주 만나는 것이고, 그 낱말을 더 자주 읽고 말한다. 그러면 그 낱말을 알아보는 데 걸리는 시간부터 짧을 것이다. 판단 시간의 차이가 낱말을 알아보는 단계에서 이미 생긴 것이라면, 개념의 구조에 대해서는 아무것도 말하지 않는다. 이것은 진지한 반론이고 실제로 제기되었다.

어떻게 검사하는가. 낱말이 얼마나 자주 쓰이는지를 재서 맞춰 놓고 견주면 된다. 자주 쓰이는 정도가 같은 두 낱말 가운데 하나는 전형적이고 하나는 덜 전형적인 짝을 골라 판단 시간을 비교하는 것이다. 4장의 말로 하면 혼입변수를 짝맞춤으로 통제하는 것이다. 그리고 판단 자체를 요구하지 않는 과제 — 그냥 낱말을 읽게 하는 과제 — 에서도 같은 차이가 나오는지 보면, 그 차이가 어느 단계에서 생겼는지 알 수 있다.

이 예제가 보이는 것은 "시간 차이가 났다"는 자료가 그 자체로는 어느 단계의 이야기인지 말해 주지 않는다는 점이다. 어느 단계인지를 정하는 것은 자료가 아니라 그 자료를 얻은 설계다.

답에 반드시 들어가야 하는 것.

• 정의 관점이라면 시간 차이가 생길 이유가 없다는 지적
• 반론을 반박하기 쉬운 형태로 요약하지 않을 것. 낱말 수준의 대안 설명을 실제로 세울 것
• 그 반론을 검사하는 방법 — 빈도를 맞춰 놓고 견주기, 또는 판단을 요구하지 않는 과제와 견주기

다르게 답해도 되는 범위. 다른 반론을 드는 답도 좋다. 전형성 평정 자체가 판단 시간의 영향을 받아 만들어졌을 수 있다는 지적도 진지한 반론이다. 검사 방법도 여러 가지가 가능하다. 다만 "정의 관점은 낡았으니 틀렸다"로 끝내는 답은 오답이다. 왜 틀렸는지를 자료로 보이는 것이 이 예제가 요구하는 것이다.

설명. 전형적인 사례에서 얻은 사실은 그 범주 전체로 잘 넓혀지고, 가장자리 사례에서 얻은 사실은 덜 넓혀진다. 이것은 전형성 효과가 나타나는 표준적인 자리 가운데 하나다. 범주가 "들어가거나 안 들어가거나"의 두 값이라면 어느 구성원에서 얻은 사실이든 똑같이 넓혀져야 하므로, 이 결과도 앞 절의 결론을 떠받친다.

비합리적인가 — 그렇게 보기 어렵다. 이 점이 이 예제의 핵심이다. 전형적인 구성원은 대개 그 범주의 다른 구성원들과 공통점이 많고, 가장자리 구성원은 특이한 점을 여럿 갖는다. 그러므로 전형적인 사례에서 얻은 사실이 실제로 더 잘 일반화될 가능성이 높다. 이 판단은 어림잡은 것이지만 근거가 없는 것이 아니다.

이 구별을 이 장 전체에 걸쳐 붙들고 있어야 한다. 어림잡는 방식이 어떤 상황에서 틀린 답을 낸다는 것과 그 방식이 나쁜 방식이라는 것은 다른 이야기다. 이 장 뒤쪽에서 볼 어림법들도 마찬가지다. 그것들이 연구자의 관심을 끈 이유는 틀리는 사례를 만들어 낼 수 있기 때문이지 그 방식이 대체로 나쁘기 때문이 아니다. 실험실에서 틀리게 만들 수 있다는 것과 실제 상황에서 자주 틀린다는 것 사이에는 네 물음의 넷째가 놓여 있다.

바꾼 것은 문제 공간의 "쓸 수 있는 수" 목록이다. 상자가 압정을 담고 있으면 그 상자는 "용기"라는 쓰임으로 보이고, 그 상태에서 상자는 재료가 아니라 포장이다. 따로 놓여 있으면 그것이 하나의 물건으로 보이고, 받침으로 쓰는 수가 목록에 들어온다.

여기서 짚어야 할 것이 셋이다.

첫째, 두 조건에 주어진 물건은 완전히 같다. 달라진 것은 배치뿐이다. 그러므로 이 차이는 참가자가 가진 지식이나 능력의 차이가 아니라 문제가 제시된 방식의 차이다.

둘째, 이것이 "더 열심히 생각하면 풀린다"는 조언이 잘 듣지 않는 이유를 설명한다. 막힌 것이 길을 찾는 단계가 아니라 후보를 세우는 단계이므로, 같은 후보 목록 안에서 더 열심히 찾아도 답이 나오지 않는다.

셋째, 이 결과에서 "창의성을 기르는 법"으로 건너뛰면 안 된다. 이 실험이 보인 것은 특정 과제에서 배치를 바꾸면 성적이 달라진다는 것이고, 사람이 일반적으로 더 유연해지게 만드는 방법에 대해서는 아무것도 말하지 않는다. 네 물음의 넷째다.

가장 효율적인 제안은 짐작에 어긋나는 것이다. 예를 들어 "1, 2, 3" 이나 "3, 7, 100" 처럼 2씩 커지지 않는 셋을 내놓는 것이다.

왜 그런가. 두 경우를 따져 보면 된다. 그것이 "맞다"고 나오면 짐작이 틀렸다는 것이 한 번에 드러난다. "아니다"라고 나오면 짐작이 살아남고, 게다가 규칙이 그 방향으로는 넓지 않다는 것까지 알게 된다. 어느 쪽 답이 나와도 무언가를 얻는다.

사람들이 대개 제안하는 것은 "8, 10, 12" 같은 것이다. 짐작에 맞는 예다. 그리고 이것은 거의 언제나 "맞다"고 나온다.

왜 덜 유용한가. 어느 쪽 답이 나오든 얻는 것이 적기 때문이다. "맞다"가 나오는 것은 짐작이 옳을 때도, 짐작보다 넓은 규칙일 때도 마찬가지다. 그러므로 이 결과는 두 경우를 구별하지 못한다. 어떤 검사가 유용한지는 그 검사가 두 가능성을 갈라 주는가로 정해지지, 지지하는 결과가 나오는가로 정해지지 않는다.

여기서 이 절차를 읽을 때의 주의도 하나 적어 둔다. 이 결과를 "사람은 반증을 싫어한다"로 읽는 것은 지나치다. 맞는 예를 시험하는 것은 대부분의 일상 상황에서 나쁜 전략이 아니고, 이 과제가 특별한 이유는 규칙이 짐작보다 넓게 설계되어 있기 때문이다. 그리고 짐작이 실제 규칙보다 넓거나 어긋난 경우라면 맞는 예를 시험하는 것도 정보를 준다. 이 과제가 보이는 것은 사람의 성향이라기보다 이 구조에서 무엇이 필요한가이다.

나를 쓸 수 있고 가는 쓸 수 없다.

가가 안 되는 이유가 셋이다. 첫째, "못 한다"가 자료보다 강하다. 같은 사람들이 표현을 바꾸면 상당히 잘 답한다. 못 하는 것이 아니라 어떤 표현에서 다른 방식을 쓰는 것이다. 둘째, "사람은"이 표본을 지운다. 어떤 표본에서 얼마나 자주 나타나는지가 빠졌다. 셋째, 결론의 방향이 성향에 대한 주장으로 넘어갔다. 자료가 보인 것은 특정 문항에서의 응답 분포이고, 이 서술은 사람의 판단 능력 전반에 대해 말한다.

나가 되는 이유. 조건을 달았다. 어떤 표현에서 나타나는지, 무엇을 바꾸면 달라지는지가 문장 안에 있다. 그리고 이 문장은 검사할 수 있다 — 표현을 바꿔 재 보면 된다.

여기에 하나를 덧붙일 만하다. 나가 가보다 재미없어 보인다는 것이 이 분야의 어려움 가운데 하나다. 조건이 붙은 서술은 옮겨지면서 조건이 떨어져 나가고, 남는 것은 가 같은 문장이다. 9장에서 본 출처 혼동과 같은 일이 여기서도 일어난다 — 내용은 남고 그 내용에 붙어 있던 조건은 남지 않는다.

없어지지 않는다는 보고가 많다. 그것이 이 효과가 주목받은 이유 가운데 하나다. 무작위로 정해졌다고 알려 주어도, 심지어 참가자가 직접 주사위를 굴려 그 수를 만들어도 밀림이 남는다는 결과가 보고되었다.

왜 그런가에 대한 설명은 하나로 정리되지 않았다. 그 수를 출발점으로 삼고 거기서 조정해 나가는데 조정이 충분치 않다는 설명, 그 수가 그것과 어울리는 정보를 함께 떠올리게 만든다는 설명이 각각 제안되었다. 어느 쪽이든 "무시하라"는 지시로 없어지지 않는다는 것이 요점이다.

여기서 이 결과를 읽는 법을 정확히 해 두자. 이 결과가 말하는 것은 "사람이 어리석다"가 아니라 "판단이 놓인 자리에 딸려 있다"이다. 그리고 그렇기 때문에 실무적 결론이 나온다 — 추정을 받아야 하는 자리에서는 먼저 수를 보이지 않는 절차를 짜야 한다. 9장의 지목 절차와 같은 구조의 결론이다. 사람의 주의력을 요구하는 대신 절차를 고친다.

마지막으로 네 물음의 셋째를 걸어 두자. 이 효과의 크기는 상황에 따라 크게 다르다. 그 양에 대해 아는 것이 많은 사람에게는 밀림이 작고, 아는 것이 거의 없는 양일수록 크다. "기준점 효과가 있다"는 것과 "어떤 판단에서든 크게 나타난다"는 것은 다른 주장이다.

모범답안. 이 결론에는 두 가지 잘못이 겹쳐 있다. 첫째, 목록의 항목들이 같은 무게를 갖지 않는다. 이 절에서 본 대로, 여러 나라의 대규모 재현에서 되풀이된 항목이 있고, 표현을 바꾸면 크게 줄어드는 항목이 있으며, 대규모 재현에서 효과가 거의 0으로 나와 6장이 재현 실패로 분류한 항목도 있다. 그것들을 한 줄에 늘어놓고 개수를 세는 것은 세는 단위를 확인하지 않은 것이다. 둘째, "틀리게 만들 수 있다"에서 "대체로 틀린다"로 건너뛰었다. 이 목록의 항목들은 대부분 그 방식이 틀린 답을 내도록 일부러 만든 과제에서 얻어졌다. 그런 과제가 있다는 것은 그 방식에 조건이 붙는다는 뜻이지, 그 방식이 평소에 나쁘게 작동한다는 뜻이 아니다. 실제로 이 어림법들은 정보가 적고 시간이 없는 상황에서 대체로 쓸 만한 답을 낸다. 그러므로 정확한 형태는 이렇다 — "판단이 어떤 조건에서 체계적으로 어긋나는지가 알려져 있다. 그 조건들은 항목마다 다르고 근거의 강도도 다르다. 중요한 판단에서는 그 조건을 피하는 절차를 두는 것이 답이지, 판단 전체를 불신하는 것이 답은 아니다."

답에 반드시 들어가야 하는 것.

• 항목마다 재현 상태가 다르다는 지적. 최소한 잘 버틴 것 하나와 흔들린 것 하나를 대기
• 실험 과제가 그 방식을 틀리게 만들도록 설계되었다는 지적
• "그러므로 절차로 다룬다"는 결론

다르게 답해도 되는 범위. 이 목록의 실무적 값어치를 높게 보는 답도, 낮게 보는 답도 좋다. 실제로 이 결과들을 정책과 설계에 옮기는 시도가 이어졌고 그 효과의 크기에 대한 평가는 갈린다. 다만 "사람은 비합리적이다"로 끝내는 답은 오답이고, "다 재현 실패했으니 볼 것 없다"는 답도 오답이다. 둘 다 항목을 따로 보지 않은 결론이다.

같은 것을 말한다. 두 문장에서 나오는 수는 서로를 완전히 결정한다. 한쪽을 알면 다른 쪽이 자동으로 정해진다.

가로 적힌 것을 읽은 쪽이 더 그 처치를 받으려 하는 경향이 여러 연구에서 보고되었다. 살아남는 쪽으로 적힌 서술이 더 낫게 읽힌다.

여기서 세 가지를 짚어 둘 만하다.

첫째, 둘 다 정직한 서술이다. 어느 쪽도 거짓이 아니고 어느 쪽도 숨기는 것이 없다. 그런데도 읽는 사람의 판단이 달라진다. 그래서 이 문제는 정직함으로 해결되지 않는다.

둘째, 그러므로 "양쪽으로 적어 주는 것"이 해법이 된다. 실제로 위험을 알리는 여러 지침이 이렇게 권고한다. 두 표현을 나란히 놓으면 어느 한쪽이 만드는 기울기가 줄어든다.

셋째, 이 예제를 독자가 자기 상황에 적용하는 쪽으로 읽지 말아야 한다. 이 예제가 다루는 것은 숫자를 적는 방식이 판단에 미치는 영향이지, 어떤 선택이 옳은가가 아니다. 어떤 결정을 해야 하는 자리라면 그 결정에 필요한 정보는 이 문서 바깥에 있다.

모범답안. 표현이 선택을 바꾼다는 것은 여러 나라의 표본에서 되풀이 확인된 사실이다. 그것을 비합리라고 부를 것인지는 다른 물음이며, 두 표현이 실어 나르는 것이 정말 같은가라는 진지한 반론이 있다. 그리고 어느 쪽으로 부르든 실무적 결론은 같다.

주장이 옳게 짚은 부분. 같은 내용에 대해 표현에 따라 다른 선택을 하는 것은 선택 이론의 기본 요구 하나를 어긴다. 그리고 그 어김이 여러 나라의 표본에서 되풀이 확인된다는 것도 맞다.

가장 강한 반론. 두 표현이 정말로 같은 것을 전달하는가를 물을 수 있다. 사람들이 주고받는 말에는 문자 그대로의 내용 말고도 말하는 사람이 무엇을 중요하게 여기는가가 함께 실린다. "90%가 잘 지냈다"를 고른 화자와 "10%가 문제를 겪었다"를 고른 화자는 서로 다른 것을 강조하고 있고, 듣는 사람이 그것을 읽어 내는 것은 잘못이 아니라 말을 제대로 알아듣는 일일 수 있다. 이 반론은 진지하게 제기되어 왔고, 표현을 고른 것이 화자인지 실험자인지를 조작한 연구들도 있다.

판정. 이 문서는 어느 한쪽으로 결론짓지 않는다. 말할 수 있는 것은 이렇다 — "표현이 선택을 바꾼다는 것은 잘 확인된 사실이다. 그것을 '비합리'라고 부를 것인지는 무엇을 합리로 볼 것인가에 달려 있고, 그 물음은 심리학의 자료만으로 결정되지 않는다."

그리고 실무적으로는 이 판정이 필요하지 않다는 점이 중요하다. 어느 쪽으로 부르든 중요한 결정에서는 양쪽 표현을 다 보아야 한다는 결론은 같다. 철학 문서가 합리성 자체를 다루므로, 그 물음은 그쪽에 맡긴다.

답에 반드시 들어가야 하는 것.

• 이 현상이 실제로 확인되었다는 인정
• 반론을 가장 강한 형태로 — 두 표현이 실어 나르는 것이 정말 같은가
• "비합리"라는 판정이 심리학 자료만으로 정해지지 않는다는 구별

다르게 답해도 되는 범위. 이것을 비합리라고 부르는 답도, 부르지 않는 답도 좋다. 무엇을 합리로 볼 것인지가 그 답을 정하고, 그 물음은 이 문서가 정하지 않는다. 다만 "사람은 비합리적이다"로 끝내면서 반론을 다루지 않는 답은 오답이고, "그러니 이 결과는 별것 아니다"로 가는 답도 오답이다. 표현이 선택을 바꾼다는 사실은 어느 쪽 판정에서도 그대로 남는다.

무엇을 묻는가. 경보가 울린 것들 가운데 위조의 비율이다. "위조일 때 경보가 울릴 확률"이 아니라 "경보가 울렸을 때 위조일 확률"이다. 이 둘을 뒤집어 읽는 것이 이 유형에서 가장 흔한 실수다.

무엇을 아는가. 전체 1,000장, 위조 2장, 위조를 놓치지 않음, 진짜에 대한 경보 비율 2%.

어떻게 푸는가. 확률 공식을 쓰지 않고 개수를 센다.

계산. 경보가 울린 것은 약 22장이고 그중 위조는 2장이다.

$\frac{2}{22}\approx 0.091$

답은 약 9%다. 열 번 울리면 아홉 번은 진짜 지폐다.

답이 말이 되는가. 감별기가 위조를 하나도 놓치지 않는데도 경보의 대부분이 헛것이다. 이상해 보이지만 개수를 보면 당연하다. 잡을 수 있는 위조가 2장뿐인데, 진짜는 998장이나 되어서 2%만 잘못 걸려도 20장이 나온다. 기저율이 작으면 진짜의 최대 개수 자체가 작다.

여기서 흔한 실수 둘을 짚어 두자. 첫째, "진짜에 대한 오경보가 2%니까 답은 98%"라고 답하는 것. 이것은 물음을 뒤집어 읽은 것이다. 둘째, 기저율을 아예 쓰지 않는 것. 감별기의 성능 두 값만 가지고는 이 물음에 답할 수 없다. 세 번째 정보가 반드시 필요하다.

개수를 센다.

$\frac{90}{585}\approx 0.154$

답은 약 15%다. 여섯 번에 다섯 번은 멀쩡한 부품을 걸러낸 것이다.

무엇을 바꿔야 이 값이 오르는가. 세 가지 길이 있고, 각각의 효과가 다르다.

첫째, 정상에 대한 오표시를 줄인다. 이것이 가장 크게 듣는다. 5%를 1%로 낮추면 정상 쪽 표시가 495에서 99로 줄어, $\frac{90}{189}\approx 0.476$ 이 된다. 세 배 넘게 오른다. 이유는 오표시가 걸리는 무리가 훨씬 크기 때문이다.

둘째, 불량을 잡아내는 비율을 올린다. 90%를 100%로 올려도 90이 100이 될 뿐이라 $\frac{100}{595}\approx 0.168$ 이다. 거의 달라지지 않는다.

셋째, 기저율 자체를 바꾼다. 공정을 고쳐 불량이 100개에서 500개로 늘면 — 물론 원하는 일은 아니지만 — 같은 검사기로도 이 값이 크게 오른다. 반대로 불량이 더 드물어지면 이 값은 더 떨어진다. 검사기를 그대로 두어도 찾는 것이 흔해지면 표시의 신뢰도가 오른다.

이 셋을 함께 보는 것이 이 예제의 목적이다. "검사가 얼마나 정확한가"라는 물음에는 답이 하나가 아니다. 잡아내는 능력, 헛되이 잡는 비율, 그리고 찾는 것이 얼마나 흔한가 — 셋이 함께 답을 정한다. 이 셋을 갈라 다루는 수학적 틀이 신호탐지이론이고 12장이 그것을 세운다.

100대를 놓고 센다.

$\frac{12}{29}\approx 0.414$

답은 약 41%다. 목격자가 80%의 정확도를 가졌는데도, 그 진술이 맞을 확률은 절반이 안 된다.

왜 그런가. 초록 택시가 훨씬 많으므로, 초록을 파랑으로 잘못 보는 일이 20%만 일어나도 그 수(17)가 파랑을 제대로 본 수(12)보다 많아진다. 목격자의 정확도가 아무리 좋아도 기저율이 그 반대편으로 크게 기울어 있으면 진술의 값어치가 그만큼 깎인다.

9장과의 이음새. 9장에서 목격자의 확신이 정확성과 나란히 가지 않는다는 것을 보았다. 이 예제는 다른 걸음을 더한다. 목격자가 실제로 정확하더라도, 그 진술이 가리키는 것이 드물면 그 진술만으로 결론을 낼 수 없다. 두 가지가 겹치면 목격자 진술 하나에 기대는 판단이 왜 위험한지가 분명해진다.

그리고 여기에 한 가지를 덧붙여야 정확하다. 이 계산은 다른 정보가 전혀 없을 때의 값이다. 사고가 난 시각과 장소에 어느 회사 택시가 더 많이 다녔는지 같은 정보가 있으면 기저율 자체가 달라진다. 기저율은 "그 도시 전체의 비율"이 아니라 "이 상황에 해당하는 비율"이어야 한다. 어떤 기저율을 쓸 것인가가 실제 문제에서는 계산보다 어려운 부분이다.

모범답안. 어떤 판단이 빨리 나오고 틀렸을 때 그것을 "저절로 일어나는 처리였기 때문"이라고 설명하면서, 그것이 저절로 일어나는 처리였다는 것을 다시 빨리 나오고 틀렸다는 사실로 아는 구조가 순환이다. 벗어나려면 어느 쪽 처리인지를 결과와 따로 정할 수 있어야 하고, 그 방법이 처리의 성격을 조작하는 것이다.

순환적이라는 것은 설명이 설명하려는 것에서 나온다는 뜻이다.

이 틀에서 그 구조는 이렇게 생긴다. 어떤 판단이 빨리 나오고 틀렸다. "저절로 일어나는 처리였기 때문"이라고 설명한다. 그런데 그것이 저절로 일어나는 처리였다는 것을 무엇으로 아는가? 빨리 나오고 틀렸기 때문에다. 설명이 자료를 다시 말한 것에 지나지 않는다.

벗어나려면 어느 쪽 처리인지를 결과와 따로 정할 수 있어야 한다. 방법이 있다. 처리의 성격을 조작하는 것이다 — 시간을 촉박하게 하거나, 다른 과제를 함께 시켜 주의를 나누게 하거나, 반대로 충분히 생각할 시간을 주고 소리 내어 따져 보게 한다. 그러고 나서 결과가 예측한 방향으로 달라지는지 본다.

이렇게 하면 이 틀이 무엇을 금지하는지가 생긴다. 주의를 나누게 했는데 판단이 달라지지 않으면 그 예측이 빗나간 것이다. 금지하는 것이 있어야 검사할 수 있고, 검사할 수 있어야 설명이 된다.

그리고 이 예제가 이 장 앞부분과 이어진다는 점을 짚어 두자. 웨이슨의 과제에서 짐작에 맞는 예만 시험하면 짐작이 좁은지 알 수 없었다. 순환적인 설명도 같은 자리에 있다 — 어긋날 수 있는 자리를 만들지 않으면 확인도 되지 않는다.

답에 반드시 들어가야 하는 것.

• 순환의 구조를 이 틀의 구체적인 문장으로 보일 것. 정의만 적는 답은 부족하다
• 벗어나는 방법 — 처리의 성격을 결과와 따로 정하는 조작
• 그렇게 하면 이 틀이 무엇을 금지하게 되는지

다르게 답해도 되는 범위. 순환을 벗어나는 다른 방법을 제안해도 좋다. 반응 시간이나 눈의 움직임처럼 결과와 따로 얻어지는 지표를 쓰자는 답, 어느 쪽 처리인지를 미리 예측해 두고 자료를 보자는 답 모두 정당하다. 다만 "순환적이므로 이 틀은 쓸모없다"로 끝내는 답은 오답이다. 순환은 이 틀을 쓰는 어떤 방식의 문제이지 이 틀 자체가 반드시 그렇다는 것이 아니다.

자료가 지지하는 부분. 시간 압박이라는 조작이 응답 분포를 바꿨다는 것. 이것은 조작과 측정이 있는 실험 결과이고, 이런 종류의 결과는 여러 절차에서 되풀이되었다.

지지하지 않는 부분이 둘이다.

첫째, "체계 1이 지배했다"는 자료를 다시 말한 것이지 설명이 아니다. 관찰된 것은 "시간이 없으면 답이 달라진다"이고, 그 문장을 다른 이름으로 부른 것이 결론이다. 앞 예제의 순환이다.

둘째, 시간 압박이 무엇을 바꿨는지가 정해지지 않았다. 후보가 여럿이다 — 따져 볼 시간 자체가 줄었을 수도, 서두르는 상황이 주는 긴장이 영향을 주었을 수도, 참가자가 "빨리 답하라"는 요구를 "정확도보다 속도를 원한다"로 읽었을 수도 있다. 마지막 것은 5장에서 본 요구특성이다.

정확한 서술. "시간을 촉박하게 하면 어림잡은 답을 고르는 비율이 오른다. 이것은 시간이 판단에 들어온다는 것을 보이며, 무엇이 그 변화를 만들었는지는 조작을 더 갈라야 정해진다."

여기서 하나 덧붙일 만하다. 이름 붙이기가 설명처럼 느껴지는 것이 이 틀의 가장 큰 위험이다. 두 체계라는 말이 워낙 익숙해서, 그 이름을 붙이는 순간 이해했다는 느낌이 온다. 8장에서 본 유창성 착각과 성질이 같다 — 매끄럽게 읽히는 것이 아는 것으로 잘못 읽힌다.

모범답안. 이 문장은 지금 알려진 것보다 강하다. 정확히 말하면 이렇게 갈라야 한다. 첫째, 처리의 두 성격을 구분하는 것은 유용하고 널리 쓰인다. 애쓰지 않고 나오는 판단과 따져서 나오는 판단은 실제로 다르게 움직이고, 주의나 시간을 조작하면 그 차이가 체계적으로 드러난다. 이것이 이 틀이 다수설인 이유다. 둘째, 그러나 "두 개의 체계를 가지고 있다"는 실체에 대한 주장이고, 그 주장은 지지되지 않는다. 이 그림이 묶어 놓은 성질들 — 빠름, 저절로 일어남, 의식되지 않음 — 이 하나로 붙어 다닌다는 근거가 약하다는 지적이 이어졌고, 이 틀에 기대어 소개된 개별 결과 여럿이 대규모 재현에서 무너졌다. 셋째, 그리고 이 틀을 널리 알린 책 자체가 두 체계를 지어낸 인물이라고 밝히고 있다. 그러므로 이 문서의 서술은 이렇다 — "판단에는 애쓰지 않고 나오는 쪽과 따져서 나오는 쪽이 있고, 이 구분은 연구를 조직하는 데 유용하다. 그것이 머릿속의 두 장치를 가리킨다는 뜻은 아니며, 이 틀 아래 소개되는 개별 결과는 각각 따로 확인해야 한다."

답에 반드시 들어가야 하는 것.

• 틀로서의 쓸모와 실체 주장을 갈라내는 구별
• 흔들린 근거 최소 하나 — 성질들이 함께 가지 않는다는 지적, 또는 개별 결과의 재현 실패
• 그렇다고 이 틀을 버리라는 결론으로 가지 않을 것

다르게 답해도 되는 범위. 이 틀의 값어치를 높게 보는 답도, 낮게 보는 답도 좋다. 이 구분이 없으면 여러 결과를 함께 볼 수 없다고 보는 답에는 근거가 있고, 반대로 이 구분이 서로 다른 것들을 뭉뚱그려 연구를 잘못된 방향으로 이끌었다고 보는 답에도 근거가 있다. 다만 "체계 1과 체계 2가 있다"를 사실로 적는 답은 오답이고, "전부 재현 실패했으므로 이 틀은 폐기되었다"는 답도 오답이다. 뒤의 것은 틀과 개별 결과를 다시 뭉뚱그린 것이다.

가와 다가 증거가 되고 나는 아니다.

다가 가장 좋은 증거다. 새 문장을 만들고 그것이 알아들어진다는 것은, 말하는 쪽과 듣는 쪽이 문장 목록이 아니라 규칙을 공유하고 있다는 뜻이다. 목록을 공유하는 것만으로는 목록에 없는 것을 알아들을 수 없다.

가도 증거가 된다. 같은 일이 낱말 층에서 일어난 것이다. 새 낱말이 알아들어지려면 그 낱말을 만드는 규칙이 공유되어 있어야 한다.

나가 아닌 이유. 많이 안다는 것은 목록의 크기에 대한 말이다. 목록이 아무리 커도 그것으로 새것을 만들 수 있다는 뜻은 아니다. 생산성은 양이 아니라 구조에 대한 성질이다.

이 구별이 이 장 전체에서 되풀이된다. 뒤에서 "낱말이 몇 개인가"를 근거로 사고에 대한 결론을 내리는 주장을 만나게 되는데, 그때 이 예제의 나가 왜 탈락했는지를 떠올리면 된다.

모범답안. 낱말을 외운 것은 낱말 층 하나를 채운 것이고, 문장을 만드는 일은 그 위의 통사와 화용이 맡는다. 게다가 아래쪽의 음소 층이 채워지지 않으면 들리는 것을 낱말로 자르지 못해, 아는 낱말이 나와도 알아채지 못한다. 층마다 다른 종류의 규칙이 있으므로 한 층을 채운 것이 다른 층을 주지 않는다.

한 층을 채운 것이 위층을 주지 않는다. 그것이 이 그림의 요점이다.

낱말을 아는 것은 낱말 층을 채운 것이다. 문장을 만들려면 그 위의 통사가 필요하고, 그 문장이 그 상황에서 무엇을 하는지 알려면 화용이 필요하다. 세 층이 각각 다른 종류의 규칙을 갖는다.

그리고 아래쪽에서도 걸린다. 음소 층이 채워지지 않으면 들리는 것을 낱말로 자르지 못한다. 자기 언어에 없는 소리 구별은 처음에 잘 들리지 않고, 그래서 아는 낱말이 나와도 알아채지 못한다. 이 문제는 낱말을 더 외워서 풀리지 않는다.

여기서 조심할 것 하나. 이 설명은 "어떻게 배워야 하는가"에 대한 답이 아니다. 층이 여럿이라는 것과 어느 순서로 무엇을 연습해야 하는가는 다른 물음이고, 뒤의 물음은 이 장이 다루는 자료로 답할 수 없다. 8장의 간격 효과와 인출 연습처럼 학습 일반에 대해 확인된 것은 여기에도 적용되지만, 언어 학습에 고유한 처방은 이 문서의 범위 밖이다.

답에 반드시 들어가야 하는 것.

• 낱말 층 위의 층을 최소 하나 짚을 것
• 아래쪽 음소 층도 걸린다는 지적. 위쪽만 말하면 절반이다
• 층마다 다른 종류의 규칙이 있다는 일반화

다르게 답해도 되는 범위. 어느 층이 가장 큰 걸림돌인지는 사람과 언어 짝에 따라 다르므로 어느 쪽을 앞세워도 좋다. 형태소 층을 따로 짚는 답도 좋다. 다만 "낱말을 더 외우면 된다"로 끝내는 답은 오답이고, 이 자료에서 곧바로 학습법을 끌어내는 답도 오답이다.

놓치는 것은 그 사이에 일어난 일이 "배움"이라는 점이다.

처음에 맞게 말한 것은 그 형태를 통째로 익혔기 때문일 수 있다. 그 단계의 아이는 그 낱말과 다른 낱말들 사이의 관계를 아직 다루지 않는다. 그러다 규칙을 뽑아내면, 그 규칙을 모든 경우에 적용한다. 그 결과가 앞서 맞게 말하던 것까지 규칙대로 바꿔 말하는 것이다.

그러므로 성적 곡선은 내려갔지만 아는 것은 늘었다. 통째로 외운 항목 하나에서 여러 경우에 적용되는 규칙 하나로 옮겨 간 것이다. 그다음 단계는 그 규칙에 예외가 있다는 것을 배우는 일이고, 그때 다시 맞게 말하게 된다.

이 구조를 붙잡아 두는 것이 이 예제의 목적이다. 겉으로 보이는 성적이 내부의 변화를 그대로 보이지 않는다. 7장의 잠재학습에서는 성적이 그대로인데 배우고 있었고, 여기서는 성적이 내려가는데 배우고 있다. 두 경우 모두 성적만 보면 거꾸로 읽는다.

덧붙일 것 하나. 이 현상을 모든 아이가 반드시 거치는 단계로 적으면 지나치다. 이 형태가 나타나는 비율과 기간은 아이마다 크게 다르고, 어떤 아이에게는 거의 관찰되지 않는다. 이 관찰이 보이는 것은 그런 일이 일어난다는 것이고, 그것만으로도 따라 하기 설명을 반박하기에 충분하다.

문제가 셋이다.

첫째, "계산한다"가 자료보다 강하다. 관찰된 것은 두 종류의 소리 묶음에 대한 반응이 달랐다는 것이다. 그 차이를 만드는 기제가 이어짐의 확률을 셈하는 것인지, 자주 함께 나온 것을 하나로 묶어 두는 것인지, 또 다른 무엇인지는 이 자료로 갈라지지 않는다. 실제로 이 결과를 설명하는 여러 모형이 제안되었고 서로 다른 것을 말한다.

둘째, 인공 자극과 실제 언어 사이에 다리가 필요하다. 이 절차의 소리 줄에는 이어짐의 규칙성 말고 아무 단서도 없도록 일부러 만들어졌다. 그것이 이 실험의 장점이다 — 다른 설명을 잘라 낸다. 그러나 그 장점이 곧 한계이기도 하다. 실제 말에는 억양과 쉼과 상황이 함께 있고, 이 규칙성이 그 가운데 얼마나 쓰이는지는 이 실험이 답하지 않는다.

셋째, "증명되었다"가 하나의 연구에 붙었다. 이 현상은 그 뒤 되풀이 확인되었으므로 결과 자체는 튼튼하지만, 그것은 여러 연구가 쌓인 뒤에 할 수 있는 말이지 한 연구가 주는 말이 아니다.

정확한 서술. "아기는 소리의 이어짐에 있는 규칙성만으로 소리 줄을 나눌 수 있다. 이 결과는 되풀이 확인되었다. 그 힘이 실제 언어 습득에서 어떤 몫을 하는지는 따로 물어야 한다."

모범답안. 이 자료는 다른 결핍이 함께 오지 않은 채 언어를 처음 접한 나이만 달라진 집단을 준다는 점에서 깨끗하다. 그러나 그 나이가 무선배정된 것이 아니므로, 왜 늦게 접했는가와 그 뒤 언어를 얼마나 썼는가가 나이와 뒤엉킨 채 남는다.

깨끗한 이유. 이 물음에서 가장 큰 문제는 "언어를 늦게 접했다"가 대개 다른 결핍과 함께 온다는 것이다. 고립되어 자란 사례가 근거가 되지 못하는 이유가 그것이다. 수어의 경우는 다르다. 가족과 함께 자라고, 먹고 자고 보살핌을 받는 조건은 대체로 갖춰져 있으며, 달라지는 것은 언어를 접한 나이 쪽으로 몰려 있다. 게다가 처음 접한 나이가 사람마다 자연스럽게 달라서, 4장의 말로 자연실험에 가까운 자료가 만들어진다.

그래도 남는 혼입변수.

• 왜 늦게 접했는가. 늦게 접한 이유가 가족의 사정이나 사는 곳의 사정과 이어져 있다면, 그 사정이 다른 경로로도 영향을 줄 수 있다. 처음 접한 나이가 무작위로 정해진 것이 아니다.
• 듣지 못하게 된 시기와 정도. 이것이 사람마다 다르고, 처음 접한 나이와 이어져 있을 수 있다.
• 그 뒤 언어를 얼마나 썼는가. 늦게 시작한 사람이 그 뒤에 쓴 총량도 적을 수 있다. 그렇다면 "언제 시작했는가"와 "얼마나 썼는가"가 뒤엉킨다. 이것을 가르려면 총량을 재서 맞춰 놓고 견주어야 한다.

셋 가운데 마지막이 특히 중요하다. 이 물음의 핵심 주장이 "나이 자체가 정한다"이므로, 총량으로 설명되는 부분을 걷어 내지 않으면 주장이 확인되지 않는다. 그리고 이런 종류의 통제는 통계적으로만 할 수 있어서, 4장에서 본 준실험의 한계가 그대로 남는다.

답에 반드시 들어가야 하는 것.

• 다른 결핍이 함께 오지 않는다는 것이 이 자료의 장점이라는 지적
• 그래도 처음 접한 나이가 무선배정된 것이 아니라는 지적
• 남는 혼입변수 최소 둘

다르게 답해도 되는 범위. 어떤 혼입변수를 꼽을지는 여럿이 가능하다. 조사에 참여할 만한 사람이 따로 있었을 가능성, 검사 자체가 어느 집단에 유리했을 가능성을 드는 답도 좋다. 다만 "준실험이므로 아무 결론도 못 낸다"로 끝내는 답은 오답이다. 4장이 세운 대로, 준실험은 결론을 못 내는 설계가 아니라 어떤 대안 설명이 남았는지를 적어 두어야 하는 설계다.

모범답안. 이 주장은 도달점이 낮아진다는 확인된 결과를 "어느 나이에 끊긴다"는 확정되지 않은 그림으로 바꾸어 놓았고, "늦다"가 어느 지표에 대한 말인지도 밝히지 않았다. 게다가 제1언어와 제2언어의 자료를 뭉뚱그렸다.

이 주장은 두 자리에서 자료보다 강하다.

첫째, "결정적 시기"라는 말이 끊긴 시기를 가리키는데 그것이 확정되지 않았다. 앞의 그림에서 본 대로, 늦을수록 도달점이 낮다는 것과 어느 나이에서 뚝 떨어진다는 것은 다른 주장이다. 뒤의 것은 아직 정해지지 않았고, 최근의 대규모 자료는 그 자리가 흔히 말해지던 것보다 늦다는 쪽을 가리킨다.

둘째, "늦다"가 무엇에 대한 말인지 밝히지 않았다. 이 자료들은 대개 문법 판단과 발음을 잰다. 그 두 지표에서 시작 나이의 영향이 크게 나온다. 반면 어휘를 늘리는 일이나 글을 읽고 쓰는 일에서는 그렇게 크게 나오지 않고, 어른이 아이보다 빨리 배우는 국면도 보고되어 있다. "언어"를 한 덩어리로 놓으면 이 차이가 지워진다. 이 장 첫 절의 층 구조가 여기서 쓰인다.

셋째로 덧붙일 것. 제1언어와 제2언어를 갈라야 한다. 가장 강한 결과는 제1언어를 늦게 접한 경우에서 나온다. 이미 한 언어를 갖춘 사람이 두 번째 언어를 배우는 상황은 사정이 다르고, 실제로 두 경우의 자료는 따로 다뤄진다.

정확한 서술. "일찍 시작할수록 문법과 발음에서 도달점이 높다는 결과가 있다. 어느 나이에 무엇이 끊긴다는 그림은 확정되지 않았고, 지표에 따라 나이의 영향이 다르다."

답에 반드시 들어가야 하는 것.

• "도달점이 낮아진다"와 "어느 나이에 끊긴다"를 갈라내는 구별
• 지표에 따라 나이의 영향이 다르다는 지적
• 제1언어와 제2언어를 갈라야 한다는 지적

다르게 답해도 되는 범위. 일찍 시작하는 것의 값어치를 높게 보는 답도, 낮게 보는 답도 좋다. 발음 쪽 결과를 무겁게 보면 앞의 결론에 가깝고, 문법을 배우는 힘이 늦게까지 유지된다는 최근 자료를 무겁게 보면 뒤의 결론에 가깝다. 다만 "결정적 시기가 있으므로 늦으면 소용없다"로 적는 답은 오답이고, "나이는 상관없다"로 적는 답도 오답이다. 도달점의 차이는 확인된 결과다.

가 — 강한 판본. 그리고 지지되지 않는 형태다. 미래에 대해 말하는 방법은 시제 말고도 여럿이고, 시제가 없는 언어의 화자도 다음에 무슨 일이 있을지에 대해 말하고 계획한다. 이런 형태의 주장은 대개 "그 언어에 X가 없다"는 관찰이 정확한지부터 확인해야 하는데, 확인해 보면 다른 방식으로 표현하고 있는 경우가 대부분이다.

나 — 약한 판본. 특정 과제의 수행에 대한 주장이고, 조건이 붙어 있으며, 검사할 수 있다. 그리고 이런 형태의 주장은 일부 지지된다.

다 — 어느 쪽도 아니다. 이것은 언어에 대한 사실 주장이지 사고에 대한 주장이 아니다. 낱말이 많다는 것에서 생각이 어떻다는 결론은 따라 나오지 않는다. 다음 절이 이 점을 자세히 다룬다.

가와 나의 차이를 다시 짚어 두자. 가는 할 수 없다고 말하고 나는 조금 다르게 한다고 말한다. 이 둘의 거리는 매우 멀다. 그런데 옮겨질 때 나가 가로 바뀌는 일이 자주 일어난다. 10장의 말로 하면, 조건이 붙은 서술에서 조건이 떨어져 나가고 남은 것이 강한 문장이 된다.

두 설명을 갈라 주기 때문이다.

이점이 나타났다는 관찰 하나만으로는 두 설명이 모두 가능하다. 첫째, 언어가 지각 자체를 바꿔 놓았다 — 그 언어를 쓰는 사람은 두 색을 실제로 더 다르게 본다는 것. 둘째, 언어가 과제를 푸는 동안 도구로 쓰였다 — 속으로 두 색에 다른 이름을 붙여 견주는 것이 답을 빠르게 만들었다는 것.

말로 하는 일을 함께 시키면 두 번째 경로가 막힌다. 속으로 이름을 붙일 여유가 없어지기 때문이다. 첫 번째 설명이 옳다면 이점이 그대로 남아야 하고, 두 번째 설명이 옳다면 사라져야 한다. 사라졌으므로 두 번째 쪽이 지지된다.

이 논증의 형태를 눈여겨볼 만하다. 두 설명이 같은 예측을 하는 자리를 피하고, 서로 다른 예측을 하는 자리를 만들어 거기서 잰다. 10장에서 순환적인 설명을 벗어나는 방법으로 말한 것과 같은 구조다.

그리고 이 결과가 약한 판본을 없애지 않는다는 점도 적어야 한다. 언어가 과제를 푸는 도구로 쓰인다는 것 자체가 약한 판본이 주장하는 바다. 무너진 것은 더 강한 해석 — 지각이 바뀌었다는 것 — 이고, 약한 판본은 오히려 정확한 형태를 얻었다.

모범답안. 이 서술은 한쪽 판본만 다루면서 가설 전체를 처리했다. 옳은 부분부터 적으면, 언어가 사고를 결정한다는 강한 판본이 지지되지 않는다는 것은 맞다. 낱말이 없는 구별도 배울 수 있고, 말 이전의 아기와 동물도 범주를 만들며, 번역이 어려울 수는 있어도 불가능하지는 않다. 그러나 이 서술은 약한 판본까지 함께 치워 버린다. 언어가 특정 과제의 수행에 영향을 준다는 주장은 여러 갈래에서 일부 지지되었고, 색·공간·수에서 얻어진 결과들이 있다. 게다가 이 서술은 그 결과들이 왜 나오는지에 대해 알려진 것까지 지운다 — 언어가 과제를 푸는 도구로 쓰인다는 것, 그래서 도구를 못 쓰게 하면 이점이 사라진다는 것. 그러므로 정확한 형태는 이렇다 — "언어가 사고를 결정한다는 판본은 지지되지 않는다. 언어가 특정 과제의 수행에 영향을 준다는 판본은 일부 지지되며, 효과는 대개 작고 조건이 붙는다. 이 둘은 다른 주장이므로 함께 판정할 수 없다."

답에 반드시 들어가야 하는 것.

• 두 판본을 갈라내는 구별
• 강한 판본이 지지되지 않는 근거 최소 하나
• 약한 판본을 지지하는 결과 최소 하나, 그리고 그 효과에 조건이 붙는다는 표시

다르게 답해도 되는 범위. 약한 판본의 결과들을 얼마나 무겁게 볼 것인지는 견해가 갈릴 수 있다. 효과가 작고 과제에 매여 있으므로 "언어가 사고에 영향을 준다"고 부를 만한 것이 아니라고 보는 답에도 근거가 있고, 작더라도 체계적으로 나타나는 것이 중요하다고 보는 답에도 근거가 있다. 어느 쪽으로 답해도 좋다.

다만 "워프 가설은 참이다"로 끝내는 답도, "거짓이다"로 끝내는 답도 오답이다. 두 판본을 가르지 않은 답이기 때문이다. 그리고 "언어마다 낱말이 다르니 생각도 다를 것"이라는 근거를 대는 답도 오답이다. 다음 절이 그 근거가 왜 성립하지 않는지를 다룬다.

이 반론은 첫째 잘못만 다루고 둘째 잘못을 다루지 않는다.

수가 부풀려졌다는 것을 인정한 것은 좋다. 그러나 이 절이 지적한 두 잘못 가운데 더 무거운 쪽은 둘째다. 수가 정확하더라도 그것에서 사고에 대한 결론이 따라 나오지 않기 때문이다.

왜 따라 나오지 않는지를 세 걸음으로 적으면 이렇다.

• 방향을 알 수 없다. 관심이 낱말을 만들었을 수도, 낱말이 관심을 만들었을 수도 있다. 낱말 수를 세는 것으로는 갈라지지 않는다.
• 잰 것이 언어뿐이다. 사고나 지각에 대한 자료가 없다. 결론은 사고에 대한 것인데 자료는 언어에 대한 것이다.
• 이 논증이 성립한다면 아무 데나 적용된다. 어떤 직업군은 그 분야의 대상을 가리키는 낱말을 훨씬 많이 안다. 그것을 두고 "그 사람들은 세상을 다르게 지각한다"고 말하려면, 지각을 실제로 재야 한다. 실제로 그런 연구가 있고, 전문가가 자기 분야의 대상을 더 잘 구별한다는 결과가 나온다. 그런데 그것은 언어 때문인지 그 대상을 오래 다뤄서인지를 따로 갈라야 하는 물음이다.

마지막 항목이 이 반론에 대한 가장 좋은 답이다. 낱말이 많은 사람은 대개 그것을 오래 다룬 사람이다. 그러므로 낱말의 수는 언어의 영향을 재는 지표가 되지 못한다. 재려면 앞 절의 과제 연구처럼 언어를 쓰지 못하게 했을 때 무엇이 달라지는지를 봐야 한다.

먼저 주장을 조각내야 한다. 이 문장에는 최소 세 개의 주장이 들어 있다.

• 사실 주장 — 그 언어에 감정을 가리키는 낱말이 더 많다.
• 연결 주장 — 그 낱말들이 감정을 느끼는 방식과 관계가 있다.
• 방향 주장 — 낱말이 느낌을 세밀하게 만든다.

첫째를 확인하려면 세는 단위를 정해야 한다. 이 절의 첫째 잘못이다. 파생형을 각각 셀 것인가, 관용 표현을 셀 것인가, 두 낱말로 이루어진 표현을 셀 것인가. 기준을 정하기 전에는 어느 쪽이 많은지 말할 수 없다.

둘째를 확인하려면 감정 쪽을 재야 한다. 그리고 16장에서 보게 되듯 감정을 무엇으로 재는가가 그 자체로 논쟁이다. 스스로 보고한 것으로 잰다면, 낱말이 많은 언어의 화자가 더 세밀하게 보고하는 것은 거의 당연하다 — 보고에 쓸 낱말이 많으니까. 그것은 느낌이 세밀하다는 것과 다르다. 그러므로 말에 기대지 않는 지표를 함께 써야 한다.

셋째를 확인하려면 방향을 가려야 한다. 앞 절의 방법이 여기서도 쓰인다 — 말로 하는 일을 함께 시켜 언어를 쓰지 못하게 했을 때 그 차이가 남는지 보는 것. 남으면 언어가 도구로 쓰인 것 이상이고, 사라지면 도구였던 것이다.

그리고 이 셋을 다 해도 남는 것이 있다. 두 집단은 언어만 다른 것이 아니라 자란 문화가 다르다. 4장의 말로 혼입변수가 통째로 붙어 있다. 그래서 이런 물음에서는 같은 문화 안에서 언어 조건을 조작하는 설계 — 예를 들어 두 언어를 다 쓰는 사람에게 어느 언어로 과제를 시키는가를 바꿔 보는 설계 — 가 함께 필요하다.

"어느 쪽이 옳은가"가 잘못된 물음이다. 무엇을 알고 싶은가에 따라 답이 달라진다.

한 언어만 세는 것이 맞는 자리. 그 아이가 그 언어로 이루어지는 수업을 따라갈 수 있는지가 궁금하다면, 그 언어의 어휘만 세는 것이 맞는 지표다. 두 언어를 합친 수는 그 물음에 답하지 않는다.

합쳐 세는 것이 맞는 자리. 그 아이의 언어 발달이 또래와 견주어 어떤지가 궁금하다면 합쳐 세야 한다. 한 언어만 세면 그 아이가 아는 낱말의 일부를 아예 세지 않은 것이 되고, 그 결과를 "발달이 늦다"로 읽으면 틀린 결론이 된다.

여기서 실제로 일어난 일이 무엇인지가 중요하다. 한 언어만 세는 지표로 얻은 결과가 두 번째 물음에 대한 답으로 옮겨졌다. 그렇게 옮겨지면서 "이중언어 아이는 언어 발달이 늦다"는 서술이 만들어졌다. 지표는 틀리지 않았고, 그 지표로 답할 수 없는 물음에 답한 것이 틀렸다.

이것이 18장에서 읽기 규칙의 첫째가 될 습관이다. 수를 보면 무엇을 세었는지부터 묻는다. 그리고 이 장에서 같은 문제를 세 번째로 만난 셈이다 — 눈 낱말에서 한 번, 워프 가설의 판본에서 한 번, 여기서 한 번.

모범답안. 이 결론은 하나의 물음에 대한 답을 전혀 다른 물음으로 옮겼다. 재현이 흔들린 것은 "두 언어를 쓰면 언어와 상관없는 과제에서도 이점이 나타나는가"라는 좁은 물음이고, 이 사람이 내린 결론은 "두 언어를 가르칠 이유가 있는가"라는 훨씬 넓은 물음에 대한 것이다. 두 언어를 배우는 이유는 대부분 그 이점과 무관하다 — 가족과 말이 통하는 것, 그 언어로 된 것을 읽고 듣는 것, 그 언어를 쓰는 사람들과 일하고 지내는 것. 이 가운데 어느 것도 인지 과제 점수에 기대고 있지 않다. 그리고 이 결론은 앞 문단의 확인된 것들도 함께 지운다 — 두 언어를 배우는 것이 언어 발달을 해치지 않는다는 것은 근거가 있는 서술이고, 그것만으로도 "가르칠 이유가 없다"는 결론은 나오지 않는다. 그러므로 정확히 적으면 이렇다 — "일반적인 인지 이점이 있다는 주장은 크게 흔들렸다. 그것은 두 언어를 배울 이유에 대한 답이 아니다. 두 물음은 서로 다른 물음이다."

답에 반드시 들어가야 하는 것.

• 흔들린 주장의 범위가 좁다는 지적. 무엇이 흔들렸는지 정확히 적을 것
• 그 물음과 "가르칠 이유"가 다른 물음이라는 구별
• 이점 주장과 무관하게 확인된 것이 있다는 지적

다르게 답해도 되는 범위. 인지 이점 주장에 아직 가능성이 남아 있다고 보는 답도 좋다. 조건을 나누어 다시 재야 한다는 반론에는 근거가 있다. 반대로 이 주장이 사실상 정리되었다고 보는 답도 좋다.

다만 "이점이 있다"를 근거로 두 언어를 권하는 답도 오답이다. 이 결론을 뒤집기만 한 것이고, 흔들린 주장에 다시 기대는 것이기 때문이다. 근거가 약한 주장을 좋은 목적에 쓰는 것도 이 문서가 금지하는 일이다.

구하려는 것은 (가) 비이고 (나)(다)는 질량이다. 아는 것은 $I=100\mathrm{g}$ 일 때 $\mathrm{\Delta }I=2\mathrm{g}$ 이라는 한 쌍이다. 쓸 관계는 $\mathrm{\Delta }I/I=k$ 하나다.

(가) 정의에 그대로 넣는다.

$k=\frac{2\mathrm{g}}{100\mathrm{g}}=0.02$

단위가 지워져 순수한 비가 남았다. 베버 상수는 늘 단위 없는 수다. 계산이 맞았다는 첫 번째 표시다.

(나) 식을 $\mathrm{\Delta }I$ 에 대해 풀면 $\mathrm{\Delta }I=kI$ 다.

$\mathrm{\Delta }I=0.02\times 400\mathrm{g}=8\mathrm{g}$

(다) $\mathrm{\Delta }I=0.02\times 50\mathrm{g}=1\mathrm{g}$

답이 말이 되는지 본다. 세기가 4배가 되니 차이역도 4배, 절반이 되니 절반이 되었다. 비례 관계이므로 이래야 한다.

(라) 베버 상수가 작은 쪽이 예민한 쪽이다. $0.02<0.05$ 이므로 처음 차원에서 더 예민하다. 같은 $100$ 단위 자극에서 첫 차원은 $2$ 만 달라도 알아채는데 둘째 차원은 $5$ 는 달라야 알아챈다.

흔한 실수 둘. 첫째, 베버 상수를 "클수록 예민하다"로 읽는 것. 상수는 알아채는 데 필요한 차이의 비이므로 클수록 둔한 것이다. 둘째, $400\mathrm{g}$ 에서 답을 여전히 $2\mathrm{g}$ 으로 두는 것. 그것이 바로 베버 법칙이 부정하는 서술이다.

모범답안. 이 주장은 절반은 맞고 절반은 용어를 잘못 읽은 것이다. 맞는 부분은 이렇다. 자극 세기를 올릴 때 탐지 여부가 어느 한 지점에서 딱 갈리는 계단은 실제로 나오지 않으며, 그런 뜻의 "문턱"은 자료가 지지하지 않는다. 그러나 정신물리학이 쓰는 절대역은 그런 뜻이 아니다. 그것은 완만한 곡선 위에서 관례로 고른 한 점, 대개 절반의 시행에서 탐지된 세기를 가리키는 조작적 정의다. 조작적 정의는 "자연에 그런 경계가 있다"고 주장하지 않는다. 재는 절차를 정해 서로 다른 조건과 사람을 견줄 수 있게 만드는 장치일 뿐이다. 그러므로 정확한 서술은 이렇다. 계단 같은 문턱은 없고, 절대역이라는 지표는 여전히 쓸모가 있다. 다만 그 값을 보고할 때는 어느 관례로 쟀는지를 함께 적어야 하며, 다른 관례로 잰 값과 그대로 견주면 안 된다.

답에 반드시 들어가야 하는 것.

• 자료가 계단이 아니라 완만한 곡선이라는 사실을 인정할 것
• 절대역이 조작적 정의이며 자연의 경계를 주장하지 않는다는 것
• 그래서 값이 관례에 딸려 있고, 관례를 밝히지 않으면 견줄 수 없다는 것

다르게 답해도 되는 범위.

"문턱"이라는 말이 오해를 부르므로 다른 이름을 쓰는 편이 낫다고 답해도 좋다. 그것은 용어에 대한 의견이지 오답이 아니다. 반대로 "퍼짐이 있으니 지표 자체가 쓸모없다"고 답하면 오답이다. 그 논리대로라면 값이 흔들리는 모든 측정이 쓸모없어지는데, 5장이 다룬 신뢰도의 이야기가 바로 그 흔들림을 다루는 방법이었다. 그리고 "매번 다르게 답하는 이유"를 잡음으로만 돌리는 답도 부족하다. 다음 절이 보이듯 그 흔들림에는 잡음과 대답하는 버릇이 함께 들어 있다.

구하려는 것은 각 사람의 $d^{\prime }$ 와 $c$ 다. 아는 것은 적중률과 오경보율 두 수씩이고, 쓸 관계는 앞의 두 식이다. 적중률만 보고 세우면 안 된다는 것이 이 문제의 요점이다.

가. $d^{\prime }=1.48-(-0.50)=1.98$, $c=-\frac{1}{2}(1.48-0.50)=-0.49$

나. $d^{\prime }=0.99-(-0.99)=1.98$, $c=-\frac{1}{2}(0.99-0.99)=0.00$

다. $d^{\prime }=0.50-(-1.48)=1.98$, $c=-\frac{1}{2}(0.50-1.48)=0.49$

라. $d^{\prime }=1.48-0.50=0.98$, $c=-\frac{1}{2}(1.48+0.50)=-0.99$

마. $d^{\prime }=0.50-(-0.50)=1.00$, $c=-\frac{1}{2}(0.50-0.50)=0.00$

정리하면 이렇다.

민감도 순서는 가 = 나 = 다 > 마 ≈ 라다. 준거는 라가 가장 느슨하고 다가 가장 엄격하다.

답이 말이 되는지 본다. 여기에 이 예제의 전부가 있다.

• 가·나·다는 민감도가 똑같다. 적중률이 0.93 · 0.84 · 0.69 로 크게 다른데도 그렇다. 오경보율이 함께 떨어졌기 때문이다. 셋은 같은 능력으로 다르게 답하는 버릇을 가진 사람들이다.
• 라는 적중률이 가장 높은 축인데 민감도는 가장 낮다. "있다"고 거의 항상 답하면 적중률은 저절로 오른다. 오경보율 0.69 가 그것을 드러낸다.
• 다와 라를 견주면 방향이 완전히 뒤집힌다. 적중률로 세우면 라(0.93)가 다(0.69)보다 위인데, 민감도로 세우면 다가 라의 두 배다.

흔한 실수는 오경보율을 "실수한 횟수" 정도로 보고 무시하는 것이다. 오경보율은 실수의 기록이 아니라 준거의 위치를 읽어 내는 유일한 창구다. 신호가 없었던 시행을 충분히 넣지 않은 실험은 이 창구를 아예 만들지 않은 것이고, 그런 자료에서는 민감도를 계산할 방법이 없다.

이 결론은 자료가 지지하지 않는다. 적중률이 높아지는 길이 둘인데 그 둘을 가를 정보가 보고에 없기 때문이다.

길 하나는 실제로 민감도가 커진 것이다. 길 둘은 준거가 느슨해진 것이다. 처치가 "주의 깊게 보라"는 지시를 포함했거나, 처치 집단이 실험자의 기대를 눈치챘거나, 표적이 있다고 답하는 편이 낫다고 느끼게 만들었다면 민감도가 하나도 변하지 않아도 적중률은 오른다. 6장의 실험자 기대 효과와 5장의 요구특성이 여기서 그대로 작동한다.

무엇을 더 해야 하는가. 셋이다.

• 신호가 없는 시행(허위 시행)을 충분히 넣고 오경보율을 보고한다. 이것 없이는 계산 자체가 불가능하다.
• 두 수에서 $d^{\prime }$ 와 $c$ 를 계산해 어느 쪽이 달라졌는지 나누어 보고한다. 준거가 달라진 것도 발견이지만 다른 발견이다.
• 가능하면 보상 구조를 바꿔 가며 ROC 곡선을 그린다. 곡선 자체가 옮겨 갔는지 곡선 위를 미끄러진 것인지가 그림에서 갈린다.

정확한 보고는 이렇다. "처치 집단에서 적중률이 높았다." 여기까지가 자료이고, "민감도"는 아직 지지되지 않은 해석이다. 5장에서 세운 대로 타당도는 검사의 성질이 아니라 해석의 성질이므로 그 해석을 지지하는 증거를 따로 대야 한다.

모범답안. 준거는 애매한 활동 크기를 만났을 때 어느 쪽으로 답하는 것이 나은가에 대한 답이고, 그 답은 두 가지에 딸려 있다. 첫째는 신호가 있을 확률이다. 신호가 자주 나온다고 알면 같은 활동 크기라도 신호일 가능성이 커지므로 "있다" 쪽으로 답하는 것이 유리해지고, 준거가 왼쪽으로 옮겨 간다. 둘째는 결과의 값어치다. 놓치는 것이 크게 손해이고 헛짚는 것은 별 손해가 아니라면 "있다" 쪽으로 답하는 것이 유리하고, 반대면 반대다. 설계에 대한 뜻은 이렇다. 준거는 관찰자의 성격이 아니라 상황이 정하는 값이므로, 조건마다 확률과 보상 구조가 다르면 준거가 달라지고 적중률이 달라진다. 그런데 그 차이는 민감도의 차이가 아니다. 그러므로 두 조건을 견주는 실험은 신호 확률과 보상 구조를 같게 맞추거나, 아니면 오경보율을 함께 재서 민감도와 준거를 갈라 보고해야 한다.

답에 반드시 들어가야 하는 것.

• 확률과 보상이 "애매할 때 어느 쪽이 유리한가"를 바꾸기 때문에 준거가 움직인다는 설명
• 준거의 이동이 민감도와 무관하다는 것
• 설계상의 결론 — 조건 사이에 확률·보상을 맞추거나 오경보율을 함께 재야 한다는 것

다르게 답해도 되는 범위.

준거의 이동을 "합리적인 조정"으로 보든 "편향"으로 보든 상관없다. 실은 두 이름이 같은 것을 가리킨다. 5장에서 반응 편향이라는 말을 쓴 것은 그것이 나쁘다는 뜻이 아니라 재려는 것과 다른 것이 값에 섞여 든다는 뜻이었다. 다만 "준거를 옮기면 능력이 좋아진다"고 답하면 오답이다. 그리고 "확률을 알려 주는 것은 속임수"라고 답하는 것도 오답이다. 그것이 바로 ROC 곡선을 그리는 표준적인 방법이다.

없다. 이유가 둘이다.

첫째, "맞힌 비율"이 무엇을 세었는지가 정해지지 않았다. 적중률(신호가 있었을 때 있다고 답한 비율)인지, 전체 시행 가운데 옳게 답한 비율인지에 따라 전혀 다른 수다.

둘째, 어느 쪽이든 오경보율을 함께 주지 않으면 민감도를 알 수 없다. 앞 예제의 관찰자 라가 그 보기였다. 언제나 "있다"고 답하면 적중률은 1.0 이 되지만 그 절차는 아무것도 가르지 못한다.

그리고 셋째가 하나 더 붙는다. 전체 정확률은 기저율에 크게 딸려 있다. 신호가 아주 드문 상황이라면 언제나 "없다"고 답하는 절차의 전체 정확률이 저절로 아주 높아진다. 그 절차는 신호를 하나도 못 잡는데도 그렇다.

그래서 요구해야 할 것은 이것이다. 적중률과 오경보율을 따로, 그리고 신호가 실제로 얼마나 자주 나오는 상황에서 쟀는지를 함께. 이 요구는 이 장의 내용이면서 동시에 6장의 네 물음 가운데 넷째, 즉 "어떤 조건에서 잰 것이 어떤 조건으로 일반화되는가"의 한 사례다.

모범답안. 가장 강한 형태의 견해는 이렇다. 순응이 있으면 지속되는 자극의 절대적 크기를 알 수 없게 된다. 방 안의 냄새가 위험한 기체라면 순응은 실제로 해롭고, 지속적인 통증에 순응하지 않는 감각이 따로 있는 것도 그런 이유로 읽을 수 있다. 그러므로 순응은 공짜가 아니며, 실제로 손실을 낳는다. 이 지적은 옳다. 그런데 그 대가로 얻는 것이 있다. 감각계가 다룰 수 있는 신호의 폭은 유한한데 바깥 세상의 밝기와 세기의 폭은 그보다 몇 자릿수 넓다. 순응은 그 좁은 폭을 지금 필요한 구간에 맞춰 옮겨 주는 장치다. 밝은 낮과 어두운 밤에 같은 눈을 쓸 수 있는 것이 그 덕이다. 그리고 앞 절의 베버 법칙이 말한 것이 여기와 같은 이야기다. 감각계가 재는 것은 절대량이 아니라 지금 기준선에서의 변화다. 그러므로 정확한 판정은 "결함"도 "최적"도 아닌 맞바꿈이다. 절대적 크기의 정보를 내주고 넓은 범위에서의 분해능을 얻는다.

답에 반드시 들어가야 하는 것.

• 순응이 실제로 무엇을 잃게 하는지를 인정할 것
• 얻는 것이 무엇인지 — 좁은 반응 범위를 현재 수준에 맞추는 일
• 결론을 맞바꿈으로 적을 것. 한쪽만 적으면 절반의 답이다

다르게 답해도 되는 범위.

손실 쪽에 무게를 더 두든 이득 쪽에 더 두든 상관없다. 어느 감각 차원인지에 따라 실제로 무게가 다르다. 다만 "순응은 아무 대가도 없는 좋은 장치"라고 답하면 반쪽이고, "그러므로 감각은 믿을 수 없다"로 건너뛰면 오답이다. 뒤엣것은 다음 절과 그다음 절이 반복해서 경계하는 도약이다.

정확하지 않다. 무엇을 재느냐에 따라 답이 갈리기 때문이다.

화면에서 나오는 빛의 양을 묻는 것이라면 두 조각은 같고, 다르게 보이는 것은 물리량에 대한 오답이다. 그러나 시각계가 답하려는 물음은 그것이 아니다. 시각계가 답하려는 물음은 "저 물체의 표면은 얼마나 밝은 표면인가"이고, 같은 양의 빛이 눈에 닿았더라도 그 빛이 밝은 조명 아래 어두운 표면에서 온 것인지 어두운 조명 아래 밝은 표면에서 온 것인지에 따라 답이 달라진다.

눈에 닿은 빛의 양만으로는 이 물음의 답이 정해지지 않는다. 그래서 시각계는 주변을 함께 본다. 밝은 배경에 둘러싸인 조각은 조명이 밝은데도 그만큼 밝게 오지 않은 것이므로 어두운 표면으로 판정된다.

그러므로 정확한 서술은 이렇다. 이것은 재는 데 실패한 것이 아니라 다른 것을 재고 있는 것이다. 다음 두 절이 이 문장을 넓혀 나간다. 다만 조심할 것이 있다. 이 설명은 "그러므로 지각은 언제나 옳다"를 뜻하지 않는다. 실제 조명 조건이 시각계의 전제와 어긋나면 결과는 그냥 틀린다.

모범답안. 첫째, 항등성을 만들 수 없다. 망막의 상만 처리하는 체계는 문이 열릴 때 모양이 변하는 물체를 보고, 사람이 멀어질 때 사람이 줄어드는 것을 본다. 물체를 "같은 물체"로 유지하려면 상 바깥의 정보 — 거리, 조명, 보는 각도 — 를 함께 써야 하는데 그 정보는 상 안에 그대로 들어 있지 않고 다른 단서에서 추정해야 한다. 둘째, 모호한 입력을 하나로 정할 수 없다. 하나의 망막 상에 들어맞는 바깥 세상은 무한히 많다. 가까이 있는 작은 것과 멀리 있는 큰 것이 같은 상을 만들 수 있다. 어느 쪽인지 정하려면 그 상에 없는 무엇인가를 끌어와야 한다. 그러므로 순수한 상향 체계는 "답이 여럿인 문제" 앞에서 멈춘다. 실제 지각은 멈추지 않고 하나를 내놓으며, 그 일을 할 수 있는 것은 하향 정보가 함께 들어가기 때문이다.

답에 반드시 들어가야 하는 것.

• 감각 입력이 바깥 세상을 하나로 정하지 않는다는 것 — 이것이 핵심이다
• 항등성에 상 바깥의 정보가 필요하다는 것
• 그래서 하향 처리가 "있으면 좋은 것"이 아니라 없으면 지각이 성립하지 않는 것이라는 결론

다르게 답해도 되는 범위.

하향 정보를 "배워서 얻은 지식"으로 보든 "타고난 전제"로 보든 상관없다. 실제로 어느 쪽인지는 단서마다 다르고 다 정해지지 않았다. 다만 "하향 처리 때문에 우리는 보고 싶은 것만 본다"로 답하면 지나친 도약이다. 하향 처리의 몫이 크다는 것과 지각이 믿음에 따라 마음대로 바뀐다는 것은 다른 주장이며, 다음 절이 뒤엣것이 왜 틀렸는지를 보인다.

어긋나지 않는다. 깊이 단서가 여러 종류이고 각각이 잘 듣는 거리 범위가 다르기 때문이다.

한 눈으로도 쓸 수 있는 단서가 많다. 중첩, 상대 크기, 선형 조망, 결 기울기, 대기 조망, 그리고 머리를 조금만 움직여도 얻어지는 운동 시차다. 방을 둘러보는 일은 이 단서들이 풍부하게 주어지는 상황이고, 그래서 한 눈으로도 방의 구조가 읽힌다.

바늘구멍은 다르다. 거리가 아주 가깝고, 대상이 작고, 중첩이나 조망 같은 단서가 쓸 자리가 없다. 이 범위에서 가장 잘 듣는 단서가 양안 부등인데, 두 눈의 상 차이는 가까울수록 크므로 근거리에서 특히 정확하다. 한 눈을 감으면 바로 그 단서가 사라진다.

그러니까 두 관찰은 이렇게 정리된다. 단안 단서는 넓은 범위에서 대략의 깊이를 주고, 양안 단서는 좁고 가까운 범위에서 정밀한 깊이를 준다. 어느 쪽도 다른 쪽을 대신하지 않는다.

덧붙일 것 하나. 이 예제는 4장의 이야기와 같은 모양이다. 여러 지표가 각각 다른 범위에서 잘 듣고, 하나만으로는 부족하다. 지각도 측정도 이 점에서 같다.

자료의 내용부터. 시걸과 동료들이 1960년대에 여러 지역의 참가자에게 뮐러-리어 도형을 보이고 착시의 크기를 쟀으며, 지역에 따라 크기가 달랐다고 보고했다. 각진 인공 구조물이 많은 환경에서 자란 사람일수록 착시가 크다는 해석이 붙었다. 헨릭과 동료들이 2010년에 WEIRD 표본 논문에서 이 자료를 인용하며, 널리 인용되는 지각 현상조차 표본에 따라 달라진다는 예로 들었다.

이제 네 물음이다.

1. 재현되었는가. 원 자료가 1960년대의 대규모 조사이고, 같은 규모로 되풀이한 독립적인 연구가 충분히 쌓여 있지 않다. 판정 — 확인이 부족하다.

2. 표본이 무엇인가. 이 연구의 요점 자체가 표본에 관한 것이므로 여기서는 오히려 강점이다. 여러 지역의 참가자를 넣었다. 다만 각 지역의 참가자를 어떻게 모았는지, 지시와 절차가 언어와 문화를 넘어 같은 뜻으로 전달되었는지는 이 종류의 연구에서 늘 문제가 된다.

3. 효과가 얼마나 큰가. 지역 사이의 차이가 보고되었으나, 이 문서는 그 크기를 수로 적지 않는다. 원 보고의 수치를 확인하지 못했기 때문이다. 6장에서 세운 규칙대로 확인하지 못한 수치는 적지 않는다.

4. 얼마나 일반화되는가. 이 자료가 지지하는 것은 "뮐러-리어 도형에 대한 반응이 집단에 따라 다르다"까지다. 여기서 "지각 전체가 문화에 따라 다르다"로 건너뛰면 안 되고, 그 반대 방향으로 "착시는 학습된 것이다"로 건너뛰어도 안 된다.

종합. 이 자료는 "착시의 크기조차 어느 집단에서 쟀는지에 딸려 있을 수 있다"는 경고로는 충분하고, 착시의 원인을 정하는 근거로는 부족하다. 그리고 이 판정 자체가 이 장의 논지를 흔들지 않는다. 이 절의 주장은 착시의 크기가 아니라 착시가 일어난다는 사실에 기대고 있기 때문이다.

(나)가 따라 나오고 (가)는 따라 나오지 않는다.

(가)가 왜 안 되는가. 착시는 특별하게 짜인 자극에서 일어난다. 그런 자극이 만들어질 수 있다는 사실은 지각 체계가 어떤 전제 위에서 작동한다는 뜻이지, 그 전제가 보통은 틀린다는 뜻이 아니다. 오히려 반대다. 전제가 대개 맞기 때문에 그 전제를 어기도록 자극을 꾸며야만 어긋남을 볼 수 있다. 착시 그림을 만드는 데 공이 드는 것 자체가 지각이 평소에 잘 작동한다는 증거다.

그리고 (가)에는 자기를 무너뜨리는 구석이 있다. "두 선의 길이가 실제로는 같다"는 것을 우리는 어떻게 아는가. 자를 대고 보아서 안다. 지각을 통째로 못 믿기로 하면 착시가 착시라는 것도 알 수 없다.

(나)는 어떻게 따라 나오는가. 논증이 이렇다. 감각 입력은 바깥 세상을 하나로 정하지 않는다. 그런데 지각은 하나를 내놓는다. 그러므로 입력에 없는 무엇인가가 고르기에 참여한다. 착시는 그 무엇인가가 실제로 있고, 그것이 어떤 규칙성인지까지 보여 준다. 이것이 추론이라는 말의 뜻이다.

다만 (나)도 조심해서 읽어야 한다. "추론"은 우리가 의식적으로 따져 본다는 뜻이 아니다. 이 고르기는 알아채기 전에 끝나 있고, 우리가 아는 것에 굴복하지도 않는다. 뮐러-리어에서 두 선이 같다는 것을 알아도 여전히 다르게 보이는 것이 그 증거다.

이 현상이 말하는 것은 두 방향이 나뉜 두 단계가 아니라는 것이다.

상향과 하향을 "먼저 감각 자료를 다 모으고 그다음 해석한다"는 두 단계로 읽으면, 카니자에서 보이는 변은 "해석" 단계에 속해야 한다. 그런데 그 변은 해석처럼 겪어지지 않는다. 판단이 아니라 보이는 것으로 겪어지고, 안쪽이 조금 더 밝아 보이기까지 한다. 밝기는 해석으로 만들어 낼 수 있는 종류의 것이 아니다.

그러므로 정확한 그림은 이렇다. 완성하고 채워 넣는 일이 지각의 결과물 안에 이미 들어 있다. 우리가 "날것의 감각 자료"라고 부를 만한 것에 우리는 접근하지 못한다. 접근하는 것은 이미 정리된 결과다.

이 결론은 3장의 물음 하나와 이어진다. 심리학이 초기에 내성으로 "순수한 감각 요소"를 찾으려 했던 시도가 왜 잘 되지 않았는지가 여기에 한 가지 답을 준다. 들여다보아 얻는 것은 요소가 아니라 이미 완성된 지각이다.

이 결론은 네 물음의 넷째, 곧 일반화에서 다리를 놓지 않았다. 무엇이 자료이고 무엇이 도약인지 나눠 보자.

자료가 지지하는 것. 실험실에서 영상을 보며 다른 과제를 함께 하면 그 과제에서 사건 보고가 나빠진다. 이것은 앞의 주의 구조에서 예측되는 일이다.

도약인 부분. (가) 영상을 보는 것과 실제로 운전하는 것 사이의 다리, (나) 사건을 "보고하지 못하는 것"과 "사고를 내는 것" 사이의 다리, (다) 실험실의 부가 과제와 실제 통화 사이의 다리다. 셋 다 놓이지 않았다.

무엇이 더 필요한가.

• 과제 지표와 실제 행동 지표의 관계를 따로 재는 연구. 4장의 준거 타당도 이야기가 여기에 걸린다.
• 운전 시늉 장치나 실제 도로에서의 연구. 표본과 조건이 실제에 가까울수록 다리가 짧아진다.
• 사고 자료를 쓰는 관찰 연구. 다만 이쪽은 무선배정이 없으므로 인과 결론에 다른 종류의 제약이 붙는다. 통화를 많이 하는 사람이 다른 점에서도 다를 수 있다는 4장의 혼입변수 문제다.

정확한 보고는 이렇다. "부가 과제를 함께 하면 이 실험실 과제에서 사건 탐지가 나빠졌다." 그리고 여러 종류의 연구가 같은 방향을 가리킬 때 비로소 실제 상황에 대한 결론이 선다. 어느 한 종류의 연구도 혼자서는 그 결론을 대지 못한다.

모범답안. 문 그림은 골라지지 않은 것이 왜 그렇게 남지 않는지를 잘 설명한다. 이중청취에서 반대쪽 귀의 내용이 보고되지 못하는 것, 부주의맹과 변화맹이 이 그림에 잘 맞는다. 설명하지 못하는 것은 문이 완전히 닫혀 있지 않다는 자료다. 반대쪽 귀에서 자기 이름이 나오면 알아채는 일이 있는데, 문이 소리의 물리적 성질만 보고 여닫힌다면 이름을 알아볼 방법이 없다. 이름을 알아보려면 이미 어느 정도 처리가 되어 있어야 하기 때문이다. 그릇 그림은 이 자료를 잘 다룬다. 걸러 내는 대신 제한된 양의 자원을 나누어 준다고 보면, 주의를 덜 받은 쪽도 약하게나마 처리되고 특별히 중요한 것은 약한 처리만으로도 걸릴 수 있다. 두 과제를 함께 할 때 둘 다 나빠지는 것, 그리고 과제가 쉬울수록 덜 나빠지는 것도 이 그림에 맞는다. 설명하지 못하는 것은 "자원"이 무엇인지가 정해지지 않는다는 점이다. 무엇이 얼마나 쓰였는지를 독립적으로 재지 못하면, 수행이 나빠진 것을 자원 부족으로 설명하고 자원 부족의 증거로 다시 수행 저하를 드는 순환이 된다. 그러므로 정확한 태도는 이렇다. 둘은 경쟁하는 답이라기보다 서로 다른 자료를 잘 다루는 두 그림이고, 어느 쪽이든 검사 가능한 예측을 내놓을 때만 값을 한다.

답에 반드시 들어가야 하는 것.

• 문 그림이 잘 하는 것 — 골라지지 않은 것이 거의 남지 않는 자료
• 문 그림이 못 하는 것 — 완전히 닫히지 않는다는 자료(자기 이름 등)
• 그릇 그림이 못 하는 것 — 자원을 독립적으로 재지 못하면 순환 설명이 된다는 지적

다르게 답해도 되는 범위.

어느 그림에 무게를 더 두어도 된다. 실제로 이 논쟁은 오래되었고 절차에 따라 결론이 갈렸다. 다만 "그릇 그림이 문 그림을 대체했다"고 단정하면 지나치다. 그리고 순환 설명의 위험을 짚지 않은 답은 이 문서가 3장부터 세워 온 기준에 미치지 못한다. 무엇이 관찰되면 그 그림이 틀린 것이 되는지를 묻는 습관이 이 예제가 노리는 것이다.

문제가 셋이다.

첫째, 한 물질에 한 기능을 붙였다. 도파민을 쓰는 회로는 하나가 아니고, 그 회로들이 관여하는 일도 하나가 아니다. 움직임의 조절과 관련된 회로와 학습의 갱신과 관련된 회로가 같은 물질을 쓴다. "도파민은 X 물질"이라는 문장은 어느 회로에 대한 말인지를 지운다.

둘째, 관여와 산출을 섞었다. 어떤 물질이 어떤 일에 관여한다는 것과 그 물질이 그 일을 만들어 낸다는 것은 다르다. 12장에서 세운 구별과 같은 모양이다. 적중률이 높다는 것과 민감도가 크다는 것이 다른 것처럼, 함께 움직인다는 것과 원인이라는 것은 다르다.

셋째, 쾌락과 기대를 구별하지 않았다. 이 계열의 연구에서 되풀이 나온 구별이 하나 있다. 무엇을 원하는 것과 그것을 얻어 좋아하는 것이 서로 다른 지표에서 갈린다는 것이다. 도파민 쪽 조작은 앞엣것에 더 걸리는 것으로 보고되었고, 뒤엣것과의 관계는 그보다 복잡하다. "쾌락 물질"이라는 이름은 이 구별을 지운다.

그러면 무엇이라고 적어야 하는가. "도파민을 쓰는 어떤 회로의 활동이 보상과 관련된 학습에서 달라진다는 것이 여러 연구에서 보고되었다." 길고 밋밋하지만 이것이 자료가 지지하는 문장이다.

모범답안. 없다. 이유가 둘이고, 둘 다 "아직 기술이 부족해서"가 아니라 원리에서 나온다. 첫째, 세포 하나의 활동은 여러 원인에 딸려 있어 그것만으로는 무엇에 대한 신호인지 정해지지 않는다. 어떤 세포의 발화율이 올라간 것이 자극 때문인지 각성 수준 때문인지 움직임 때문인지는 그 세포만 보아서는 갈리지 않는다. 정보는 여러 세포의 패턴에 실려 있고, 패턴은 한 세포를 아무리 정확히 재도 나오지 않는다. 둘째, 설명은 층위 사이의 다리를 필요로 한다. 3장에서 층위를 갈라 둔 대로, "이 세포들이 이렇게 발화한다"와 "이 사람이 이것을 알아보았다"는 서로 다른 어휘로 적힌 문장이다. 뒤엣것을 앞엣것으로 옮기려면 어떤 발화 패턴이 어떤 심리적 상태에 대응하는지를 따로 세워야 하고, 그것을 세우는 일이 바로 심리학이 하는 일이다. 세포 자료가 그 다리를 저절로 놓아 주지 않는다. 그러므로 정확한 판정은 이렇다. 세포 수준의 자료는 필요하고 유용하지만, 그것만으로 심리 현상이 설명되지는 않는다.

답에 반드시 들어가야 하는 것.

• 한 세포의 활동이 여러 원인에 딸려 있다는 것 — 그래서 하나만으로는 해석되지 않는다
• 정보가 패턴에 실린다는 것
• 층위 사이에 다리를 따로 놓아야 한다는 것

다르게 답해도 되는 범위.

"원리적으로는 가능하지만 실제로 불가능하다"고 답해도 된다. 이것은 실제로 다투어지는 지점이고, 이 문서가 어느 쪽이라고 정하지 않는다. 다만 "세포를 다 알면 마음도 다 안다"고 단정하는 답과 "세포 자료는 심리학과 무관하다"고 단정하는 답은 둘 다 지나치다. 뒤엣것이 왜 지나친지는 이 장의 손상 연구 절이 보인다.

자료가 지지하는 것. 그 부위는 얼굴을 알아보는 일에 필요하다. 그리고 다른 물건은 알아보므로, 얼굴 알아보기가 물건 알아보기와 완전히 같은 것에 기대고 있지는 않다는 것까지는 나온다. 이것은 단일 해리다.

자료가 지지하지 않는 것이 셋이다.

• "얼굴을 알아보는 곳". 필요하다는 것과 거기서 일어난다는 것은 다르다. 그 부위가 다른 곳으로 가는 길목일 수도 있다.
• "얼굴 전용". 이 환자에게 다른 과제를 얼마나 재 보았는가. 아주 비슷하게 생긴 것들을 낱낱이 가려내는 과제라면 얼굴이 아니어도 못 할 수 있다. 그렇다면 이 부위는 얼굴이 아니라 비슷한 것들을 세밀하게 가르는 일에 관여하는 것이다.
• 난이도의 문제. 얼굴 알아보기가 물건 알아보기보다 그냥 더 어려운 과제라면, 어느 부위가 손상되어도 얼굴이 먼저 무너진다.

무엇을 더 해야 하는가. 엇갈리는 사례를 찾아야 한다. 다른 부위가 손상되어 물건은 못 알아보는데 얼굴은 알아보는 사람이 있다면 이중 해리가 서고, 난이도 설명이 배제된다. 그리고 이 환자에게 "얼굴은 아니지만 비슷한 것들을 가르는" 과제를 함께 재야 "얼굴 전용" 주장이 검사된다.

마지막으로, 사례가 하나라는 것 자체가 6장의 첫째 물음에 걸린다. 손상 연구에서는 이것이 특히 무겁다. 연구자가 손상 부위를 고를 수 없으므로 표본이 우연히 정해지고, 같은 자리를 다친 사람을 모으는 데 오랜 시간이 걸린다.

조심해야 한다. 이중 해리가 지지하는 것은 "두 기능이 서로 다른 것에 기대고 있다"이고, "서로 다른 부위에 나뉘어 있다"는 그보다 강한 주장이다.

차이가 어디서 나는가. 손상된 두 부위 A와 B가 각각 여러 갈래의 회로에 걸쳐 있고, 두 기능이 같은 넓은 회로망 안에서 다른 방식으로 처리되는 것일 수 있다. 그러면 두 기능은 실제로 다른 것에 기대고 있지만, "여기는 갑을 하는 곳, 저기는 을을 하는 곳"이라는 지도는 그려지지 않는다.

그리고 손상 연구 특유의 문제가 하나 더 있다. 손상된 뇌는 남은 부분이 다시 조직된 뇌다. 이 장 마지막 절의 가소성이 그 이야기다. 손상 뒤에 관찰된 수행은 "그 부위가 빠진 정상 뇌"의 수행이 아니라 "그 부위가 빠진 뒤 얼마간 적응한 뇌"의 수행이다. 손상 직후와 한참 뒤가 다른 경우가 보고된다.

그래서 정확한 서술은 이렇다. "A는 갑에, B는 을에 필요하며, 두 기능은 완전히 같은 것에 기대고 있지 않다." 지도를 그리려면 다른 종류의 자료가 더 필요하다.

모범답안. 이 문장에는 이 절이 갈라 놓은 세 주장이 뭉쳐 있고, 그중 자료가 지지하는 것은 하나뿐이다. 지지되는 것은 "그 부위가 위협과 관련된 어떤 처리에 필요하다"이고, 이것은 손상 사례와 동물 연구에서 되풀이 나왔다. 지지되지 않는 것이 둘이다. 첫째, "중추"라는 말이 "거기서 공포가 만들어진다"를 함축하는데 필요조건에서 그것이 따라 나오지 않는다. 둘째, "공포"라는 이름이 그 부위를 그 정서에 묶는데, 이 부위는 위협이 아닌 자극에도 반응하는 것이 보고되었고 새로움이나 불확실함 같은 더 넓은 성질에 반응한다는 해석이 나와 있다. 게다가 "공포"는 5장의 말로 하면 구성개념이고 16장이 보이게 되듯 정서의 지표들은 서로 잘 맞지 않는다. 그러니 부위 하나에 정서 이름 하나를 붙이는 일은 두 겹으로 위태롭다. 그 자리에 적어야 할 문장은 이렇다. "이 부위가 손상되면 위협 신호에 대한 어떤 반응이 달라진다는 것이 여러 연구에서 보고되었다. 이 부위가 무엇에 반응하는지의 범위는 아직 좁혀지지 않았다."

답에 반드시 들어가야 하는 것.

• "필요하다"와 "거기서 일어난다"를 가를 것
• 그 부위가 다른 종류의 자극에도 반응한다는 것 — "그것만 한다"가 검사되지 않았다
• 정서 이름 자체가 구성개념이라 부위에 곧바로 붙일 수 없다는 것

다르게 답해도 되는 범위.

그 부위의 역할을 "위협"으로 좁혀 보든 "두드러진 것에 대한 반응"으로 넓혀 보든 상관없다. 실제로 다투어지는 지점이다. 다만 "그 부위는 공포와 아무 관계가 없다"고 답하면 반대쪽으로 지나친 것이다. 관계가 있다는 자료는 많다. 문제는 그 관계를 어떤 문장으로 적느냐다.

4장의 말로 하면 손상 연구는 실험이 아니라 자연실험에 가깝다. 무선배정이 없기 때문이다. 누가 어느 부위를 다칠지는 연구자가 정하지 않고 사고나 질병이 정한다.

여기서 따라 나오는 약점이 셋이다.

• 손상 부위가 다른 것들과 함께 간다. 어떤 원인으로 생긴 손상은 특정 부위에 잘 생기고, 그 원인이 다른 것들도 함께 바꿔 놓는다. 4장의 혼입변수다.
• 손상의 경계가 우리가 나눈 부위의 경계와 맞지 않는다. 대개 여러 부위에 걸치고 사람마다 모양이 다르다.
• 표본이 작고 우연히 모인다. 5장의 검정력 이야기가 여기에 그대로 걸린다.

메우는 방법이 셋 있다.

• 사례를 모아 손상 자리와 증상의 지도를 함께 그린다. 사람이 많아지면 "어느 자리가 겹칠 때 어느 증상이 나오는가"를 통계적으로 볼 수 있다.
• 엇갈리는 사례를 찾는다. 이중 해리다.
• 무선배정이 되는 방법을 함께 쓴다. 건강한 참가자에게 특정 부위의 활동을 일시적으로 바꾸고 수행이 달라지는지 보는 방법이 있다. 이쪽은 참가자를 조건에 무선배정할 수 있으므로 4장의 실험이 갖는 힘을 얻는다. 다만 닿을 수 있는 부위가 제한되고 효과의 범위가 정확히 어디까지인지도 문제가 된다.

결론. 손상 연구는 "필요하다"를 대는 데 강하고 다른 거의 모든 것에 약하다. 그래서 혼자 쓰이지 않고 다른 방법과 함께 쓰인다.

거의 지지하지 않는다. 이것이 이 문서가 6장부터 되풀이해 온 이야기다.

교과서에 실리는 것을 정하는 것은 재현 여부가 아니라 이야기의 힘인 경우가 많다. 극적이고 기억하기 쉽고 개념을 잘 보여 주는 사례가 실린다. 앞의 쇠막대 사례가 그 보기다. 그 사례가 실린 이유는 여러 번 확인되어서가 아니라 강렬해서다.

게다가 교과서는 서로를 인용한다. 한 번 실린 서술이 다음 판과 다른 책으로 옮겨 가면서 원 자료로 돌아가 확인되는 일 없이 굳어진다. 6장에서 본 출판 편향과는 다른 경로지만 결과는 비슷하다. 확인되지 않은 것이 확인된 것처럼 보이게 된다.

그러면 어떻게 해야 하는가. 네 물음의 첫째를 그대로 적용한다. "이 서술의 근거가 되는 연구가 몇 건이고 독립적으로 되풀이되었는가." 답을 모르겠으면 "널리 인용되는 사례가 있다"까지만 적고 결론을 그 위에 세우지 않는다. 이 장이 앞에서 브로카의 사례를 다룬 방식이 그것이다.

구하려는 것은 "켜졌다"는 조건 아래에서 "그 과정이었다"일 확률이다. 아는 것은 세 비율이고, 쓸 방법은 건수를 세는 것이다. 전체를 1000개 과제로 놓으면 나누기 없이 갈 수 있다.

첫째 경우. 과제 1000개 가운데 그 과정이 관여하는 것이 $300$, 아닌 것이 $700$ 이다.

$300\times 0.70=210$ (그 과정이면서 켜진 것)

$700\times 0.40=280$ (그 과정이 아닌데 켜진 것)

켜진 과제는 모두 $210+280=490$ 개이고, 그 가운데 그 과정인 것이 210개다.

$\frac{210}{490}=0.43$

43%다. 켜졌다는 사실을 알고도 절반이 안 된다. 동전 던지기보다 나을 것이 없다.

둘째 경우 — 영역이 더 선택적이면. $700\times 0.10=70$ 이므로

$\frac{210}{210+70}=\frac{210}{280}=0.75$

75%로 올랐다. 선택성이 답을 크게 바꾼다.

셋째 경우 — 그 과정이 드물면. 그 과정이 5%이고 선택성은 둘째 경우와 같다고 하자. $50\times 0.70=35$, $950\times 0.10=95$ 이므로

$\frac{35}{35+95}=\frac{35}{130}=0.27$

27%로 떨어졌다. 영역의 선택성이 똑같은데도 그렇다.

답이 말이 되는지 본다. 세 계산이 보이는 것은 이것이다. "이 영역이 그 과정에서 자주 켜진다"는 사실 하나로는 역추론의 답이 정해지지 않는다. 다른 과제에서 얼마나 켜지는지(선택성)와 그 과정이 얼마나 흔한지(기저율)가 함께 있어야 한다.

12장의 신호탐지이론과 같은 구조라는 점을 짚어 두자. 적중률 하나로는 아무것도 정해지지 않고 오경보율이 있어야 했다. 여기서도 "그 과정에서 켜지는 비율" 하나로는 정해지지 않고 "아닐 때 켜지는 비율"이 있어야 한다. 같은 잘못이 이름만 바꿔 나타난다.

이 결론은 역추론이고, 논문이 그 뒤집기를 정당화할 자료를 대지 않았다.

자료가 지지하는 것. 두 조건 사이에서 그 영역의 신호가 달랐다. 여기까지다.

결론으로 가려면 필요한 것.

• 그 영역이 "욕구"에서만 켜지는가. 논문이 이 자료를 대야 한다. 여러 과제의 결과를 모아 둔 데이터베이스가 있어서, 그 영역이 얼마나 여러 종류의 과제에서 켜지는지를 볼 수 있다. 널리 쓰이는 영역이면 뒤집기는 무효다.
• "욕구"가 무엇으로 조작적으로 정의되었는가. 5장의 이야기다. 영상 신호 말고 다른 지표 — 자기보고, 실제 선택 — 를 함께 재서 세 지표가 같은 방향을 가리키는지 보아야 한다.
• 뺄셈의 짝이 무엇인가. 두 광고가 욕구 말고도 여러 면에서 다르다. 밝기, 움직임, 사람 얼굴의 유무, 익숙함. 이 차이들이 신호 차이를 만들 수 있다. 4장의 혼입변수다.

정확한 보고는 이렇다. "두 광고 조건에서 그 영역의 신호가 달랐다." 그리고 여기에 덧붙일 것이 있다. 이런 결론이 특히 위험한 이유는 영상 자료가 다른 자료보다 설득력이 있어 보인다는 점 때문이다. 그 인상 자체가 다음 예제의 주제다.

모범답안. 두 가지가 겹쳐서 특히 나쁘게 작동한다. 첫째, 검정력이 낮다. 5장에서 본 대로 표본이 작으면 실제로 있는 효과를 잡아내지 못할 확률이 크다. 6장에서 인용한 버튼과 동료들의 2013년 논문이 신경과학 문헌의 검정력이 낮다는 것을 정리했다. 둘째, 그리고 이쪽이 더 고약한데, 낮은 검정력에서 유의하게 나온 결과는 효과크기가 위쪽으로 부풀려져 있다. 작은 표본에서 문턱을 넘으려면 추정값이 우연히 크게 나와야 하기 때문이다. 5장의 효과크기 부풀림이다. 여기에 뇌영상 특유의 사정이 더해진다. 칸이 아주 많으므로, 가장 큰 값이 나온 칸을 고른 다음 그 칸에서 다시 효과크기를 재면 부풀림이 한 번 더 얹힌다. 이 절차의 문제를 지적한 논문이 2009년에 나와 크게 논쟁이 되었다. 그리고 사람들 사이의 개인차와 뇌 신호의 상관을 보려는 연구에서는 문제가 더 커진다. 2022년에 대규모 자료로 이것을 검사한 연구가, 그런 상관이 안정적으로 추정되려면 수천 명 규모의 표본이 필요하다고 보고했다. 그런데 그때까지 발표된 대부분의 연구는 그보다 훨씬 작았다. 그러므로 뇌영상 논문을 읽을 때 표본 크기는 부수적인 정보가 아니라 결과를 얼마나 믿을지 정하는 첫 번째 정보다.

답에 반드시 들어가야 하는 것.

• 검정력이 낮으면 못 잡는 것과 잡힌 것이 부풀려지는 것이 함께 온다는 두 갈래
• 칸이 많다는 사정이 부풀림을 더한다는 것 — 가장 큰 칸을 고른 뒤 그 칸에서 다시 재는 문제
• 개인차와의 상관을 보려면 표본이 훨씬 커야 한다는 것

다르게 답해도 되는 범위.

어느 표본 크기부터 충분한지는 무엇을 재느냐에 따라 크게 다르므로 수를 못 박지 않아도 된다. 다만 "표본이 작아도 유의하게 나왔으면 오히려 효과가 큰 것"이라고 답하면 오답이다. 5장이 그 오해를 정면으로 다루었다.

1. 재현되었는가. 절차는 여러 연구실에서 되풀이되었고 기본 결과는 되풀이 나왔다. 다만 되풀이의 대상이 같은 소수의 사람들인 경우가 많다는 점이 특이하다. 같은 사람을 여러 번 검사한 것은 독립적인 재현이 아니다. 판정 — 절차는 재현되었고 표본은 겹친다.

2. 표본이 무엇인가. 여기가 가장 약한 자리다. 사람 수가 아주 적고, 모두 오래 발작을 겪었으며 수술을 받았다. 6장의 말로 하면 이것은 좁은 표본 정도가 아니라 특수한 표본이다.

3. 효과가 얼마나 큰가. 이 연구의 결과는 "조금 다르다"가 아니라 "말로 답하지 못한다" 같은 형태여서 크기의 문제가 덜하다. 그런 뜻에서는 강한 자료다.

4. 얼마나 일반화되는가. 두 갈래로 갈라 답해야 한다. 두 반구가 나뉜 사람에게서 정보가 나뉜다는 것은 그 사람들에 대한 결론이고 잘 지지된다. 정상인 뇌에서 두 반구가 어떻게 일하는가는 이 연구가 답할 수 없다. 그 사람들의 뇌는 다발이 잘린 뇌다.

종합. "아주 작고 특수한 표본에서, 아주 큰 효과가, 여러 번 확인되었다." 이런 조합은 흔치 않고, 그래서 이 연구는 "정보가 나뉠 수 있다"는 존재 주장에는 아주 강하고 "보통 사람의 뇌가 이렇다"는 일반화에는 아주 약하다.

따라 나오지 않는다. 이 도약이 왜 안 되는지가 이 예제의 요점이다.

첫째, 조건이 특수하다. 이 관찰은 정보가 실제로 차단된 상황에서 나온다. 말하는 쪽이 그 행동의 원인에 닿지 못하도록 절차가 짜여 있다. 그런 차단이 없는 보통의 상황에서 자기 설명이 어떤지는 이 자료가 말해 주지 않는다.

둘째, 표본이 특수하다. 앞 예제에서 본 대로다.

셋째, "전부"라는 말이 검사될 수 없는 형태다. 어떤 자기 설명이 맞고 어떤 것이 틀렸는지를 가리려면 행동의 실제 원인을 따로 알아야 하는데, 그 자료가 없으면 "전부 지어낸 것"이라는 주장도 그 반대 주장도 검사되지 않는다.

그러면 이 관찰에서 무엇이 따라 나오는가. "사람은 자기 행동의 원인에 닿지 못할 때도 설명을 내놓는다. 그러므로 자기 설명이 있다는 사실만으로 그 사람이 원인을 알고 있다고 볼 수 없다." 이것은 훨씬 약하지만 실제로 쓸모가 큰 결론이고, 5장에서 자기보고를 다룰 때 세운 태도와 같다.

그리고 덧붙일 것 하나. 이 결론은 다른 종류의 연구로 따로 지지된다. 분리뇌 연구가 아니라도, 사람이 자기 판단의 이유를 정확히 보고하지 못한다는 것을 보이는 연구는 여럿이다. 같은 결론에 서로 다른 근거가 여럿 있는 것과, 하나의 특수한 사례에 기대는 것은 다르다.

따라 나오지 않는다. 4장의 상관과 인과 이야기가 그대로 걸린다.

대안 설명이 둘이다.

• 선택. 애초에 그 부위가 큰 사람이 그 일을 고르거나 그 일에서 살아남았을 수 있다.
• 함께 가는 다른 것. 그 직업군은 나이·성별·교육·생활 방식에서도 일반인과 다를 수 있다. 4장의 혼입변수다.

무엇이 더 필요한가.

• 같은 사람을 시간에 따라 따라가는 종단 설계. 훈련을 시작하기 전과 마친 뒤를 견주면 선택 설명이 약해진다. 같은 사람을 따라가면 선택 설명이 약해지는데, 15장이 이 설계를 종단 설계라는 이름으로 세운다. 다만 4장에서 본 탈락의 문제가 붙는다. 훈련을 끝까지 마친 사람만 남는다면 그것 자체가 선택이다.
• 훈련 여부를 무선배정하는 설계. 가능하다면 가장 강하다. 다만 여러 해가 걸리는 훈련을 무선배정하는 일은 대개 불가능하다.
• 표본 크기. 이런 연구는 표본이 아주 작은 경우가 많고, 앞 절에서 본 이유로 작은 표본의 결과는 부풀려져 있을 가능성이 크다.

실제로 널리 인용되는 이런 연구가 있고, 뒤에 훈련생을 따라간 종단 연구가 이어져 같은 방향의 결과를 보고했다. 그 점에서 이 사례는 단면 자료 하나로 끝난 경우보다 낫다. 그래도 표본이 작다는 점은 남는다. 정확한 서술은 "이 방향을 지지하는 자료가 여럿 있으나 표본이 작다"이지 "그 일을 하면 뇌가 커진다"가 아니다.

모범답안. 가소성은 기능 귀속을 더 어렵게 만들지만 무의미하게 만들지는 않는다. 어렵게 만드는 쪽부터 보자. 첫째, 손상 뒤에 관찰된 수행은 "그 부위가 빠진 정상 뇌"의 수행이 아니라 남은 부분이 얼마간 다시 조직된 뇌의 수행이다. 손상 직후와 시간이 지난 뒤가 다르므로, 언제 쟀는지가 결과의 일부가 된다. 둘째, 부위와 기능의 대응이 사람마다 그리고 시간에 따라 조금씩 다를 수 있으므로, 여러 사람의 영상을 평균한 그림이 어느 개인에게도 정확히 맞지 않을 수 있다. 그런데 무의미하게 만들지는 않는다. 가소성에는 한계가 있기 때문이다. 감각 입력이 들어오는 큰 경로나 초기 처리의 대략적인 배치는 사람마다 상당히 비슷하고, 아주 크게 바뀌지 않는다. 바뀌는 것은 주로 그 범위 안에서의 세부다. 그러므로 정확한 태도는 이렇다. 부위와 기능의 대응은 고정된 배선이 아니라 어느 정도 폭을 가진 규칙성이며, 그 폭이 얼마나 되는지가 그 자체로 연구의 대상이다.

답에 반드시 들어가야 하는 것.

• 손상 뒤의 수행이 다시 조직된 뇌의 수행이라는 것, 그래서 잰 시점이 중요하다는 것
• 그럼에도 가소성에 한계가 있어 대응이 완전히 흐물흐물하지는 않다는 것
• 결론을 "폭을 가진 규칙성" 쪽으로 적을 것

다르게 답해도 되는 범위.

가소성의 폭을 크게 보든 작게 보든 상관없다. 실제로 계마다 다르고 다투어진다. 다만 "가소성이 있으니 뇌의 어느 부위든 무엇이든 할 수 있다"고 답하면 오답이다. 그 주장은 감각 상실 뒤의 재조직화 같은 사례를 과장한 것이고, 재조직화가 일어나는 범위 자체가 제한되어 있다는 자료가 있다.