[NYT 기사] 사회심리학자 Cuddy와 P-value

오늘 아침 일찍 학과장 쌤에게서 온 전체 메일은 뉴욕타임즈에 실린 한 사회심리학자의 학자로서의 길에 대한 내용이었다.

기사 제목은 When the Revolution Came for Amy Cuddy (클릭).

10/18/2017에 발행된 기사이다.

아침에 지금 쓰는 논문작업을 더 하려고 했는데, 이 기사를 읽다 보니 이런저런 생각이 너무 많이 든다.

굳이 Cuddy의 이력을 다 읊진 않겠으나, 이 기사는 Cuddy의 시작과 아이비 리그에서 스타학자를 지도교수로 두고, 엄청난 인용수를 자랑하는 연구를 발표하고, 학계/미디어 스타가 된 후, 그동안 출판된 연구들의 방법론에 대한 비판을 받기 시작하고, 그 연구가 replication이 되지 않고, 학계로부터 외면을 받게 되면서 결국 아이비 리그에서의 tenured position을 조용히 손놓게 되는 과정을 그리고 있다.

이 기사는 Cuddy의 사례를 중심으로, p-value에 의존하는 연구들의 현재와 publication bias에 대한 얘기들을 사이드로 다루고 있다. 

2010년도에 들어서 replication movement가 있어왔고, p-value (영가설 검증)의 유효성에 대한 거센 비판이 지속되고 있다.

Bayesian approach를 해야 한다, Confidence Interval을 제시해야 된다, Effect Size를 반드시 보고하라 등등 그 대안들이 쏟아지고 있다.

메타 연구의 경우, p-curve가 제안되기도 했고. (아래 인용 클릭)

Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve and effect size: Correcting for publication bias using only significant results. Perspectives on Psychological Science, 9(6), 666-681. (클릭)

통계 패키지에 의존하는 연구에 대한 고민이 많다.

연구 출판에 대한 압박과 좋은 연구를 해야한다는 학자로서의 고민, 펀딩을 받고 그 기간 내에 연구들을 진행해야하는 압박.

그 가운데, 천천히 변화하고 있는 방법론을 어디서 업데이트하고 어떻게 내 연구에 적용해야 할까.

과연, 지금까지 출판한 연구들을 10년 후에 내가 자신있게 다시 얘기할 수 있을까.

통계 패키지보다는 R과 같은 오픈소스로 논문에 아예 R code까지 공개하고, 데이터 포인트를 모두 paper에 제시하는게 바람직한 방법일 수 있겠다는 생각이 든다.

그런데 그걸 어디서 배워야 할까.

그래서 최근 R을 배우려고 노력하고 있고, 박사과정 끝나기 전에 R로 분석한 논문을 한 편이라도 출판해보는 것이 목적이다.

가능할지 모르겠지만... 그래야 내가 하고 싶은 일을 더 해볼 수 있겠다는 생각이 든다.

임상심리 박사과정은 참 바쁘다.

랩의 연구 혹은 내 연구를 진행하고, 논문도 써야 하고, 랩 데이터를 관리하고, 수업을 듣고, 내담자/환자들을 보고, 수퍼비전을 받고, 학부생들 연구/멘토링을 하고, 강의도 해야 하고.

어떻게 해야 연구자로서의 integrity를 계속 유지하고 발전시켜 나갈 수 있을까.

마음 한 구석 falsifiability와 replicability의 원칙을 잃지 않으려 노력하는데, 이걸로 되는 걸까.

이 기사의 한 구절이 가슴깊게 박힌다.

"Brian Nosek says. “Science isn’t about consensus.”

------------

(5/13/18 추가)

최근 이 기사의 뒷 얘기를 듣게 되었다.

이 기사는 이 논란의 시작점인 방법론 관련 논문에서 시작된 듯 하다.

그 논문은 사실 11명의 연구자들의 그동안의 연구들을 쭉 살펴보고 p-value라는 영가설기각의 방법론적 접근이 정말 베스트냐 라는 것을 검증하는 논문이었다.

그 11명 중 유일한 여성 연구자가 Cuddy였다고 한다.

Cuddy가 문제가 아니라, 현재 영가설기각 방법론 외에 더 나은 사회과학영역 연구방법론을 찾기 위한 과정 중 하나였던 것.

째튼, 해당 연구자는 p-hacking의 위험성에 대해 경고한다.

최근 이 연구자의 강연을 들을 기회가 있었는데, p-value에 기반한 연구들이 메타연구들의 false-positive 결과들을 증폭시키는 효과를 나타내고 있다고 한다.

그리고, 현재 데이터를 수집하기 전에 미리 분석방법을 충분히 자세하고 정확하게 기술하여 웹상에 등록을 해둘 것을 권고한다. 그러면 상황에 따라서 샘플이나 변수를 이리저리 살펴보는 것을 막을 수 있는 방법이라고.

처음에는 생산성이라던가 필드에서 소위 잘나가기 위한 조건에 장벽이 되는거 아니냐라는 의견들이 당연히 있겠으나, 이런 버릇을 들이고 나면 연구생활이 쉬워진다고.