Publication Trends and Statistical Validity of Articles Published in The Asian Journal of Kinesiology
Article information
Abstract
OBJECTIVES
This study investigated the publication status of article types, sample sizes, statistical programs, and statistical techniques in The Asian Journal of Kinesiology (AJK). In particular, the study analyzed statistical errors, focusing on the application of t-tests and analysis of variance (ANOVA).
METHODS
A total of 444 articles were reviewed. Publication type, statistical program, and statistical techniques were classified using a statistical checklist. Among the 347 articles employing inferential statistics, errors in the application of t-tests and ANOVA were examined in detail.
RESULTS
Of the 444 articles, 347 (78%) utilized inferential statistics. SPSS was the most frequently used program (89.0%), and approximately 96% of analyses adopted parametric techniques. The t-test (94 articles) and ANOVA (207 articles) were the most frequently applied statistical methods, together appearing in 301 studies (77.4%). The error rate for t-tests was 18.1%, primarily due to inconsistencies between research design and the selected method. For ANOVA, the error rate was 39.1%, with most errors related to post-hoc procedures and some discrepancies between design and application noted.
CONCLUSIONS
In kinesiology research published in AJK, careful alignment between research design and statistical techniques is essential. The t-test should be applied only when appropriate to the design, with consideration of two-way ANOVA when feasible. For ANOVA, researchers must ensure an understanding of its assumptions, apply methods aligned with experimental design, and select appropriate post-hoc or contrast procedures to ensure statistical validity.
서론
연구의 방법론적 타당성과 신뢰성은 실험 설계 단계에서 적절한 통계 기법이 적용될 때 확보된다. 적절한 통계기법은 연구의 내적 타당도와 외적 타당도를 높여 학문적 성과를 결정하며, 독자들에게 연구 평가의 객관적 기준을 제공한다[1].
통계 기법의 타당성 문제는 해외에서는 1970년대 이후 다양한 학문 분야에서 지속적으로 제기되었으며[2], 국내에서도 일부 학문 분야에서 이에 대한 연구가 이루어졌다[3]. 운동학 분야와 관련된 학술지의 통계기법에 대한 연구는 Kang[4]의 ‘연구보고서에 나타난 통계적 방법 적용의 오류’가 제시된 이래 학술연구 검색창에서 Kim[5]의 ‘검도 게재 연구논문에 활용된 통계기법의 타당성 평가’와 Kim & Wi[6]의 ‘국내외 체육학술지의 통계적 기법활용의 타당성 평가’라는 두 편의 연구가 검색되었다. 이는 보건의료 분야에서 다수 수행된 학술지 통계기법 검토 연구들과 비교할 때[7-9], 운동학 분야 연구는 상대적으로 빈약함을 보여준다. 실제로 운동학 분야의 통계 전문가 수는 절대적으로 부족하며, 전문가 자문을 구하더라도 연구자와의 통계적 이해 수준의 차이로 어려움이 따른다.
선행연구에 따르면 국내외 학술지 모두에서 통계적 오류 발생률은 높으며, 그 수준도 유사한 것으로 보고된다[8]. 그러나 학술지의 통계기법에 대한 평가를 토대로 점검표를 사용한 이후에는 통계적으로 타당한 논문의 비율이 11%에서 84%로 개선되었음을 보고하였다[10].
이러한 배경에서 이 연구는 아시아 운동학 학술지(The Asian Journal of Kinesiology; AJK)에 게재된 논문을 분석하여 통계 기법 적용 현황을 검토하고자 한다. AJK는 운동학 전반을 다루는 학술지로, 2011년 한국연구재단 등재 이후 다수의 연구가 발표되어 왔으나, 지금까지 해당 논문들에 적용된 통계기법을 체계적으로 평가한 연구는 없었다. 따라서 AJK에 게재된 논문현황 더불어 적용된 통계기법에 대한 타당성 평가를 통하여 향후 연구에서는 보다 적절한 통계기법이 적용되어 연구의 타당성과 신뢰성을 높이는데 기여하고자 한다.
이 연구는 AJK가 등재지로 선정된 2012년 이후 최근 13년간 게재된 논문을 대상으로 논문 게재유형, 표본의 크기 산출 근거, 적용된 통계프로그램 및 적용된 통계기법의 현황을 파악하고, 또한 가장 많이 사용되고 있는 t-검증과 분산분석(ANOVA)에 중점을 두어 통계기법의 오류를 분석하여 대표적인 오류 유형을 제시하고, 개선 방안을 논의하는 것을 목적으로 한다.
연구방법
1. 연구자료
이 연구는 대한운동학회와 아시아운동학회의 AJK가 2011년 한국연구재단(KCI)의 등재학술지로 선정된 이후 2012년부터 2024년까지 13년간 게재된 총 444편의 논문 중 증례보고(case study) 22편, 종설(review article) 65편, 원저(original article) 357편 중에 기술통계 논문 10편을 제외한 347편의 원저 논문을 대상으로 하였다<Table 1>.
Types of articles and statistics used in articles. Unit: number(%)
2. 연구 분석방법
이 연구는 모수통계 중 추리통계를 적용한 347편의 논문에 적용된 통계기법의 종류를 조사하고 그 적정성을 평가하기 위한 통계점검표는 Yang et al.[7]의 연구를 참고하여 작성하였다. 통계점검표에는 연구대상자 선정 근거, 논문의 종류, 적용된 통계기법, 적용된 통계프로그램, 통계분석 방법의 타당성 항목이 포함되었으며, 이들 항목에 대하여 빈도를 제시하고 타당성을 평가하였다. 한 논문에서 두 가지 이상 주된 통계기법이 사용된 경우에는 이를 각각의 횟수로 집계하였다. 연구대상자 선정 근거는 연구생명윤리위원회(IRB)의 승인을 받았거나 G-Power 프로그램 등에 근거하여 대상자 수를 제시하였을 경우만 인정하였다. 통계기법의 타당성 평가는 하나의 논문에서 여러 가지 오류가 있어도 1회의 오류가 발생한 것으로 간주하였으며, 오류의 중대성은 평가하지 않고 단순히 오류의 횟수로만 기록하였다. 이러한 평가는 통계 및 운동학 전문가에 의해 시행되었으며, 평가 결과의 분석은 SPSS 프로그램을 이용하여 각 항목의 빈도와 백분율을 제시하였다.
연구 결과
1. 논문 게재유형 현황
전체 444편의 논문 중 증례보고 22편(4.9%), 종설 65편(14.6%), 원저 357편 (80.5%) 중 기술통계 논문 10편(2.3%)을 제외한 추리통계 기법을 사용한 논문은 347편(78.2%) 이었다<Table 1>.
2. 표본 크기 및 소프트웨어 사용 현황
추리통계를 사용한 347편 중 표본의 크기에 대한 근거를 제시한 논문은 71편(20.5%), 제시하지 않은 논문은 276편(79.5%) 이었다. 통계분석에 사용된 통계프로그램은 SPSS 309편(89.0%), SAS 18편(5.2%), STATA, SigmaPlot, R, 미제시 등 기타 20편(5.8%)으로 나타났다<Table 2>.
Basis for selecting the number of research subjects and use of statistical programs. Unit: number(%)
3. 적용된 통계기법 및 통계기법의 오류 분석
논문 347편 중 한 연구에서 2개 이상 주된 통계방법이 적용된 논문 57편이 있어 전체 연구로는 405편이 포함되었다. 그 중 모수통계 기법을 적용한 논문은 389편(96.0%), 비모수 통계 논문은 16편(4.0%)으로 나타났다. 또한 모수 통계기법은 8가지이고 비모수 통계기법은 5가지로 총 13가지 통계기법이 사용되었다. 모수 통계기법을 적용한 389편의 논문 중 분산분석(ANOVA)은 207편(53.2%), t-검정은 94편(24.1%), (다중)회귀분석은 40편(10.3%), 상관분석은 27편(6.9%) 순으로 나타났다.
t-검정 중 독립 t-검정과 종속 t-검정은 각각 36편(38.3%)과 58편(61.7%) 이었으며, ANOVA 중 일원분산분석과 이원분산분석은 각각 62편(30.0%)과 145편(70.0%)으로 나타났다. 일원분산분석 중에서도 독립집단 일원분산분과 반복측정 일원분산분석은 각각 35편(56.4%)와 27편(43.6%) 이었고, 이원분산분석에서는 고정효과모형(집단×집단)이 5 편(3.5%), 무선효과모형(반복×반복)이 20편(13.8%), 혼합효과모형(집단×반복)이 120편(82.7%)으로 나타났다.
전체 논문 중 t-검정과 ANOVA 통계기법을 적용한 논문은 301편(77.3%)으로 사용빈도가 가장 많았다. t-검정을 적용한 94편의 논문 중 통계기법 오류가 발견된 것은 17편(18.1%) 이었으며, ANOVA 적용 207편의 논문에서는 통계기법 적용의 오류 17편(8.2%)과 사후검증의 오류 67편(32.3%)의 총 84편(40.5%)으로 나타났다<Table 3>. 이 중에서 사후검증 오류는 보다 세부적으로 분류하여 분석하기 위하여 전체 오류에서 따로 구분하여 <Table 4>에 제시하였다.
Applied t-test and ANOVA statistical techniques and error analysis. Unit: number(frequency of errors)
Error analysis of applied post-comparison(contrast). Unit: number(%)
4. ANOVA에 적용된 사후검증(사후비교) 오류 분석
ANOVA에서 사후검증(post-HOC; post comparison)의 오류는 207편 중 67편(32.3%)으로 나타났다. 일원분산분석 적용한 논문은 총 62편이었으며, 그 중 독립집단 일원분산분석을 적용한 35편 중 12편(34.3%)에서 사후검증을 제시하지 않았다. 반복측정 일원분산분석을 적용한 27편의 연구에서는 17편(63.0%)에서 사후검증을 제시하였고, 1편(3.7%)은 사후비교(contrast)를 제시하였으며, 9편(33.3%)은 사후검증이 제시되지 않았다.
이원분산분석은 총 145편(70.0%)이 적용되었다. 그중 고정효과모형(집단×집단) 적용 논문은 5편이었으며, 3(60.0%)편은 사후검증이 제시되었고 2편(40.0%)은 제시되지 않았다. 무선효과모형(반복×반복) 적용 논문은 20편이었으며, 그 중 2×2 모형은 1편, 3×2(이상) 모형은 19편이었다. 따라서 2×2 모형을 제외한 19편의 논문 중 사후검증을 제시한 논문은 11편(57.9%), 제시하지 않은 논문은 3편(15.8%), 사후비교를 제시한 논문은 5편(26.3%) 이었다. 혼합효과모형(집단×반복) 적용 논문은 전체 120편으로 빈도가 가장 많았으며, 그중 집단(2)×반복(2) 모형은 61편(50.8%), 집단(3)×반복(2이상) 모형은 29편(24.2%), 집단(2)×반복(3이상) 모형은 30편(25.0%)으로 나타났다<Table 4>.
논의
추리통계를 사용한 347편의 연구 중 연구대상자 수에 대한 산출근거를 제시한 논문은 71편(20.5%)으로, 실험설계 단계에서 필수적으로 연구생명위원회(IRB)의 승인을 받아야 하는 보건의료 분야의 학술지보다는 매우 낮음을 확인할 수 있었다. 그럼에도 불구하고 최근에는 운동학 분야도 IRB 승인이 권장되고 있어 G-Power 프로그램 등을 사용하여 연구대상자 수를 객관적으로 제시하는 연구가 많아지는 추세를 보이고 있다. 또한 통계분석에 사용된 통계프로그램은 SPSS가 309편(89.0%)으로 압도적이었으며, 이 연구에서는 제시하지 않았지만 효과의 크기(effect size)를 제시한 연구는 거의 찾아보기 어려웠다.
이 연구에서는 389편의 논문 중 t-검정 94편과 ANOVA 207편의 총 301편에 중점을 두어 분석하였다. t-검정은 독립 t-검정 36편(38.3%)과 종속 t-검정 58편(61.7%)이 적용되었으며, 그중 독립 t-검정에서 3편과 종속 t-검정서 14편의 총 17편(18.1%)에서 통계기법 오류가 발견되었다. 이 수준은 t-검정 통계기법 연구에서 약 20%의 오류를 보인다는 의학 학술지의 보고와 비슷하였다[8].
이 연구의 t-검정에서 가장 많이 발견된 오류는 연구설계와 적용된 통계기법이 상이하다는 것이었으며, 기타 독립 t-검정과 종속 t-검정을 구별하지 못하는 오류도 종종 발견되었다. 두 집단을 대상으로 사전과 사후 반복측정이 시도되는 실험설계에서는 t-검정이 아닌 혼합설계모형의 집단(2)×반복(2) 이원분산분석이 적용되어야 한다. 그럼에도 불구하고 대부분의 연구에서는 독립 t-검정과 종속 t-검정을 각각 적용하여 t-검정을 4회 분석함으로써 1종 오류가 커지는 오류를 발견하였다. 즉, 4번의 t-검정을 통한 통계적 오류가 있더라도 유의수준은 α=.05 로 고정되고 이 때의 1종 오류가 α=.186[1-(1-.05)4]으로 크게 증가한다는 것이다[11]. 게다가 이러한 t-검정 실험설계에서는 집단과 측정시기에 따른 상호작용효과를 분석할 수 없다는 단점이 있다는 점을 고려할 필요가 있다고 생각된다.
한편 종속 t-검정을 적용한 연구는 61.7%로 사용빈도가 높았는데, 최근 들어 실험설계 단계에서 종속 t-검정이 지양되고 있다는 측면이 고려될 필요가 있다고 보여 진다. 즉, 종속 t-검정에 의한 실험설계의 경우 실험 처치가 매우 효과적이거나 검사의 난이도가 너무 낮으면 매우 높은 점수를 얻게 되는 천장효과(ceiling effect)가 있고, 역으로 측정도구가 측정하려는 특성이 하위수준에 속한 사람들을 변별하지 못하는 바닥효과(bottom effect)의 가능성이 있어 연구 결과의 신뢰성(내적타당도)을 떨어뜨리게 되므로[12], 가급적이면 이러한 형태의 실험설계와 통계기법은 지양해야 한다는 주장이 설득력이 있기 때문이다. 또한 종속 t-검정을 사용하는 연구에서는 대조군의 유무에 따라 연구의 타당도가 달라질 수 있다는 점도 고려할 필요가 있다.
분산분석(ANOVA)을 적용한 연구 중 일원분산분석은 62편(30.0%)이며, 이원분산분석은 145편(70.0%)으로 나타나 이원분산분석이 2배 이상이었다. 그 중 일원분산분석은 독립집단 일원분산분과 반복측정 일원분산분석이 각각 35편(56.4%)과 27편(43.6%)으로 비슷하게 나타났고, 이원분산분석에서는 고정효과모형 5편(3.5%), 무선효과모형 20편(13.8%), 혼합효과모형 120편(82.7%)으로 나타나 운동과학분야에서는 혼합설계모형이 가장 많이 사용되고 있는 모형임을 알 수 있었다.
ANOVA 적용 논문에서는 통계기법의 적용 오류 17편(8.2%)과 사후검증 오류 67편(32.3%)의 총 84편(40.5%)으로서, 대한치주학회지에서 보고한 38.3%와 비슷하였다[7]. 그에 반해 외국을 포함한 국내 의학학술지의 경우 대략 35∼70% 정도의 오류율을 보인다고 하였는데[8], 이렇게 통계오류 연구의 비율이 크게 나타나는 것은 연구마다 통계오류 점검표의 양식이 동일하지 않거나, 또한 학술지 간의 오류의 횟수를 중복 또는 단수로 집계하는 방식이 다르기 때문으로 생각된다. 그럼에도 불구하고 이러한 오류율은 대체적으로 ANOVA 적용 논문에서 높다는 것을 보여주며, 그 중 사후검증에서 오류의 비율이 매우 높은 비중을 차지한다는 것을 확인할 수 있었다.
17편의 통계기법 적용 오류에는 이원분산분석을 일원분산분석으로 혹은 일원분산분석을 이원분산분석으로 잘못 제시하거나, 독립집단 ANOVA와 반복측정 ANOVA를 구별하지 못하거나, 집단(2)×반복(2) 이원분산분석을 t-검증으로 제시하는 등의 오류가 발견되었다. 한편, 이 연구에서는 통계기법의 오류에 포함시켜 분석하지는 않았지만 여러 연구에서 F값 등의 통계치를 제시하지 않았거나 제시된 통계기법과 결과표의 결과가 상이하거나 통계결과와 해석이 모순되거나 하는 등의 오류가 빈번하게 발견되었고 드물게는 통계학적 유의수준을 제시하지 않은 연구도 있었다.
사후검증(사후비교) 오류가 나타난 논문은 총 67편(32.3%)으로 나타났다. 사후검증 오류 유형은 사후검증 방법을 제시하지 않았거나, 타당하지 않은 사후검증을 적용을 적용하였거나 혹은 불필요한 사후검증 방법을 제시하였거나 하는 등의 오류가 있었다. 이 연구에서는 반복측정 ANOVA가 적용된 경우 사후검증과 함께 사후비교를 포함하여 집계하였다.
일원분산분석을 적용한 논문 62편 중 독립집단 일원분산분석 연구는 35편이며, 그중 23편(65.7%)은 사후검증을 제시하였고 12편(34.3%)은 제시하지 않았다. 반복측정 일원분산분석 연구는 27 편이며, 그중 17 편(63.0%)은 사후검증을, 1 편(3.7%)은 사후비교를 제시하였고, 9 편(33.3%)은 사후검증에 대한 언급이 없었다. 이원분산분석이 적용된 연구(145편)에서는 고정효과모형 논문 5편 중 2편(40.0%)은 사후검증이 제시되지 않았다. 무선효과모형 논문은 3×2(↑) 모형 19편 중 사후검증이 11편(57.9%), 사후비교가 5편(26.3%) 제시되었고, 3편(15.8%)은 언급이 없었다. 혼합효과모형 논문은 전체 120편으로 가장 많았으며, 집단(2)×반복(2) 모형은 61편(50.8%), 집단(3)×반복(2↑) 모형은 29편(24.2%), 집단(2)×반복(3↑) 모형은 30편(25.0%) 이었다.
그 중 집단(2)×반복(2) 모형 61편은 사후검증이 필요하지 않음에도 불구하고 23편(37.7%)에서 사후검증을 적용하였다고 제시하였다. 이는 2×2 ANOVA의 경우 사후검증을 시행하지 않아도 연구결과를 해석하는데 전혀 문제가 없다는 점을 간과하였기 때문으로 보여 진다. 집단(3)×반복(2↑) 모형 29편에서는 8편(27.6%)에서 사후검증이 제시되지 않았으며, 사후비교를 제시한 논문은 1편(3.4%) 이었다. 집단(2)×반복(3↑) 모형 30편 중에서는 13편(43.3%)에서 사후검증이, 7편(23.3%)에서 사후비교가 제시되었고, 10편(33.3%)에서는 제시되지 않았다.
반복측정에 따른 자료는 시간의 흐름에 따른 변화를 분석하는 것이 대부분이므로 반복측정설계가 유일한 해결책이며, 이 연구에서 조사된 바와 같이 운동학분야에서 가장 많이 사용되고 있고 있다. 따라서 이 연구에서는 반복이 있는 ANOVA에서 적절한 사후검증(사후비교) 방법에 대한 중요성을 강조하고자 하였다. 즉, 반복측정과 관련된 ANOVA에서 3회 이상 반복이 있는 경우 통계적으로 유의한 F값을 얻었다면 사후검증을 적용하여 분석하여야 하는 것은 주지의 그럼에도 불구하고 SPSS 통계프로그램은 사후검증(post-HOC; post comparison)을 위한 반복측정 프로시저(procedure)를 적용할 수 없다[13]. 반면에 사후비교(contrast)는 적용이 가능하다. 이 연구에서는 약 90% 정도가 SPSS 통계프로그램을 사용한 것으로 조사되었다.
시간의 흐름에 따른 변인들의 변화는 점진적으로 향상되거나 혹은 감소하는 등의 경향성을 보이게 된다. 따라서 사후검증이 아닌 사후비교를 적용하여도 연구결과를 해석하는데 있어 무리가 없다[14]. 그럼에도 불구하고 이 연구에서 조사된 반복이 있는 ANOVA 연구는 105편이었고, 그 중에서 사후검증이 61편(58.1%), 사후비교가 14편(13.3%) 시행되었으며, 30편(28.6%)은 언급이 없었다. 결국 SPSS 프로그램에서 시행이 가능한 사후비교를 제시한 논문은 약 13%에 불과하였고, 약 58%는 직접 적용이 불가능한 사후검증을 시행하였다고 조사되었다. 따라서 반복측정 ANOVA에서 사후검증을 위한 SPSS 프로그램은 반복측정 프로시저를 시행할 수 없다는 점에 비추어 볼 때, 이 연구에서 조사된 58%의 사후검증을 보고한 연구는 자체적으로 논리적인 모순을 내포할 수 있다고 생각된다.
이에 대한 해결책으로서, 반복이 있는 ANOVA에서는 사후검증 대신 사후비교로 결과를 해석하는 것이 권장되며, 6가지의 사후비교 방법 중에서 가장 적절한 방법을 선택하는 능력을 갖추는 것이 우선되어야 할 것으로 보인다. 다음으로는 구형성(sphericity)의 가정이 만족된다는 조건에 한해서만, 단변량 분석방법으로 확률화블록설계를 적용하여 사후검증을 시행할 수 있다. 이를 적용하기 위해서는 자료입력 방식이 반복측정설계를 위한 자료입력 방식과 달라야 한다. 즉, 각각의 피험자를 블록으로 간주하므로, 각 피험자에게 가한 처치의 수로 입력하여야 하며, 종속변수도 횡에서 종으로 세워 입력하여 분석하여야 한다[13]. 이 과정은 많은 시간과 노력이 투입되어야 가능하며, 구형성이 만족되지 않으면 적용할 수 없다는 단점이 있다[14].
참고로 모수통계에서 구형성의 가정이 만족되지 않았을 경우에는 즉, ε(엡실런) 값이 0.7-0.9일 경우 Greenhouse-Geisse 또는 Huynh- Feldt를 채택하여야 하고, 0.7 이하일 경우 다변량분산분석을 적용하여야 한다. 이를 무시한다면 1종 오류가 급격하게 커지게 된다[15].
결론
이 연구에서 최근 13년간 AJK에 게재된 444편의 논문 중 추리통계 기법을 사용한 논문은 347편(78%) 이었다. 통계프로그램은 SPSS가 89.0%로 가장 많이 사용되었고, 전체 연구 중에서 모수통계의 비율은 약 96%로 나타났다. 논문에 적용된 통계기법 중 분산분석(ANOVA)은 207편(53.2%), t-검정은 94편(24.1%)으로 사용빈도가 가장 높았다. t-검정에서의 통계기법의 오류는 18.1% 이었으며, 주로 연구설계와 적용된 통계기법의 상이함에서 기인되었다. ANOVA에서의 통계기법 오류는 39.1%로서, 주로 사후검증 오류에서 비롯되었다. 따라서 t-검정은 실험설계 단계에서 적절한 통계기법을 고려하고 가급적이면 이원분산분석으로 설계하는 것이 권장되며, ANOVA는 모수통계의 기본 가정을 이해하여 실험설계에 맞는 통계기법을 적용하고, 그에 맞는 적절한 사후검증 또는 사후비교 방법을 올바르게 선택하여야 한다고 판단된다.