Accuracy evidence

What we compared against, and where it differed

Statory results compared against SPSS and Amos output on the same data. Every number below is read automatically from the comparison records in the repository, so this page cannot be edited by hand; the records themselves are version-controlled.

323 values compared · 292 agree · 0 disagree

Summary

Analysis familyEnginesValues comparedAgreeConvention differsNot comparable
Named by the comparison run7939300
Difference148474010
Relationship5281936
Structural213724
Basic Analysis210802
Prediction26204
Basic Statistics13300
IBM SPSS Statistics33237206526
IBM SPSS Amos2868600

Record: docs/parity/spss_diff.md · docs/parity/amos_diff.md

Text & decision — what we compared against

SPSS and Amos do not produce these numbers, so instead of “do the values agree?” we record what each engine was compared against — an external reference, a same-library reproduction, an accuracy measured on a labelled public sample, or nothing comparable yet.

EngineVerdictAgainst what · how
ahpMatches an external reference완전 일관 행렬(a_ij = w_i/w_j)의 답은 정의상 손으로 떨어진다 — 가중치 = w · λmax = n · CI = 0 · CR = 0 (Saaty 의 일관성 정의 그대로). 집단 통합은 성분별 기하평균(AIJ)을 numpy 로 따로 계산해 맞댄다.
collocationMatches an external referenceNLTK 3.x `BigramAssocMeasures.pmi` (Church & Hanks, 1990) — 같은 토큰·같은 창(4)에 두 구현을 나란히 돌려 맞댄다.
deaMatches an external reference포락형 엔진을 **쌍대인 승수형**으로 따로 풀어 맞댄다 — CCR (1978) · BCC (1984).
dominant_strategyMatches an external reference우월전략은 정의가 한 줄이라 손계산으로 맞댄다 — 표준 교재 정의.
electreMatches an external referenceELECTRE I 의 일치·불일치 지표를 손계산으로 맞댄다 — Roy (1968).
fuzzy_topsisMatches an external referenceChen, C.-T. (2000). "Extensions of the TOPSIS for group decision-making under fuzzy environment." *Fuzzy Sets and Systems*, 114(1), 1–9. — 그 논문의 정식을 이 파일 안에서 독립으로 세워 푼다(엔진 import 0).
nash_equilibriumMatches an external referencenashpy 로 균형을 따로 구해 맞댄다 — Nash (1950).
prometheeMatches an external referencepymcdm `PROMETHEE_II`(usual 선호함수)와 값 대조 — Brans & Vincke (1985).
sawMatches an external reference단순가중합(SAW)은 정의가 한 줄이라 손계산으로 맞댄다 — MacCrimmon (1968).
sentiment_en_accuracyMeasured on a labelled sample정확도 표본 · UCI Sentiment Labelled Sentences 500건(긍정 250 · 부정 250 · CC BY 4.0) — 정확도 66.0% · 긍정 F1 0.786 · 부정 F1 0.678 · 중립 판정 106건. Kotzias (2015) · 상품·영화·식당 리뷰 도메인이라 면담·설문과 다르고 표본에 중립 라벨이 없다 — 참고 수치다.
sentiment_ko_accuracyMeasured on a labelled sample정확도 표본 · NSMC 500건(긍정 250 · 부정 250 · CC0) — 정확도 48.4% · 긍정 F1 0.714 · 부정 F1 0.496 · 중립 판정 216건. 영화 리뷰 도메인이라 면담·설문과 다르다 — 참고 수치다.
sequential_gameMatches an external reference역진귀납을 손계산으로 맞댄다 — Selten (1965) 부분게임완전균형.
shapley_valueMatches an external reference샤플리 값을 순열 평균 정의로 따로 계산해 맞댄다 — Shapley (1953).
social_choiceMatches an external referenceBorda·Condorcet 를 정의대로 손계산해 맞댄다 — Borda (1781) · Condorcet (1785).
sociometryMatches an external referenceNetworkX 로 연결정도·상호지명·고립을 따로 세어 맞댄다 — Moreno (1934).
text_comprehensiveSame-library reproduction구성 지표(빈도·TF-IDF·감성)가 저마다 같은 라이브러리를 다시 부르는 재현이다 — 묶음 전체를 맞댄 바깥 기준은 없다.
topic_modelingSame-library reproductionscikit-learn `LatentDirichletAllocation` 을 **엔진이 쓰고 참조도 같은 것을 부른다** — 바깥 기준과 맞댄 것이 아니라 같은 라이브러리를 다시 돌린 재현이다.
topsisMatches an external referencepymcdm `TOPSIS`(vector 정규화)와 값 대조 — Hwang & Yoon (1981).
vikorMatches an external referencepymcdm `VIKOR`(v=0.5)와 값 대조 — Opricovic & Tzeng (2004).
Total19Matches an external reference 15 · Same-library reproduction 2 · Measured on a labelled sample 2

Record: backend/tests/parity/family_reference.json

Values not counted as agreeing — and why

These values were not counted as agreeing. "Convention differs" means the values are supposed to differ (the tools compute them differently); "not comparable" means the reference tool does not report that value, or we could not extract it.

Show details (31)
  • Not comparabledescriptive · median

    SPSS DESCRIPTIVES does not report the median — "not comparable" is the normal outcome here

  • Not comparablereliability · standardized α

    SPSS does not report standardized α from /MODEL=ALPHA alone

  • Not comparablemultiple_regression · X_IND VIF

    not comparable · the frozen SPSS output has no collinearity column (COLLIN was not requested) — the Statory value is the textbook VIF, measured with the constant column in place

  • Not comparablemultiple_regression · X_MOD VIF

    not comparable · the frozen SPSS output has no collinearity column (COLLIN was not requested) — the Statory value is the textbook VIF, measured with the constant column in place

  • Not comparablemultiple_regression · MEDIATOR VIF

    not comparable · the frozen SPSS output has no collinearity column (COLLIN was not requested) — the Statory value is the textbook VIF, measured with the constant column in place

  • Not comparablepaired_ttest · degrees of freedom

    the engine's paired-samples table has no df column (it carries N only)

  • Not comparableone_sample_ttest · t

    not comparable · the two frozen SPSS outputs contain no such table (the Statory value itself is fine)

  • Not comparableone_sample_ttest · p value

    the p tolerance bottoms out at 0.0005 (3 decimal places shown)

  • Not comparableone_sample_ttest · degrees of freedom

    the engine's one-sample table has no df column (it carries N only)

  • Not comparablelogistic_regression · X_IND B

    not comparable · the two frozen SPSS outputs contain no such table (the Statory value itself is fine)

  • Not comparablelogistic_regression · X_IND p value

    the p tolerance bottoms out at 0.0005 (3 decimal places shown)

  • Not comparablelogistic_regression · X_IND Exp(B)

    not comparable · the two frozen SPSS outputs contain no such table (the Statory value itself is fine)

  • Convention differslogistic_regression · X_IND Wald

    SPSS carries Wald χ² (= Z²) while the engine carries Wald Z

  • Convention differsmoderation · interaction B

    MR-6 ③ · FIX-4 ④ — the SPSS syntax multiplies z-standardized terms while the engine multiplies mean-centered terms (B_SPSS = B_engine × σ_x × σ_w)

  • Convention differsmoderation · interaction beta

    MR-6 ③ — the engine multiplies standardized variables (z_x·z_w, Aiken & West) while the SPSS syntax standardizes the product term itself

  • Not comparablewilcoxon · p value

    the p tolerance bottoms out at 0.0005 (3 decimal places shown)

  • Not comparablewilcoxon · effect size r

    SPSS does not report the Wilcoxon effect size r

  • Not comparablefriedman · p value

    the p tolerance bottoms out at 0.0005 (3 decimal places shown)

  • Not comparablefriedman · Kendall W

    NPAR TESTS /FRIEDMAN does not report Kendall W

  • Not comparablemcnemar · discordant cell b

    the SPSS test-statistics table has no discordant cell counts (they are in the crosstab)

  • Not comparablemann_whitney · p value

    the p tolerance bottoms out at 0.0005 (3 decimal places shown)

  • Not comparablecluster_analysis · X_IND F

    cluster numbers may differ from SPSS, but the per-variable F does not depend on the numbering

  • Not comparablecluster_analysis · X_MOD F

    cluster numbers may differ from SPSS, but the per-variable F does not depend on the numbering

  • Not comparablecluster_analysis · MEDIATOR F

    cluster numbers may differ from SPSS, but the per-variable F does not depend on the numbering

  • Not comparablecluster_analysis · cases per cluster

    there is no guarantee the cluster numbering matches SPSS, so we do not match them up by number

  • Convention differsdiscriminant · group A centroid

    discriminant function direction — all eight cells carry the opposite sign (the magnitudes agree). The SPSS sign rule is unconfirmed because the output has no unstandardized coefficients — awaiting a decision

  • Convention differsdiscriminant · group B centroid

    discriminant function direction — the same flip as above

  • Not comparablesurvival_km · mean survival time

    0 decimal places shown — the tolerance is widened to the rounding width 0.5

  • Not comparablesurvival_km · median survival time

    not comparable · neither side has it — the SPSS output does not carry it and the engine does not report it. It is a standard reporting item, so it is a candidate for the Statory side to add

  • Not comparablesurvival_cox · X_IND B

    not comparable · the engine does not export the coefficient B (it computes it but carries only the hazard ratio HR) — awaiting an engine addition

  • Not comparablesurvival_cox · overall chi-square

    not comparable · neither side has it — the SPSS output does not carry it and the engine does not report it. It is a standard reporting item, so it is a candidate for the Statory side to add

By reference tool

IBM SPSS Statistics — 237 values compared · 206 agree · 0 disagree
ancova5500
cluster_analysis5104
correlation1100
crosstab3300
descriptive8701
discriminant8620
efa_paf_varimax393900
efa_pc_varimax414100
friedman4202
hierarchical_regression4400
independent_ttest3300
kruskal_wallis4400
logistic_regression4013
mann_whitney3201
manova8800
mcnemar3201
mediation_step2_a2200
mediation_step3_b_cprime3300
mixed_anova212100
moderation3120
multiple_regression161303
one_sample_ttest3003
one_way_anova8800
one_way_anova(agri)5500
ordinal_regression2200
paired_ttest4301
reliability2101
repeated_measures_anova7700
spearman_correlation1100
survival_cox4202
survival_km2002
two_way_anova8800
wilcoxon3102
IBM SPSS Amos — 86 values compared · 86 agree · 0 disagree
measurement414100
structural454500

How engines are compared

For each engine, the same input is run through another tool (SPSS, Amos, R, scikit-learn, statsmodels, scipy) or calculated by hand, and the values are compared. We also check that changing the row order, the units, the seed, or where values are missing in the same data gives the same answer. The numbers below are read from those measurement records.

Engines
131
Engines compared with another tool or a hand calculation
131
Engines that gave the same answer when row order, units, seed, or missing positions changed
131

Corrections — engines we fixed, and results to run again

These engines once produced wrong numbers in the places described, and were fixed. If you kept a result from one of them that you ran before the date shown, please run it again. The same note is in the change log.

  • Comparison Analysis2026-10-20 · v1.6.45비교분석은 집단 열이 숫자 코드(1 · 2 · 3)이면 모든 집단의 지표 평균을 0 으로 읽었습니다 — 표·최고·최저·종합 순위가 실제 자료와 무관하게 나왔습니다. 이제 집단을 글자로 맞춰 실제 평균을 셉니다(빈 집단 칸은 빼고, 지표의 글자 칸은 결측). 한 집단의 지표에 셀 수 있는 수가 하나도 없으면 셈하지 않고 까닭을 말합니다.MCP(Claude·ChatGPT 연결)로 비교분석을 숫자 코드 집단 열과 함께 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • IV Regression · Centrality · Difference-in-Differences2026-10-19 · v1.6.44도구변수 회귀(2SLS)의 표준오차가 1단계 예측값으로 만든 잔차로 계산되어 실제보다 작게 나왔습니다 — p 값이 작게, 신뢰구간이 좁게 나왔습니다. 이제 원래 내생 변수로 만든 구조 잔차로 계산하고(statsmodels IV2SLS 와 같은 값), 신뢰구간은 t 분포 값을 씁니다. 1단계 F 가 10 보다 작으면 약한 도구변수라는 각주가 붙습니다. 중심성 분석의 근접 중심성은 연결의 세기를 보지 않았습니다 — 이제 거리 = 1/|r| 로 셉니다(매개 중심성과 같은 거리). 이중차분(DID)은 처치·통제 × 전·후 네 칸 중 빈 칸이 있거나 결과가 상수인 등 추정이 성립하지 않는 자료에서 0 같은 수를 냈습니다 — 이제 까닭을 말하고 멈춥니다. 또 시점·집단 수준을 글자 차례로 읽어 pre/post · before/after 에서 사전·사후가 뒤바뀌고 효과의 부호가 뒤집혔습니다 — 이제 뜻으로 읽습니다(숫자 글자는 숫자 차례).도구변수 회귀 · 중심성 분석(근접 중심성) · 이중차분(특히 시점이 pre/post 같은 글자인 자료)을 이 날짜 전에 돌린 결과는 다시 돌려 주세요. 도구변수 회귀는 유의하던 결과가 유의하지 않게 바뀔 수 있습니다.
  • IV Regression · Centrality · Hierarchical Regression2026-10-19 · v1.6.43도구변수 회귀의 「1단계 F」가 1단계 회귀 전체의 F 라 공변량의 설명력까지 섞였습니다 — 도구가 약해도 F 가 커 보여 「약한 도구변수?」가 「아니오」로 나올 수 있었습니다. 이제 공변량을 통제한 도구변수만의 부분 F 입니다(공변량이 없으면 같은 값). 중심성 분석의 매개 중심성은 상관 r 을 그대로 길이로 써서 강한 연결이 먼 길이 되고 음의 상관이 음의 길이가 되었습니다 — 이제 거리 = 1/|r| 로 셉니다. 위계적 회귀분석은 측정수준이 「명목」인 숫자 코드 변수도 코드를 크기로 셌습니다 — 이제 그 블록에 더미(가장 작은 코드가 기준)로 넣습니다.도구변수 회귀(공변량을 넣은 경우) · 중심성 분석(변수 셋 이상) · 위계적 회귀분석(측정수준이 「명목」인 숫자 코드 변수를 넣은 경우)을 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • Multiple Regression · Logistic Regression2026-10-18 · v1.6.42성별·지역처럼 숫자로 코딩된 명목 변수(1/2/3)를 독립변수로 넣으면 그 코드를 크기로 셌습니다(3 이 1 의 세 배). 이제 변수 설정에서 측정수준이 「명목」인 변수는 더미(가장 작은 코드가 기준)로 바꿔 넣고, 계수 표에는 「지역=2」처럼 기준 대비 계수가 서며, 결과 표 아래에 무엇을 바꿨는지 적습니다. 측정수준이 정해지지 않은 변수는 지금처럼 숫자로 세고 그 사실을 적습니다.측정수준이 「명목」인 숫자 코드 변수를 독립변수로 넣어 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • ML Classification · Gradient Boosting · AutoML · Decision Tree · ML Regression2026-10-17 · v1.6.39성별·지역처럼 숫자로 코딩된 명목 변수(1/2/3)를 특성으로 넣으면 그 코드를 크기로 셌습니다(3 이 1 의 세 배). 이제 변수 설정에서 측정수준이 「명목」인 변수는 더미(가장 작은 코드가 기준)로 바꿔 넣고, 결과 표 아래에 무엇을 바꿨는지 적습니다. 측정수준이 정해지지 않은 변수는 지금처럼 숫자로 세고 그 사실을 적습니다.측정수준이 「명목」인 숫자 코드 변수를 특성으로 넣어 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • ML Regression2026-10-17 · v1.6.39목표 변수를 특성에도 함께 고르면 목표가 자기 자신을 맞혀 R² 가 부풀려진 결과가 나왔습니다. 전각 숫자(「12」)가 든 행은 말없이 빠졌고, 숫자가 아닌 칸을 뺐다는 말도 없었습니다. 이제 같은 변수를 두 역할에 넣으면 멈추고, 전각 숫자는 숫자로 읽으며, 숫자가 아닌 칸을 결측으로 뺐으면 몇 칸인지 결과에 적습니다.목표 변수를 특성에도 넣었거나 전각 숫자가 든 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • ML Classification · Gradient Boosting · AutoML · Decision Tree2026-10-17 · v1.6.39목표 칸에 같은 값이 다른 표기(1 · 「1」 · 「 1 」 · 「1.0」 · 전각 숫자)로 섞이면 서버 오류로 멈추거나, 칸이 모두 글자면 같은 값이 여러 클래스로 갈린 결과를 냈습니다. 회귀로 돌리면 목표의 글자 칸에서 멈췄습니다. 이제 표기는 한 값으로 모으고, 글자 값과 숫자 값이 뜻으로 섞이면(「남」과 1) 「자료 모양」 안내로 멈추며, 회귀 목표의 글자 칸은 결측으로 보고 결과에 적습니다.목표 칸에 같은 값이 여러 표기로 적힌 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • ML Classification · Gradient Boosting · AutoML · Decision Tree2026-10-17 · v1.6.38특성 칸에 숫자가 아닌 글자(예: 「남」 · 「없음」 · 「3점」)가 섞이면 그 칸이 0 으로 계산되었고, 결측 줄은 그 행을 유효로 셌습니다. 이제 그 칸을 결측으로 보고 행을 빼며 몇 칸을 뺐는지 결과에 적습니다. 문자로만 된 변수는 거절하고 전처리에서 재코딩하라고 안내합니다. 전각 숫자는 숫자로 읽습니다.특성 칸에 글자가 섞인 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • One-Way ANOVA2026-10-16 · v1.6.37집단 칸의 빈 칸이 빈 글자로 오면 「빈 집단」 하나로 계산에 들어갔고(F · 사후검정 쌍), 결측 줄은 0 이었습니다. 이제 집단 칸이 빈 행은 빼고 계산합니다.집단 칸에 빈 칸이 있는 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • ML Classification · Gradient Boosting · AutoML · Decision Tree2026-10-16 · v1.6.37빈 칸이 빈 글자로 오면 특성 칸은 0 으로 채워지고, 목표 칸은 빈 값이 클래스 하나가 되었으며, 결측 줄은 그 행을 유효로 셌습니다. 이제 빈 칸이 있는 행은 빼고 계산합니다.빈 칸이 있는 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • Two-Way ANOVA2026-10-16 · v1.6.37요인 칸의 빈 칸이 빈 글자로 오면 「빈 수준」 하나로 계산에 들어갔고, 결측 줄은 0 이었습니다. 이제 빈 칸이 있는 행은 빼고 계산합니다(다원배치와 같은 규칙).요인 칸에 빈 칸이 있는 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
  • N-Way ANOVA2026-10-15 · v1.6.36주효과 줄의 Type III 제곱합이 기준범주 코딩이라 SPSS 와 뜻이 달랐고(상호작용이 든 모형), 빈 칸이 수준 하나처럼 계산에 들어가기도 했습니다. 효과(합=0) 코딩으로 바꾸고 빈 칸이 있는 행은 빼고 계산합니다.다원배치 분산분석을 이 날짜 전에 돌린 결과는 다시 돌려 주세요.

How each engine was verified

Every engine has at least one form of evidence. Counts by kind:

Compared against a reference implementation153
Checked by hand calculation59
Compared against a textbook example22
Golden test exists, reference not attributable19
Compared against IBM SPSS Statistics output7
Compared against IBM SPSS Amos output2

How to cite Statory

Copy the line below into your paper or report.

Statory. (2026). Statory (Version 1.6.205) [Statistical analysis software]. https://www.statory.org

Reproducibility — will the same result come back

  • Each analysis records “which engine” ran it and “with which options”, alongside the result.
  • Norms are stored under a “version name” (e.g. 20260906), so you can trace which norm a past result used.
  • The comparison records themselves are frozen in the repository and re-run on every release — if a value changes, the release is blocked.

SPSS and Amos are trademarks of their respective owners. Statory is not affiliated with, sponsored by, or endorsed by them. This page reports the output each tool produced from the same data, side by side.

Back to the guide

Accuracy evidence: compared against SPSS and Amos | Statory