What we compared against, and where it differed
Statory results compared against SPSS and Amos output on the same data. Every number below is read automatically from the comparison records in the repository, so this page cannot be edited by hand; the records themselves are version-controlled.
323 values compared · 292 agree · 0 disagree
Summary
| Analysis family | Engines | Values compared | Agree | Convention differs | Not comparable |
|---|---|---|---|---|---|
| Named by the comparison run | 7 | 93 | 93 | 0 | 0 |
| Difference | 14 | 84 | 74 | 0 | 10 |
| Relationship | 5 | 28 | 19 | 3 | 6 |
| Structural | 2 | 13 | 7 | 2 | 4 |
| Basic Analysis | 2 | 10 | 8 | 0 | 2 |
| Prediction | 2 | 6 | 2 | 0 | 4 |
| Basic Statistics | 1 | 3 | 3 | 0 | 0 |
| IBM SPSS Statistics | 33 | 237 | 206 | 5 | 26 |
| IBM SPSS Amos | 2 | 86 | 86 | 0 | 0 |
Record: docs/parity/spss_diff.md · docs/parity/amos_diff.md
Text & decision — what we compared against
SPSS and Amos do not produce these numbers, so instead of “do the values agree?” we record what each engine was compared against — an external reference, a same-library reproduction, an accuracy measured on a labelled public sample, or nothing comparable yet.
| Engine | Verdict | Against what · how |
|---|---|---|
| ahp | Matches an external reference | 완전 일관 행렬(a_ij = w_i/w_j)의 답은 정의상 손으로 떨어진다 — 가중치 = w · λmax = n · CI = 0 · CR = 0 (Saaty 의 일관성 정의 그대로). 집단 통합은 성분별 기하평균(AIJ)을 numpy 로 따로 계산해 맞댄다. |
| collocation | Matches an external reference | NLTK 3.x `BigramAssocMeasures.pmi` (Church & Hanks, 1990) — 같은 토큰·같은 창(4)에 두 구현을 나란히 돌려 맞댄다. |
| dea | Matches an external reference | 포락형 엔진을 **쌍대인 승수형**으로 따로 풀어 맞댄다 — CCR (1978) · BCC (1984). |
| dominant_strategy | Matches an external reference | 우월전략은 정의가 한 줄이라 손계산으로 맞댄다 — 표준 교재 정의. |
| electre | Matches an external reference | ELECTRE I 의 일치·불일치 지표를 손계산으로 맞댄다 — Roy (1968). |
| fuzzy_topsis | Matches an external reference | Chen, C.-T. (2000). "Extensions of the TOPSIS for group decision-making under fuzzy environment." *Fuzzy Sets and Systems*, 114(1), 1–9. — 그 논문의 정식을 이 파일 안에서 독립으로 세워 푼다(엔진 import 0). |
| nash_equilibrium | Matches an external reference | nashpy 로 균형을 따로 구해 맞댄다 — Nash (1950). |
| promethee | Matches an external reference | pymcdm `PROMETHEE_II`(usual 선호함수)와 값 대조 — Brans & Vincke (1985). |
| saw | Matches an external reference | 단순가중합(SAW)은 정의가 한 줄이라 손계산으로 맞댄다 — MacCrimmon (1968). |
| sentiment_en_accuracy | Measured on a labelled sample | 정확도 표본 · UCI Sentiment Labelled Sentences 500건(긍정 250 · 부정 250 · CC BY 4.0) — 정확도 66.0% · 긍정 F1 0.786 · 부정 F1 0.678 · 중립 판정 106건. Kotzias (2015) · 상품·영화·식당 리뷰 도메인이라 면담·설문과 다르고 표본에 중립 라벨이 없다 — 참고 수치다. |
| sentiment_ko_accuracy | Measured on a labelled sample | 정확도 표본 · NSMC 500건(긍정 250 · 부정 250 · CC0) — 정확도 48.4% · 긍정 F1 0.714 · 부정 F1 0.496 · 중립 판정 216건. 영화 리뷰 도메인이라 면담·설문과 다르다 — 참고 수치다. |
| sequential_game | Matches an external reference | 역진귀납을 손계산으로 맞댄다 — Selten (1965) 부분게임완전균형. |
| shapley_value | Matches an external reference | 샤플리 값을 순열 평균 정의로 따로 계산해 맞댄다 — Shapley (1953). |
| social_choice | Matches an external reference | Borda·Condorcet 를 정의대로 손계산해 맞댄다 — Borda (1781) · Condorcet (1785). |
| sociometry | Matches an external reference | NetworkX 로 연결정도·상호지명·고립을 따로 세어 맞댄다 — Moreno (1934). |
| text_comprehensive | Same-library reproduction | 구성 지표(빈도·TF-IDF·감성)가 저마다 같은 라이브러리를 다시 부르는 재현이다 — 묶음 전체를 맞댄 바깥 기준은 없다. |
| topic_modeling | Same-library reproduction | scikit-learn `LatentDirichletAllocation` 을 **엔진이 쓰고 참조도 같은 것을 부른다** — 바깥 기준과 맞댄 것이 아니라 같은 라이브러리를 다시 돌린 재현이다. |
| topsis | Matches an external reference | pymcdm `TOPSIS`(vector 정규화)와 값 대조 — Hwang & Yoon (1981). |
| vikor | Matches an external reference | pymcdm `VIKOR`(v=0.5)와 값 대조 — Opricovic & Tzeng (2004). |
| Total | 19 | Matches an external reference 15 · Same-library reproduction 2 · Measured on a labelled sample 2 |
Record: backend/tests/parity/family_reference.json
Values not counted as agreeing — and why
These values were not counted as agreeing. "Convention differs" means the values are supposed to differ (the tools compute them differently); "not comparable" means the reference tool does not report that value, or we could not extract it.
Show details (31)
- Not comparable
descriptive · medianSPSS DESCRIPTIVES does not report the median — "not comparable" is the normal outcome here
- Not comparable
reliability · standardized αSPSS does not report standardized α from /MODEL=ALPHA alone
- Not comparable
multiple_regression · X_IND VIFnot comparable · the frozen SPSS output has no collinearity column (COLLIN was not requested) — the Statory value is the textbook VIF, measured with the constant column in place
- Not comparable
multiple_regression · X_MOD VIFnot comparable · the frozen SPSS output has no collinearity column (COLLIN was not requested) — the Statory value is the textbook VIF, measured with the constant column in place
- Not comparable
multiple_regression · MEDIATOR VIFnot comparable · the frozen SPSS output has no collinearity column (COLLIN was not requested) — the Statory value is the textbook VIF, measured with the constant column in place
- Not comparable
paired_ttest · degrees of freedomthe engine's paired-samples table has no df column (it carries N only)
- Not comparable
one_sample_ttest · tnot comparable · the two frozen SPSS outputs contain no such table (the Statory value itself is fine)
- Not comparable
one_sample_ttest · p valuethe p tolerance bottoms out at 0.0005 (3 decimal places shown)
- Not comparable
one_sample_ttest · degrees of freedomthe engine's one-sample table has no df column (it carries N only)
- Not comparable
logistic_regression · X_IND Bnot comparable · the two frozen SPSS outputs contain no such table (the Statory value itself is fine)
- Not comparable
logistic_regression · X_IND p valuethe p tolerance bottoms out at 0.0005 (3 decimal places shown)
- Not comparable
logistic_regression · X_IND Exp(B)not comparable · the two frozen SPSS outputs contain no such table (the Statory value itself is fine)
- Convention differs
logistic_regression · X_IND WaldSPSS carries Wald χ² (= Z²) while the engine carries Wald Z
- Convention differs
moderation · interaction BMR-6 ③ · FIX-4 ④ — the SPSS syntax multiplies z-standardized terms while the engine multiplies mean-centered terms (B_SPSS = B_engine × σ_x × σ_w)
- Convention differs
moderation · interaction betaMR-6 ③ — the engine multiplies standardized variables (z_x·z_w, Aiken & West) while the SPSS syntax standardizes the product term itself
- Not comparable
wilcoxon · p valuethe p tolerance bottoms out at 0.0005 (3 decimal places shown)
- Not comparable
wilcoxon · effect size rSPSS does not report the Wilcoxon effect size r
- Not comparable
friedman · p valuethe p tolerance bottoms out at 0.0005 (3 decimal places shown)
- Not comparable
friedman · Kendall WNPAR TESTS /FRIEDMAN does not report Kendall W
- Not comparable
mcnemar · discordant cell bthe SPSS test-statistics table has no discordant cell counts (they are in the crosstab)
- Not comparable
mann_whitney · p valuethe p tolerance bottoms out at 0.0005 (3 decimal places shown)
- Not comparable
cluster_analysis · X_IND Fcluster numbers may differ from SPSS, but the per-variable F does not depend on the numbering
- Not comparable
cluster_analysis · X_MOD Fcluster numbers may differ from SPSS, but the per-variable F does not depend on the numbering
- Not comparable
cluster_analysis · MEDIATOR Fcluster numbers may differ from SPSS, but the per-variable F does not depend on the numbering
- Not comparable
cluster_analysis · cases per clusterthere is no guarantee the cluster numbering matches SPSS, so we do not match them up by number
- Convention differs
discriminant · group A centroiddiscriminant function direction — all eight cells carry the opposite sign (the magnitudes agree). The SPSS sign rule is unconfirmed because the output has no unstandardized coefficients — awaiting a decision
- Convention differs
discriminant · group B centroiddiscriminant function direction — the same flip as above
- Not comparable
survival_km · mean survival time0 decimal places shown — the tolerance is widened to the rounding width 0.5
- Not comparable
survival_km · median survival timenot comparable · neither side has it — the SPSS output does not carry it and the engine does not report it. It is a standard reporting item, so it is a candidate for the Statory side to add
- Not comparable
survival_cox · X_IND Bnot comparable · the engine does not export the coefficient B (it computes it but carries only the hazard ratio HR) — awaiting an engine addition
- Not comparable
survival_cox · overall chi-squarenot comparable · neither side has it — the SPSS output does not carry it and the engine does not report it. It is a standard reporting item, so it is a candidate for the Statory side to add
By reference tool
IBM SPSS Statistics — 237 values compared · 206 agree · 0 disagree
ancova | 5 | 5 | 0 | 0 |
cluster_analysis | 5 | 1 | 0 | 4 |
correlation | 1 | 1 | 0 | 0 |
crosstab | 3 | 3 | 0 | 0 |
descriptive | 8 | 7 | 0 | 1 |
discriminant | 8 | 6 | 2 | 0 |
efa_paf_varimax | 39 | 39 | 0 | 0 |
efa_pc_varimax | 41 | 41 | 0 | 0 |
friedman | 4 | 2 | 0 | 2 |
hierarchical_regression | 4 | 4 | 0 | 0 |
independent_ttest | 3 | 3 | 0 | 0 |
kruskal_wallis | 4 | 4 | 0 | 0 |
logistic_regression | 4 | 0 | 1 | 3 |
mann_whitney | 3 | 2 | 0 | 1 |
manova | 8 | 8 | 0 | 0 |
mcnemar | 3 | 2 | 0 | 1 |
mediation_step2_a | 2 | 2 | 0 | 0 |
mediation_step3_b_cprime | 3 | 3 | 0 | 0 |
mixed_anova | 21 | 21 | 0 | 0 |
moderation | 3 | 1 | 2 | 0 |
multiple_regression | 16 | 13 | 0 | 3 |
one_sample_ttest | 3 | 0 | 0 | 3 |
one_way_anova | 8 | 8 | 0 | 0 |
one_way_anova(agri) | 5 | 5 | 0 | 0 |
ordinal_regression | 2 | 2 | 0 | 0 |
paired_ttest | 4 | 3 | 0 | 1 |
reliability | 2 | 1 | 0 | 1 |
repeated_measures_anova | 7 | 7 | 0 | 0 |
spearman_correlation | 1 | 1 | 0 | 0 |
survival_cox | 4 | 2 | 0 | 2 |
survival_km | 2 | 0 | 0 | 2 |
two_way_anova | 8 | 8 | 0 | 0 |
wilcoxon | 3 | 1 | 0 | 2 |
IBM SPSS Amos — 86 values compared · 86 agree · 0 disagree
measurement | 41 | 41 | 0 | 0 |
structural | 45 | 45 | 0 | 0 |
How engines are compared
For each engine, the same input is run through another tool (SPSS, Amos, R, scikit-learn, statsmodels, scipy) or calculated by hand, and the values are compared. We also check that changing the row order, the units, the seed, or where values are missing in the same data gives the same answer. The numbers below are read from those measurement records.
- Engines
- 131
- Engines compared with another tool or a hand calculation
- 131
- Engines that gave the same answer when row order, units, seed, or missing positions changed
- 131
Corrections — engines we fixed, and results to run again
These engines once produced wrong numbers in the places described, and were fixed. If you kept a result from one of them that you ran before the date shown, please run it again. The same note is in the change log.
- Comparison Analysis2026-10-20 · v1.6.45비교분석은 집단 열이 숫자 코드(1 · 2 · 3)이면 모든 집단의 지표 평균을 0 으로 읽었습니다 — 표·최고·최저·종합 순위가 실제 자료와 무관하게 나왔습니다. 이제 집단을 글자로 맞춰 실제 평균을 셉니다(빈 집단 칸은 빼고, 지표의 글자 칸은 결측). 한 집단의 지표에 셀 수 있는 수가 하나도 없으면 셈하지 않고 까닭을 말합니다.MCP(Claude·ChatGPT 연결)로 비교분석을 숫자 코드 집단 열과 함께 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- IV Regression · Centrality · Difference-in-Differences2026-10-19 · v1.6.44도구변수 회귀(2SLS)의 표준오차가 1단계 예측값으로 만든 잔차로 계산되어 실제보다 작게 나왔습니다 — p 값이 작게, 신뢰구간이 좁게 나왔습니다. 이제 원래 내생 변수로 만든 구조 잔차로 계산하고(statsmodels IV2SLS 와 같은 값), 신뢰구간은 t 분포 값을 씁니다. 1단계 F 가 10 보다 작으면 약한 도구변수라는 각주가 붙습니다. 중심성 분석의 근접 중심성은 연결의 세기를 보지 않았습니다 — 이제 거리 = 1/|r| 로 셉니다(매개 중심성과 같은 거리). 이중차분(DID)은 처치·통제 × 전·후 네 칸 중 빈 칸이 있거나 결과가 상수인 등 추정이 성립하지 않는 자료에서 0 같은 수를 냈습니다 — 이제 까닭을 말하고 멈춥니다. 또 시점·집단 수준을 글자 차례로 읽어 pre/post · before/after 에서 사전·사후가 뒤바뀌고 효과의 부호가 뒤집혔습니다 — 이제 뜻으로 읽습니다(숫자 글자는 숫자 차례).도구변수 회귀 · 중심성 분석(근접 중심성) · 이중차분(특히 시점이 pre/post 같은 글자인 자료)을 이 날짜 전에 돌린 결과는 다시 돌려 주세요. 도구변수 회귀는 유의하던 결과가 유의하지 않게 바뀔 수 있습니다.
- IV Regression · Centrality · Hierarchical Regression2026-10-19 · v1.6.43도구변수 회귀의 「1단계 F」가 1단계 회귀 전체의 F 라 공변량의 설명력까지 섞였습니다 — 도구가 약해도 F 가 커 보여 「약한 도구변수?」가 「아니오」로 나올 수 있었습니다. 이제 공변량을 통제한 도구변수만의 부분 F 입니다(공변량이 없으면 같은 값). 중심성 분석의 매개 중심성은 상관 r 을 그대로 길이로 써서 강한 연결이 먼 길이 되고 음의 상관이 음의 길이가 되었습니다 — 이제 거리 = 1/|r| 로 셉니다. 위계적 회귀분석은 측정수준이 「명목」인 숫자 코드 변수도 코드를 크기로 셌습니다 — 이제 그 블록에 더미(가장 작은 코드가 기준)로 넣습니다.도구변수 회귀(공변량을 넣은 경우) · 중심성 분석(변수 셋 이상) · 위계적 회귀분석(측정수준이 「명목」인 숫자 코드 변수를 넣은 경우)을 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- Multiple Regression · Logistic Regression2026-10-18 · v1.6.42성별·지역처럼 숫자로 코딩된 명목 변수(1/2/3)를 독립변수로 넣으면 그 코드를 크기로 셌습니다(3 이 1 의 세 배). 이제 변수 설정에서 측정수준이 「명목」인 변수는 더미(가장 작은 코드가 기준)로 바꿔 넣고, 계수 표에는 「지역=2」처럼 기준 대비 계수가 서며, 결과 표 아래에 무엇을 바꿨는지 적습니다. 측정수준이 정해지지 않은 변수는 지금처럼 숫자로 세고 그 사실을 적습니다.측정수준이 「명목」인 숫자 코드 변수를 독립변수로 넣어 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- ML Classification · Gradient Boosting · AutoML · Decision Tree · ML Regression2026-10-17 · v1.6.39성별·지역처럼 숫자로 코딩된 명목 변수(1/2/3)를 특성으로 넣으면 그 코드를 크기로 셌습니다(3 이 1 의 세 배). 이제 변수 설정에서 측정수준이 「명목」인 변수는 더미(가장 작은 코드가 기준)로 바꿔 넣고, 결과 표 아래에 무엇을 바꿨는지 적습니다. 측정수준이 정해지지 않은 변수는 지금처럼 숫자로 세고 그 사실을 적습니다.측정수준이 「명목」인 숫자 코드 변수를 특성으로 넣어 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- ML Regression2026-10-17 · v1.6.39목표 변수를 특성에도 함께 고르면 목표가 자기 자신을 맞혀 R² 가 부풀려진 결과가 나왔습니다. 전각 숫자(「12」)가 든 행은 말없이 빠졌고, 숫자가 아닌 칸을 뺐다는 말도 없었습니다. 이제 같은 변수를 두 역할에 넣으면 멈추고, 전각 숫자는 숫자로 읽으며, 숫자가 아닌 칸을 결측으로 뺐으면 몇 칸인지 결과에 적습니다.목표 변수를 특성에도 넣었거나 전각 숫자가 든 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- ML Classification · Gradient Boosting · AutoML · Decision Tree2026-10-17 · v1.6.39목표 칸에 같은 값이 다른 표기(1 · 「1」 · 「 1 」 · 「1.0」 · 전각 숫자)로 섞이면 서버 오류로 멈추거나, 칸이 모두 글자면 같은 값이 여러 클래스로 갈린 결과를 냈습니다. 회귀로 돌리면 목표의 글자 칸에서 멈췄습니다. 이제 표기는 한 값으로 모으고, 글자 값과 숫자 값이 뜻으로 섞이면(「남」과 1) 「자료 모양」 안내로 멈추며, 회귀 목표의 글자 칸은 결측으로 보고 결과에 적습니다.목표 칸에 같은 값이 여러 표기로 적힌 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- ML Classification · Gradient Boosting · AutoML · Decision Tree2026-10-17 · v1.6.38특성 칸에 숫자가 아닌 글자(예: 「남」 · 「없음」 · 「3점」)가 섞이면 그 칸이 0 으로 계산되었고, 결측 줄은 그 행을 유효로 셌습니다. 이제 그 칸을 결측으로 보고 행을 빼며 몇 칸을 뺐는지 결과에 적습니다. 문자로만 된 변수는 거절하고 전처리에서 재코딩하라고 안내합니다. 전각 숫자는 숫자로 읽습니다.특성 칸에 글자가 섞인 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- One-Way ANOVA2026-10-16 · v1.6.37집단 칸의 빈 칸이 빈 글자로 오면 「빈 집단」 하나로 계산에 들어갔고(F · 사후검정 쌍), 결측 줄은 0 이었습니다. 이제 집단 칸이 빈 행은 빼고 계산합니다.집단 칸에 빈 칸이 있는 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- ML Classification · Gradient Boosting · AutoML · Decision Tree2026-10-16 · v1.6.37빈 칸이 빈 글자로 오면 특성 칸은 0 으로 채워지고, 목표 칸은 빈 값이 클래스 하나가 되었으며, 결측 줄은 그 행을 유효로 셌습니다. 이제 빈 칸이 있는 행은 빼고 계산합니다.빈 칸이 있는 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- Two-Way ANOVA2026-10-16 · v1.6.37요인 칸의 빈 칸이 빈 글자로 오면 「빈 수준」 하나로 계산에 들어갔고, 결측 줄은 0 이었습니다. 이제 빈 칸이 있는 행은 빼고 계산합니다(다원배치와 같은 규칙).요인 칸에 빈 칸이 있는 자료로 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
- N-Way ANOVA2026-10-15 · v1.6.36주효과 줄의 Type III 제곱합이 기준범주 코딩이라 SPSS 와 뜻이 달랐고(상호작용이 든 모형), 빈 칸이 수준 하나처럼 계산에 들어가기도 했습니다. 효과(합=0) 코딩으로 바꾸고 빈 칸이 있는 행은 빼고 계산합니다.다원배치 분산분석을 이 날짜 전에 돌린 결과는 다시 돌려 주세요.
How each engine was verified
Every engine has at least one form of evidence. Counts by kind:
| Compared against a reference implementation | 153 |
| Checked by hand calculation | 59 |
| Compared against a textbook example | 22 |
| Golden test exists, reference not attributable | 19 |
| Compared against IBM SPSS Statistics output | 7 |
| Compared against IBM SPSS Amos output | 2 |
How to cite Statory
Copy the line below into your paper or report.
Statory. (2026). Statory (Version 1.6.205) [Statistical analysis software]. https://www.statory.org
Reproducibility — will the same result come back
- Each analysis records “which engine” ran it and “with which options”, alongside the result.
- Norms are stored under a “version name” (e.g. 20260906), so you can trace which norm a past result used.
- The comparison records themselves are frozen in the repository and re-run on every release — if a value changes, the release is blocked.
SPSS and Amos are trademarks of their respective owners. Statory is not affiliated with, sponsored by, or endorsed by them. This page reports the output each tool produced from the same data, side by side.