(2025.11.22)『(2025年度輪読会)プログラム評価～対人・コミュニティ援助の質を高めるために～』の第8回を開催いたしました。

２０２５年１１月２２日（土）１８：００より、２０２５年度輪読会の第８回を開催しました。今回の範囲は《第４部》「実験デザインに基づく評価」の(4-1)「エビデンス」から(4-5)「実験・準実験評価デザイン」までで、報告は大原さやか氏（弘前学院大学／PBEE研究・研修センター事務局）が担当しました。少人数での開催ということもあり、参加者のコメントを随時募りながら議論を進めました。

4-1 エビデンス：実践知と力量をどう扱うか
(4-1)では、ヒューマンサービス領域でエビデンスに基づく実践が求められてきた背景が整理されました。議論では、勘や経験を積み上げた「実践知」はエビデンスと呼べるのか、また支援者の力量（誰が実施するか）が効果に大きく影響し得る点をどう捉えるかが話題になりました。心理領域の事例研究にも触れながら、客観性の度合いは限定されても実践知には意味がある一方、説明できないままの経験則は危ういという見方が共有されました。あわせて、力量を“職人芸”のままにせず、共通要因やコンピテンシー、フィデリティなどを通じて一定の標準化を目指す必要性も議論されました。

4-2 因果関係：理論と実証、納得できない結果の説明
(4-2)では、因果関係の３条件（先行性・関連性・唯一性）が確認されました。社会プログラムは自動販売機の例のように単純ではないため、外的要因をどう排除して因果を説明するか、また理論や直感と異なる結果が出たときにどう説明するかが論点となりました。議論では、結果が理論に反する場合、対象や状況など「適用条件」の違い、介入の操作化の仕方、理論と実証のつなぎ方を点検する必要があることが共有されました。大原氏の就労支援の事例でも、対象条件の違いを整理することで矛盾なく説明できる可能性が確認されました。

4-3 比較：等価性の難しさとランダム化
(4-3)では、介入群と統制群（比較群）の設定が因果推論の基盤になることが確認されました。議論では、実務の場面では等価なグループを作ること自体が難しいという感覚が共有され、特に事業所単位で比較する場合、条件がそろわない問題が話題になりました。そのうえで、マッチングには限界があるため、厳密性を高めるにはランダム化（場合によっては事業所単位の割付）という発想が出てくる一方、倫理面・運用面の制約も大きいことが確認されました。

4-4 外生要因：統計的回帰の理解と、測定の前提
(4-4)では、外生要因（履歴、成熟、テスティング、評価道具、統計的回帰、選択バイアス、モータリティ等）が整理されました。特に統計的回帰は難所として共有され、極端な値は次の測定で「平均（真の値）に近づきやすい」ため、単純な事前事後比較だと介入効果を過大評価し得る点が確認されました。あわせて、測定道具の問題は「実験で排除する」以前に、そもそも測定の準備が不十分だと評価自体が破綻し得るという指摘や、離脱が起きてもアウトカム測定を継続できれば影響を小さくできるという論点も共有されました。

4-5 実験・準実験デザイン：使えるが、言い切りには慎重に
(4-5)では、RCTを起点に、1群事前事後、回顧的事前、時系列、不等価統制群事前事後、回帰不連続など、実験・準実験デザインが概観されました。議論では、各デザインの理解には具体例が重要であることが共有される一方、準実験デザインは現実的制約の中で有用でも、「外生要因を統制できる」「選択バイアスを統制できる」といった表現は過度に楽観的になりやすく、どこまで言えるのかを慎重に読む必要があることが確認されました。参加者からは、今後は研究結果や論文をより批判的に読んでいきたいという感想も聞かれました。

このように、第８回では、エビデンスの意味づけから因果関係、比較、外生要因、実験・準実験デザインまで、評価における「実証の論理」を一通り扱いました。議論を通じて、実験デザインは万能な手法ではなく、何をどこまで統制できているのかを自覚したうえで用いる必要があることが繰り返し確認されました。
また、勘や経験に基づく実践知、支援者の力量といった要素は、単純に排除されるものではなく、理論による説明可能性や標準化の努力を通じて、エビデンスと結びつけていくことが課題であるという認識が共有されました。研究結果や評価結果を読む際にも、「なぜそう言えるのか」「どこまで信じてよいのか」を問い返す姿勢の重要性が改めて確認された回となりました。

文責：新藤健太（PBEE研究・研修センター・業務執行理事）