アーティスト×こども

コラム

コラム

コラム

【第6回】プロジェクト評価の1、2、3
第2回「理想の評価」と「総括的評価」に重点を置いた評価

石幡愛(いしはた あい)
東京大学大学院教育学研究科博士課程

掲載日:2012年01月22日

 プロジェクト評価には、評価をどのように捉えるかによって「理想の評価」と「状況に埋め込まれた評価」という方針があること、また、プロジェクトのどの段階で行うかによって「診断的評価」「形成的評価」「総括的評価」があることを確認しました。今回は、その中でも、「理想の評価」と「総括的評価」に重点を置いた評価について、「学生メディアセンターなないろチャンネル(以下、ななチャン)」*1の2010年度の活動評価を例に、ご紹介したいと思います。

「ななチャン」と評価の経緯

 「ななチャン」は、学生や若者が、それぞれの視点や特技を活かし、多彩なメディアを駆使して、様々な地域や分野と関わりながら学び合う場を作ることを目指す活動です。2010年度は、各地の文化活動の取材、交流会、イベント企画を3本柱に活動してきました*2。筆者は、コアスタッフのひとりとして関わっており、年度末の評価を担当することとなりました。

評価の手順

1. 方針を決める

 まず、何のために何を評価するのかについてコアスタッフの考えをヒアリングしました。すると「ななチャンの活動をみんなはどう思っているのだろう」「地域や分野をまたぐ学びの場を作るという目標がどれだけ達成できたのか知りたい」などの声が聞かれました。そこで、一年間の活動の総括として、ななチャンに対するイメージと、若者の学びに関わる成果を明らかにするという方針を立てました。ヒアリングの結果、コアスタッフの間では、両者に関する目標がある程度明確になってきていることが分かったため、それらがどれだけ達成されたかを評価することにしました。

2. 質問項目を作る

 回答者属性 ななチャンの活動のうち何にどのように関わったかについて選択式で回答する項目を設けました。また、年齢、性別、所属などを問う項目も設けました。

 ななチャンのイメージ 形容詞対を5組(面白い―つまらない、必要だ―不要だ、活気がある―活気がない、斬新だ―ありきたりだ、役立つ―役立たない)作り、それぞれにつき4段階で評定する項目を設けました。例えば、「面白い―つまらない」ならば、「面白い・やや面白い・ややつまらない・つまらない」の中から、回答者がななチャンに対して持っているイメージに最も近いものを選ぶといった具合です。

 若者の学びに関わる成果 ななチャンの活動に関わったことでどのような効果が感じられたかを問う複数選択可の6項目(参加すること自体を楽しめた、自分のスキルを活かせた、やりたいことへと踏み出せた、作品制作や研究の場になった、魅力的な人と出会えた、地域とつながれた)を設けました。

3. アンケートを実施する

 インターネット上にアンケートフォームを作成し、メール等で回答を呼びかけ、107名から回答を得ました。

4. 分析する

 まず、各項目について、最もネガティブな評価を1点、最もポジティブな評価を4点として点数化し、何人の人がどれを選んでいるかを集計しました*3(図1)。その結果、ななチャンのイメージに関しては、どの形容詞対においても90%以上の人が3〜4点を選択していました。また、斬新さをのぞいた他の4組については、50%以上の人が4点を選択していました。

ishihata2-1.jpg

図1 ななチャンのイメージ

 若者の学びに関しては(図2)、約70%の人が、参加すること自体を楽しんでいたこと、魅力的な人に出会えたと感じていたことが示されました。他の効果を感じている人は10〜30%程度でしたが、「自分のスキルを活かせた」「やりたいことへと踏み出せた」「作品制作や研究の場になった」のいずれか1つ以上を感じた人は40%で、若者の学びの場としてある程度は機能していたことがうかがえました。

ishihata2-2.jpg

図2 学びに関する効果(各項目を選択した人の割合)

 続いて、各項目間の関連を分析しました。具体的には、どのような関わり方をした人がどのようなイメージを持つ傾向にあるのか、どのような関わり方をした人がどのような成果を感じる傾向にあるのかを、検定*4と呼ばれる方法で分析しました。その結果、Ustreamで配信された番組を見たことのある人は、そうでない人よりも、「役立つ」と感じていること、Ustremaを使った取材、活動記録のアーカイブ、企画運営に関わった人は、そうでない人よりも、「学びにつながった」と感じていること、ななチャンが企画した展覧会やイベントに出展・出演した人は、そうでない人よりも「自分のスキルを活かせた」と感じていること、などが明らかになりました。

5. 結果を還元する

 このアンケート調査の結果の一部は、小冊子にまとめ、関係者やななチャンの活動に関心を持ってくれた方などに配付しました。また冊子と同じデータをウェブで公開し、回答者にフィードバックしました。

まとめ

 一般的に、「理想の評価」に属するプロジェクト評価は、以上のような手順を踏みます。先に調査することを明確にし、質問項目を整理して、それにそって調査を実施するという点が特徴です。さらに、この事例の場合は、「総括的評価」であり、実践者の目標もある程度明確であったため、その達成度を測定できるようにしました。

 一方で、このような調査は、恣意的な印象も与えかねません。例えば、「ななチャンに対するイメージ」は上記5つ以外にもあるはずですし、「学生の学びに関する成果」も上記6つ以外にもあるはずです。そのため、実際には、自由記述の項目を作ったり、選択式の質問の場合は「その他(具体的に書いてください)」という選択肢を設けたりもしています。ただし、「その他」はあまり選ばれないことや、自由記述が多いと回答者に負担がかかり、場合によってはアンケートの回収率が落ちる可能性もあることに注意すべきです。そのため、明らかにしたい範囲を少数で万遍なくカバーできる項目を作ること、明らかにしたいことに優先順位をつけて些末な項目は思い切って除外することなどが重要です。

 また、「ななチャン」の評価の特徴としては、項目ごとの単純集計だけでなく、項目間の関連を統計的に分析したことが挙げられます。こうすることによって、データのおおよその傾向をつかむことができます。こうした手続きを踏むことで、相関関係や因果関係をある程度推定することができます。精度の高い因果モデルを作ることができれば、その活動を改善する際や、似たような別の活動を行う際に役立つ情報となります。そのためには、どのような因果モデルを想定し、どのような手法で分析するのかを考えて、項目を作ることが重要です。

今回は、実際の事例を基に、「理想の評価」と「総括的評価」に重点を置いた評価の手順と特徴を説明しました。次回は、「状況に埋め込まれた評価」の事例をご紹介します。

石幡愛(いしはた あい)
東京大学大学院教育学研究科博士課程

1984年生まれ。東京大学大学院教育学研究科博士課程在籍。「遊ぶ」という行為が持つ、社会の余白に入り込む機能、社会の枠組みを揺さぶる機能について、フィールドワークによる実証的研究を行っている。2008年より、大学周辺にて、まちに子どもの遊びと学びの場をつくる「谷根千まち学」を運営。また、様々なアートプロジェクトや地域教育プロジェクトに関わり、心理学における調査法を活かしたプロジェクト評価の方法を探っている。

このサイトについて

本サイトは、トヨタ自動車とNPOが運営するアートと子どもの総合情報サイトです。子ども向けアートイベントや、学校などでのアーティストによるワークショップの情報をお届けします。

出版物・映像記録集

事務局ブログ

メールマガジン

リンク集

質問・お問い合わせ

TOYOTA

こどもビリタ

TOYOTAクルマこどもサイト

ネットTAM