「AI vs. 教科書が読めない子どもたち」を読んで。 東ロボくんの挑戦と子供たちの読解力
はじめに
2018年に発行された新井紀子氏の著書
「AI vs. 教科書が読めない子どもたち」
新井氏は数理論理学が専門の研究者で、
「ロボットは東大にはいれるかプロジェクト」
別名「東ロボくん」のディレクターを務めておられます。
発売された当時話題になったので、
ご存じの方も多いのではないかと思いますが、
後半の「読解力」については興味深いです。
ちなみに前半はAI開発の現状と、
シンギュラリティ―はＳＦであるというお話です。
久しぶりに調べてみると、
「リーディングスキルテスト」が公式な試験として
一般の人にも受検が可能になったのですね。
素早い動きでびっくりしました。
「共通テスト」が関係しているのでしょうか。
今更となりますが、
本の内容や感想を書いてみたいと思います。
2回連載の予定ですので
よろしくお願いいたします。
東ロボくんの挑戦と限界
2011年から東大合格を目指して
猛勉強を始めた東ロボくんですが、
2016年の模試を最後に、
東大受験を諦めることになります。
代ゼミ東大プレでは、
数学で72という高偏差値を出しますが、
後が続きません。
世界史51.8
英語50.5
国語49.7
英語と国語がどうしても伸びない。
進研模試・5教科8科目の偏差値は57.1～57.8．
今後どんなに頑張っても60が限度、
65を超えるのは不可能だろうという判断だったようです。
東大は無理でもセンター模試の結果から、
受験生50万人のうちの上位2割に入っています。
大学名で言うと、
MARCH（一部の学科）の合格圏内に入っていることになるそうです。
大学入試の成績と仕事をする能力が
必ずしも一致するものではないとしても、
人間である私としてはかなりの焦りを感じます。
AIが職場に参入してくる（もうしている）現在、
彼らAIに対抗でき得る人間は
はたしてどのくらいの割合で存在するのか。
リーディングスキルテスト
人間のライバルとなるかもしれないAI。
彼らと共に生きていくには
AIにはまねのできない、
人間独自の能力を発揮するしかありません。
応用力や発想力、
そして読解力を基盤とした
コミュニケーション能力や理解力。
新井氏のチームは、
「読解力」の調査を行いました。
現在（調査当時）の中高生の
読解力はどれくらいなのか？
ただしこの調査で言う「読解力」とは、
難しい評論文を読むとか文学を味わうとかではなく、
短い説明文を読み、
その内容をきちんと理解することを指しています。
全国の中高生・社会人、
合わせて2万5千人を対象に
「基礎的読解力調査」を行います。
調査に使用したのは、
チームが開発した
「リーディングスキルテスト」です。
調べた項目は以下の6項目。
➀係り受け
主語・述語の関係など、
文節を理解する
②照応
指示代名詞が何を指すのかを理解する
③同義文判定
二つの文章を読み比べ、
意味が同じかどうかの判定をする。
④推論
常識・経験・知識を使って
文章の意味を理解する。
⑤イメージ固定
文章と図形やグラフを比べ
内容一致を判断する。
⑥具体例同定
ある定義を読み、
それと合致する具体例を認識する。
それで結果はどうだったかと言いますと、
これがけっこう悲惨です。
こちらのサイトに例題が載っています。
2ページ目から例題が始まります。
ロボットの苦手と人間の苦手は同じ？
調査の結果、
AIが苦手とするのは4項目。
先ずは「同義文判定」。
書き方の違う2つの文章が、
同じことを意味しているかどうかの判定です。
素人目には「できるんじゃないか」と思いますが、
長年の研究にも関わらずうまくいかないのだそうです。
同義文判定ができるようになれば、
入試試験の「記述問題」採点を
AIに任せることができます。
しかし実現はまだまだ先のようです。
残りの3つ、
「イメージ同体」、「具体例同体」、「推論」。
「常識」と「意味を理解すること」が必要な項目です。
例えば「推論」の問題を本文から抜粋しますと、
エベレストは世界で最も高い山である。
この文に書かれていることが正しいとき、
下の文に書かれていることは正しいか。
次のうちから答えなさい。
➀「正しい」
②「間違っている」
③「これだけでは判断できない」
エルブルス山はエベレストよりも低い。
thinking time ・・・
答えは➀の「正しい」です。
これは言葉の常識というか経験というか、
エベレストが「最も高い」のであれば、
その他の山はすべてエベレストよりも低いことになります。
エルブルスという山を
知っているか知らないかは問題ではありません。
機械はこの手の問いが苦手なんですね。
どれだけ高度になっても、
AIは単なる「計算機」でしかありません。
意味を理解せず常識がない「計算機」には、
できなくても無理はないのです。
ところが、です。
AIにできない問題が、
同じように人間にもできないのです。
これは大変です。
結果は悲惨
リーディングスキルテストの単純な正答率は
次のようになりました。
中学3年生と高校2年生の結果を載せました。
単位は（％）、まずい分野を赤字にしています。
「係り受け」
中学生：73.7
高校生：81.5
これはさすがに正答率が高いです。
「照応」
中学生：74.6
高校生：82.2
まだまだ高い。
「同義文判定」
中学生：70.6
高校生：81.0
これは嬉しい。
AIの苦手分野ですから、
人間に活路有りです。
…と思いましたが、
これが後で衝撃を受けます。
「推論」
中学生：64.6
高校生：68.5
少しあやしくなってきました。
「イメージ同定」
中学生平均：38.8
高校生平均：54.6
これは低い。
中学生は半分を切っています。
「具体例同定」
➀辞書
中学生：42.2
高校生：43.9
②数学
中学生：34.2
高校生：42.4
こちらも低い。
特に数学がひどいです。
中学生は3割しかできていない。
これだけでもまあまあ悲惨な結果ですが、
もっと悲惨な事実が判明します。
もっと悲惨な「ランダム率」
単純な正答率から
「ランダム率」を計算します。
と言うのも、
テストはすべて選択問題です。
鉛筆を転がしたりテキトーに答えても、
4択なら25％、
3択なら33％の確率で正解してしまいます。
そうした「鉛筆転がし並み」の人の割合を表したのが「ランダム率」です。
要するに「全くできない人」の割合です。
さあでは、
AIが苦手なものだけについて発表します。
「同義文判定」
中学3年 70.2
高校2年 65.7
「推論」
中学3年 43.4
高校2年 37.6
「イメージ同定」
中学3年 31.1
高校2年 13.4
「具体例同定」
＊辞書
中学3年 48.7
高校2年 53.4
＊数学
中学3年 79.4
高校2年 57.6
同義文判定はどうしたのでしょうか？
全くできない人が「7割」とは！
できていると思ったのは錯覚だった？
さぁ、この結果をどうとらえましょうか。
学習障害の疑いも含まれるかもしれません。
あとは語彙の不足か、
集中して文章を読む訓練ができていないのか。
次回は
著書の内容も含めての感想になります。
新井紀子先生が東ロボくんについて、
TED でお話しされています。
日本語字幕付きです。
