oka
Summary
TLDR本研究では、英語作文の正確性を評価する新しい指標であるウェイトクロージュレーション(WCR)について探求しました。WCRは誤りの重さに基づいて正確性を測る指標で、誤りの数だけでなく、読者の理解に与える影響度も考慮に入れます。研究では、日本語を母国語の学習者が作成した英語作文を分析し、WCRの各レベルでの誤りの特性や、熟達度に応じた誤りの変化を明らかにしました。その結果、誤りの軽重によって異なる指導方法が求められることが示され、WCRの信頼性と教育的意義が強調されました。
Takeaways
- 📚 この研究は、英語作文の正確性を評価する指標であるウェイトクロージュレーション(WCR)について扱っています。
- 🔍 英語の正確さは、国際社会や学術分野でコミュニケーションを効果的に行うための重要な能力です。
- 📈 WCRは、誤りが読者の理解に与える影響度に基づいて誤りの重みを変え、より細かく正確性の違いを測る指標です。
- 🔧 近年の研究では、WCRの妥当性と信頼性が検証され、誤りの種類を加味した評価尺度が提案されています。
- 📊 研究では、日本人英語学習者の作文を分析し、WCRを用いた評価がどの誤りが特徴的であるかを調べました。
- 👨🏫 研究では、イクネルコーパスを使用し、TOEICスコアや合意提出特典を用いて学習者の英語熟達度を評価しました。
- 📉 分析結果によると、誤りはレベル1のカテゴリーに集中しており、熟達度が上がるにつれて軽微な誤りは減少傾向にあることがわかりました。
- 📈 レベル2やレベル3の誤りは、熟達度が上がっても減少せず、特定の学習者グループでは増加する傾向があります。
- 🏫 教育的意義として、WCRの評価尺度を確立することにより、教師が学習者の正確性をより詳細に把握できるようになったと指摘されています。
- 🚧 研究の限界点として、評価者が英語文学科出身ではないこと、誤りの限定性、異なる学校集団の学習者を分析できなかったことが挙げられています。
Q & A
Q1: 英作文の正確性評価において、従来の指標にどのような限界がありますか?
-A1: 従来の指標は、どのような誤りがあっても同じ数値として扱われるため、誤りの重要性や理解度への影響を十分に捉えることができないという限界があります。
Q2: WCR(ウェイトクロージュレーション)とは何ですか?
-A2: WCRは、誤りが読み手の理解度に与える影響度に応じてスコアを変える指標で、より精密に英作文の正確性を評価するための方法です。
Q3: WCRが他の正確性指標と異なる点は何ですか?
-A3: WCRは、誤りの影響度に基づいてスコアを割り当てる点で他の指標とは異なり、誤りの重大性を反映させたより精細な評価が可能です。
Q4: WCRの値が高い場合、それはどのような意味がありますか?
-A4: WCRの値が高い場合、その英作文は誤りが少なく、読み手の理解に大きな影響を与えない正確な表現が多いことを意味します。
Q5: 日本人英語学習者の英作文において、どのような誤りがWCRの評価において重要とされていますか?
-A5: 動詞の目的語の欠如や、過剰な語彙の使用、主語の欠如などがWCRの評価において特に重要とされ、これらが理解度に大きな影響を与える誤りとして扱われています。
Q6: 研究で使用されたデータセットはどのようなものですか?
-A6: 研究では、アジア圏の英語学習者の作文を収録した大規模コーパス「イクネルコーパス」を使用し、その中から日本人英語学習者の作文を分析対象としています。
Q7: WCRを用いた評価の信頼性はどのように検証されていますか?
-A7: WCRの信頼性は、ESL学習者が作成した英作文データを使用した実験によって検証され、その結果、高い信頼性が示されました。
Q8: レベル1、レベル2、レベル3の誤りの違いは何ですか?
-A8: レベル1の誤りは理解度にほとんど影響を与えない軽微な誤りであり、レベル2は動詞の目的語の欠如など、理解度にある程度影響を与える誤りです。レベル3は主語の欠如や意味が読み取れない誤りなど、理解に大きな影響を与える重大な誤りです。
Q9: WCRに基づく指導の重要性はどのように説明されますか?
-A9: WCRを使用することで、学習者の正確性の問題点をより詳細に把握できるため、誤りの種類や重大性に応じた的確な指導が可能になります。特にレベル2やレベル3の誤りに対しては指導時間を増やす必要があります。
Q10: 研究の限界点は何ですか?
-A10: 研究の限界点として、評価者が英語ネイティブではないこと、誤りの範囲が限定的であること、異なる学校の学習者の作文が分析対象になっていないことが挙げられます。
Outlines
📚 英語作文の正確性指標WCRの研究
岡英明が発表した研究では、英語作文の正確性指標としてWCR(Weighted Clause-level Error Rate)を提案し、誤りの数だけでなく、読解への影響度に基づいて誤りを評価する新しいアプローチを示しました。英語の正確な書き方とその重要性について説明し、近年の研究動向を紹介。また、WCRの評価尺度を用いた研究例を紹介し、その妥当性と信頼性を検証する研究結果を説明しました。
🔍 日本人英語学習者の誤り分析
本研究では、日本人英語学習者が作成した作文をWCRで評価し、誤りのレベルごとの特徴を分析しました。研究の目的は、誤りのレベルごとの特徴と、熟達度に応じた誤り数の変化を明らかにすることです。イクネルコーパスを使用し、学習者の英語作文を分析し、WCR評価を実施。評価者は誤りに対してタグを付け、その結果を分析しました。研究結果によると、誤りのレベルが低いほど、熟達度が上がるにつれて減少傾向にありますが、レベルが高い誤りは減少せず増加する傾向があることがわかりました。
🏫 教育的意義と研究の限界
研究の教育的意義として、WCRの評価尺度を確立し、誤りのレベルごとの特徴を教師が把握できるようになったことが挙げられます。また、誤りのレベルに応じた指導の重要性を示しました。しかし、研究には限界があり、評価者が英語文学科以外の専門家ではないことや、誤りの種類が限定的であることが指摘されています。異なる学校集団の学習者の作文を分析できなかったことも限界の一つです。これらの限界を克服するため、将来の研究が期待されています。
Mindmap
Keywords
💡英語正確性
💡第二言語ライティング
💡正確性指標
💡エラーフリーユニット
💡ウェイトクロージュレーション (WCR)
💡誤りの種類
💡熟達度
💡イクネルコーパス
💡太陽分析
💡教育的意義
Highlights
発表のタイトルは「読み手の理解度を考慮した英作文の正確性指標の開発」
英語によるライティングの正確性は国際社会や学術分野で重要
正確性指標は学習者の英語正確性評価に不可欠
近年の研究ではライティングの正確性、流暢性、複雑性に焦点
誤りの数を数える方法や誤りのない文の割合を指標とする提案がある
エラーフリーユニットが正確性指標として妥当であるとされている
誤りが読み手の理解度に与える影響度に応じて重みをつけるWCRが提案
WCRは誤りの重大度を評価する尺度に基づいて数値化
WCRによる評価の信頼性がESL学習者データを用いて検証された
日本人英語学習者の作文を対象にWCRの評価尺度を修正
本研究では日本人英語学習者の作文を分析しWCRのレベルごとの特徴を探求
イクネルコーパスを使用し、日本人英語学習者の作文を分析対象とする
WCRの評価は4名の評価者が行い、誤りのタグ付けを行い分析
太陽分析と事情検定を使用し、誤りのレベルごとの頻度と関連性を分析
レベル1の誤りは軽微で、熟達度が上がるにつれて減少傾向にある
レベル2、3の誤りは熟達度が上がっても減少せず、増加する場合もある
教育的意義として、WCRの教科尺度を確立し、誤りの詳細な把握が可能に
指導の重点を誤りのレベルと熟達度に応じて調整することが示唆される
研究の限界点として、評価者、誤りの限定性、学習者の多様性に焦点
Transcripts
それでは発表を始めます
研究代表者の岡英明ですタイトルは
読み手の理解度を考慮した
英作文の正確性指標の量的だとかどのよう
な誤りが重いのかです
まず
英語によるライティングと正確性について
説明します
第二言語ライティングネギとして
英語で書くことは
書類やメールを英語で書く必要がある国際
社会や
研究で得られた知見を論文という形で
広める学術分野において必要不可欠な能力
の一つとされていますその中で正確性
英語を正確に書く能力を身につけることで
世界中の人々に対して
効果的に自分の考えを伝えることが可能と
なります
なので
英語正確に書くことができる学習者の育成
には
正確性を適切に評価できる測定方法の確率
であったり
熟達どことの特徴を知りその上で細かな
指導が必要と考えられています
近年では
ライティング塾活動を複雑性
正確性流暢性という3つの構成概念に分け
それらから構成されていると考えられてい
ますそして
各構成概念を反映した
指標が提案されています
正確性仕様の例として
誤りの数を数える方法や
誤りのない説を
創設数で割る
指標値などが
提案されています
近年ではエラーフリーユニットを使用した
正確性指標が
妥当と考えられており
特に
説を用いた正確性仕様が多く使用されてい
ます
理由といたしましては
施設という単位が定義しやすいことや正確
性の小さな変化を取られることができると
いうことが挙げられます
一方で
説に基づいた指標にも限界点があるとされ
ています
具体的には
以下の例にもある通り
切ないにどのような誤りがあったとしても
同じような
数値として扱われてしまいます
もう少々細かく見ると
節Aにおける誤りは
不必要なDがあるだけで
理解への
影響ではほとんどなしであると考えられ
ます一方で施設Dにおける誤りは
理解度に大きな影響を与える誤りであると
考えられますつまり
正確性の測定において
捉えられる変化を十分に捉えることができ
ていない
可能性があります
そこで2016年の研究では
誤りが
読み手の理解度に与える影響度に応じて
切に与える値を
変える仕様である
ウェイトクロージュレーションWCRが
提唱されました
WCRは以下の評価尺度に基づいて
数値化されます
先ほどの例を用いて
WCRの値を算出すると
節Aは
意味の理解に影響を与えにくいので0.8
設備は正確な説なので1.0
節Cも意味の理解に影響を与えにくいので
0.8一方でSDは
理解に影響を与えるので
0.5と考えられますこれらの数値を基に
計算すると
WCRの値は0.77となり
efcrの値より高くなりますよってより
細かく正確性の違いを測定できていると
考えられます
ここで
WCRを用いた研究例を紹介します
WCRは近年提唱された指標であるため
指標の妥当性や
信頼性に焦点が枯れた研究が多いです
2014年の研究では
ESL学習者が作成した
英作文データを使用して
WCRによる正確性評価の信頼性が検証さ
れました
その結果
WCRによる評価の信頼性は高いという
結果が得られました
一方で2021年の研究では
日本人英語学習者が作成した対策文には
多様な誤りがある傾向にあることから
WCRの評価尺度に
誤りの種類を加え修正した評価尺度の必要
性を指摘し
修正したWCラーで評価尺度を用いた評価
の信頼性が検証されましたその結果
修正されたWCRの評価尺度による評価の
信頼性は非常に高いことが示されています
しかしながら
先行研究には2つの限界点があります1つ
目は
WCRの評価尺度に関して実証的な分析が
少ないことです
2021年の研究では
評価全体の信頼性が高いことが示された
一方で
雪カテゴリーと
誤りの周囲の位置は評価者間の協議に
とどまっています
2つ目として
熟達度ごとにおけるWCRの各施設
カテゴリーの変化に関する研究が
少ないということです
現状では熟達度感でどのようなWCRの値
になるかが不明であるため
軸活動に応じた
指導が難しいと考えられます
本研究では2つの研究課題があります1つ
目は
日本人英語学習者が作成した英作文対象に
wclを用いて評価したときどの誤りが
WCRのレベル1
レベル2
レベル3の各段階によって特徴的であるの
か2つ目は日本人英語学習者が作成した英
作文対象にwclを用いて評価したとき
各
段階に属する説はでどのように変化するの
かです
続きまして方法について説明します
本研究では
他2021で作成されたデータを使用する
ため2021年の研究で用いられた方法を
説明します
本研究ではアジア圏の英語学習者や対象と
した大規模コーパスである
イクネルコーパスを使用しました
コーパスに収録されている日本人英語
学習者が作成した
作文を分析対象としました
エクネイルではTOEIC及び合意提出の
特典を用いてアジアで英語を学ぶ学習者の
特性を考慮し4段階のセファールレベルに
学習者を紐付けています
本研究では
合計で100名になるように
各熟達度グループから
学習者をランダムに抽出しました
続きまして評価方法です
評価に使用した
正確性仕様はWCRとなっており
以下の表を用いて
評価をしました
本研究では4名の評価者が
評価に参加しました
各評価書の特徴は
表の通りとなっております
続きまして評価者トレーニングについて
ですまず岡2021では
WCRの評価尺度は
誤りの記述が曖昧であるため
修正する必要があると指摘し
誤る種類を加えた評価尺度を作成しました
表で示された1から7までの手順でwci
の評価尺度が修正されました
また
オレンジ色で示された手順3から手順7
までが評価しトレーニングの内容となって
います
続きましてエラータグの付け方です
英作文にある各誤りには
表で示されているなタグをつけました4名
でタグ付けしたデータのうち1名による
データを
本研究で分析対象としました
続きまして分析手法です
リサーチクエスト1では
太陽分析を使用しましたまた
リサーチケーションにでは
事情検定を使用しました
結果と考察に移ります
表1は1万語あたりの誤りの頻度となって
おります
この表は1万あたりの誤りの頻度を表した
続きとなっております
続きまして
太陽分析の結果です分析の結果
多くの誤りがレベル1のカテゴリー付近
左下の円の部分に
集中していることがわかりました
これは2021で示された誤り表において
レベル1に該当する誤りが多いことが挙げ
られます
また
動詞の目的の欠如
余剰や
控除同士の誤りが
レベル2と強く関連していることがわかり
ました
動詞の目的語の欠如や
余剰な誤りは何をどうするかが読み手に
伝わりにくいと考えられるためレベル2と
還流していると考えられます
さらに高助動詞の誤りは
意見に対する確信度や
家庭法過去で使用されておりこの文法項目
に誤りがあるとその判断がつきにくいため
レベルになると考えられます
最後に意味が読み取れない誤りや主語の
欠如
受動態がレベル3と強い関連性があること
がわかりました
特に主語の欠如について
ITのような代名詞の場合や認証代名詞の
場合が考えられますがどのような場面に
おいても
主語がなければ切ないの内容を理解する
ことは困難であると言えます
まとめとして
英作文には誤りが
岡2021で示された修正されたwcoの
評価者訓練にあるようにまとまっていた
ことがわかりましたつまり2021年の
研究において
評価者間の協議によって作成された評価
尺度は
誤りを含んだ説を分類する上で
信頼性のある評価尺だと
言えます
続いてリサーチクエスト2についてです
分析の結果
レベル1では全熟達度感で優位なさが見
られましたこれは軸活動の上昇に伴い
読み手の影響度にほとんど影響を与えない
軽微な誤り例えば3単元のSなどは
徐々に減少していく傾向にあると言えます
また
レベルにおいては
B1とB1通貨以外で有意下がることが
わかりましたつまり
ほぼ全ての
軸足と段階で有意に減少するということが
言えます
一方でB1グループとB1-2グループ間
では優位な差が見られませんでした
逆に
統計的な優位差はないもののレベルに
該当する誤りの数が上昇していることが
わかりました
B1-2の学習者はB1の学習者よりも
複雑な文構造を使用したりより低頻度の
英語を使用したことにより
誤りの数が
上昇したという
可能性があると考えられます
レベル3では3つの軸足度感で有意下がる
ことがわかりました
軸タス度が低い学習者がレベル3の
カテゴリーを多く算出することが合わせで
わかりました
読み手による理解が不可能な誤りは
初学者が多く3スライムが含まれている
ためA2で多く見られたと考えられます
また
レベル2のカテゴリーの場合と同様に
B1とB1グループ間では
統計的な優位差ないもののレベル3に該当
する前の数が上昇していることが示され
ましたこれの理由といたしましても
B1-2
グループの学習者は
B1グループの学習者よりも複雑な分構造
を使用したりより低頻度な英語を使用した
ことによって
誤りの数が上昇した可能性があると考え
られます
続きまして
教育的です
本研究では2つの教育的意義が挙げられ
ます1つ目は高い信頼性を担保したwcl
の教科尺度を確立できたことです
太陽分析の結果
wcloにおける各カテゴリーと
関連性の高い
種類を特定することができ
岡2021が示した評価尺と非常に類似し
ていることがわかりました
よって教師は学習者が持っている正確性を
従来から使用されている仕様よりも詳細に
かつ正確に把握することができるように
なりました
2つ目は
ライティング指導の時間を
費やすべきカテゴリーとその熟達型を示す
ことができた点です分析の結果
レベル1に該当する誤りは
熟度が上がるにつれてその数は減少して
いくことが示されました一方でレベル2の
カテゴリ内容の数とレベル3のカテゴリー
の誤りの数は
軸立場上昇してもその数は減少せず
むしろ増加する区間もあることが
わかりましたこれらのことから
レベル1のような軽微な誤りに対しては
継続的な指導が有効であると考えられます
一方でレベル2のカテゴリーやレベル3の
カテゴリーにおいては
軸立つ度が注意程度の学習者
例えばB1やB1-2グループにおいては
誤りに対する指導の時間を
増やす必要があると考えられます
続きまして限界点です
本研究では3つの限界点があると考えられ
ます1つ目は評価者が英語文科書ではない
ことです2つ目は誤りが限定的であること
です3つ目は異なる学校集に所属する学習
者が
作成した英作文を分析対象できなかった
ことですこれ
らを考慮した研究を行うことで
wciによる性格性評価をより信頼性の
高いものにすることができると
考えられます
こちらは参考文献となります
ご清聴ありがとうございました
5.0 / 5 (0 votes)