「ないならつくろう」メルカリがGo Boldに英語・日本語スピーキングテストを開発した理由

こんにちは！Language Education Team（LET）の＠JohnVです！

LETは、メルカリのメンバー向けに英語と日本語プログラムの設計と運営をしています。また、「やさしいコミュニケーション」という取り組みのリードをしています。

加えて、メルカリ社内で活用している「 Mercari English Communication Test（MECT）」と「Mercari Japanese Communication Test（MJCT）」を開発しました。

MECTとMJCTは、私たちのすべての仕事の基盤となるもので、実は2018年にチームが設立されたときに最初に作ったもののひとつです。テストが何に活用されているかというと、各プログラム受講者の受講前の英語または日本語レベルを把握すること、そして学習の進捗状況を把握するためにも活用しています。

また、「やさしい日本語/英語」が効果を発揮するためには、ある程度の日本語力、英語力が必要となります。MECTやMJCTのテストスコアは、「やさしいコミュニケーション」のトレーニングを実施する際も重要なデータとなります。

なぜ独自のテストをつくったのか？

一般的なテストがあるのに、なぜLETは独自のテストを作ったの…？と疑問に思う人がいるかもしれません。日本では多くの企業が、英語/日本語力の評価に従来からあるテストを使用しています。しかし、実際に自分たちで多くのテストを試した結果、メルカリのニーズに合うものはありませんでした。

まず第一に、一般的なテストでは、学習者が学んでいる言語を使って、「実際に何ができるか」を測ることができませんでした。多くの場合、テストスコアはスピーキング能力というよりも、文法や語彙に関する知識がどれぐらいあるかを示しています。もちろん知識は重要ですが、私たちはスピーキング能力を測定することをより重視したいと考えました。

加えて、一般的なテストでは、Aさんの英語力とBさんの日本語力の相関関係を明確に知ることができませんでした。実際、Aさんの英語スコアとBさんの日本語スコアを見ても、その人たちがコミュニケーションを取れるのかどうかはわかりませんでした。そのため、例えば、採用面接時に面接官は何語が話せる人が担当すべきかや人事上の重要な判断ができないことがありました。

このようなことから総合的に判断して、LETは社内でテストを開発する必要があると判断しました。ここからMECTやMJCTのポイントをメルカリのバリュー（Go Bold：大胆にやろう、All for One：全ては成功のために、Be a Pro：プロフェッショナルであれ）に基づいてもう少し詳しくご説明します。

Go Bold：日本でほとんど前例がなかったCEFRを日英共通の社内基準に採用

日本国内だけに通じるものではなく、世界標準で使える評価のフレームを採用すべきだと考えました。具体的には、欧州言語共通参照枠（CEFR）を利用しています。CEFRでは、言語能力を、基礎段階の言語使用者のA1から熟達者のC2まで6段階のレベルに分けています。おもしろいのは、あらゆる言語で同じレベルを使っているところです。

ヨーロッパで広まったCEFRは、各レベルに「can-do（〜できる）」という能力記述文があり、現在では世界中の学校や企業で言語能力の評価に使われています。CEFRには、各レベルの人がその言語を使って「どんなことができるか」が説明されています。

これを使えば、日本語と英語のスピーキング能力のレベルを客観的に、かつ日英共通の基準で把握することができます。これはLETにとってとても重要なことでした。ただし、日本企業が社内で日本語と英語の共通基準としてCEFRを使っている例がなかったため、「作ろう！」と判断したことは、とてもGo Boldだったと思います。

All for One：学習者とトレーナーの共通認識を醸成

社内でテストを開発するもう一つの利点は、すべてのデータにアクセスできることです。2018年にテストを開始して以来、実施したすべてのテスト結果が蓄積されています。

一般的なテストの多くは、まるでブラックボックスのようで、受験者は、なぜ自分がその点数を取ったのかを詳しく知ることができません。また、次のレベルに到達するために何に焦点を当てればいいのか知る術もありません。一方、MECT/MJCTでは、受験者が使用した語彙、文法、音声コミュニケーションの詳細がわかります。これにより、学習者とトレーナーは、どこに重点を置いて学習すべきかを理解することができます。

さらに、LETは英語/日本語プログラムに参加した人たちの進捗状況を正確に把握することができます。同時に、各プログラムの効果を検証することもできます。これは、研修の大部分を外部のパートナー企業に委託し、大規模に実施することが多いメルカリにとって重要なことです。

LETだけでなく、学習者もテスト結果にアクセスできることで、外部のテストではできなかったことができるようになりました。

Be a Pro：主観的な要素をほとんど排除した採点を実現するため常に進化

ゼロからテストを開発するというのは、非常に困難が多いプロジェクトでした。しかし、一般的なテスト、そして自社開発のテストのメリットを考えたとき、Go Boldに独自のテストを作るほうがはるかにメリットが大きいと判断しました。

ただし初めから完璧なものが作れたのではなく、改善を続けて常に進化させてきました。テストは、もともとCEFRの基準でLETのメンバーが対面のインタビュー形式で行っていました。しかしこの方法ではテスターの主観的な要素が入ってしまうこと、そしてスケール可能なやり方ではありませんでした。

採点に関わる主観的な要素をできるだけ排除するため、これまでさまざまな工夫をしてきました。この改善には@Davidの貢献がとても大きかったです。＠Davidがしたことは、大きく二つ。ひとつはMECTの文法とスピーキングの採点基準を明文化することで、採点の一貫性を向上させたこと、そしてテスト内部の採点ロジックを確立したことです。これは、＠DavidのCEFRへの深い知識があったからこそできたことで、おかげで採点の精度が大きく上がりました。

またテストをスケール可能な状態にするために、＠rileymasuは、MECT、MJCT共に受験プロセスをすべて自動化しました。これはLETにとって大きな改善で、テストの申し込みから結果の受け取りまで、すべてのプロセスを合理化することができました。さらにRileyは言語ダッシュボードも構築しました。言語ダッシュボードの存在は今後、言語に関するデータを活用していくのに大きな意味を持っています。

このような改善のおかげで、数年かけて主観的な要素をほとんど排除することができ、さらに各自オンラインで受験できるようになりました。また、MECTの採点に関しては、外部パートナーの協力を得て精度の高い採点を行うことができています。

さらに今期は、語彙の新しい採点システムを導入しました。このメカニズムによってより精度の高い、そしてより広範囲の語彙の採点が可能になりました。

「学習者にとって、聞く・話す力を試されるのは良いこと」

振り返ってみると、どの改善も簡単ではありませんでした。しかし、今の状況に至るまでには、改善を続けることが不可欠でした。大変な作業でしたが、このテストのためにBe a Proな仕事をしたLETのことをとても誇りに思っています。

MJCTを何度も受験している日本語学習者のAdler HsiehさんにMJCTの感想を聞いてみました。

Adler Hsiehのコメント：
“私が知っているかぎりでは、従来のテストはリスニングとリーディングの能力に重点を置いていることが多いです。それに対し、MJCTはリスニングとスピーキングの能力に重点を置いています。学習者にとっては、実際に自分の聞く力と話す力を試されるのは良いことだと思います。また、問題はすべて業務中の日常会話に関わるものなので、日本語でどのように答えるかを考えるのにも役に立って、助かっています”

メルカリが次のグローバル展開に向けて動き出すとき、MECTもMJCTも、さまざまな判断材料に活用できます。また、日本語や英語の上達を目指している人が、社内での影響力を高めていくためにも、進捗状況を把握するのに最適なツールです。

言語学習プログラムについての詳細や、現在採用募集中の職種についてぜひこちらをご覧ください！