「合成の誤謬」を意識せよ|"メルカリUS"カイゼンの最前線 #mercariday

メルカリの中で働くメンバーが、日々どのようなことを考え、どのようにチャレンジしているのかを紹介する場として初めて開催した『Mercari day 2017』。

本稿では、アメリカ向けプロダクトのUX改善を担う2人がパネラーを務めた「"メルカリUS"カイゼンの最前線」の模様をお届けします。

テストしてみて分かった、想像以上に違う日本とUSのユーザー行動

f:id:mercarihr:20170206131952j:plain

メルカリでは現在、アメリカ向けプロダクトの開発に注力しています。このセッションでは、メルカリUSの買い手側・売り手側双方のUX改善の担当者が登壇し、日本のプロダクトとの違いなど、文字通りの「カイゼンの最前線」について語りました。

伊豫
モデレーターを務めます、US版のプロダクトを統括している伊豫です。今回はメルカリUSのプロダクトマネージャー2名と共にお話できればと思います。買い手側(Buyer)のUXを担当している森山、売り手側(Seller)のUXを担当している荻原です。

最初のテーマは、「日本とUSとで何が大きく違うのか」ということについてです。昨年11月に、私たち3人のチームは実際にUSへ行ってユーザビリティテストを行いました。そこで感じたことから聞いてみたいと思います。

森山
物事の捉え方がざっくりしているんだなと思う場面もあれば、そんな細かいことを指摘してくるんだと思うこともあって、両極端でしたね。「結局どっちなんだろう?」って戸惑ったり、やればやるほど訳が分からないというのが最初に感じたことです。

伊豫
そうですね。僕が一番びっくりしたのは、出品についてでした。

メルカリは出品しようと思ったら右下にある赤い出品ボタンを押してもらうんですけど、あれに気付いてくれた人が10人中1人しかいなかったことです。「出品してください」って言ったら「どこからやるんだ?」と聞かれて。

出品ボタンは僕らからすれば、メルカリのトレードマークのようなものです。でも向こうの人が出品しようと思ったら、ハンバーガーメニューからマイリスティングページに行って、そこからようやく出品ボタンを探してくれるといった感じでした。まさかそんな基本的なレベルから気付かされるとは思っていなかったので、根底から覆されちゃいましたよね。

f:id:mercarihr:20170206132008j:plain

他に印象に残っているのは、商品画面を見て「これ買いたいと思いますか?」と聞くと、ほとんどの人が聞くのが「これはいくらだ?」という質問です。いやいや、下に値段書いてあるじゃないですかって話なんですけど、値段の表示に気付いてもらえない。

向こうの人は日本人と比べてパパッと画面を操作するんです。出品ボタンは触っている間は隠れているようになっているんで、それで気付かれない。あとは価格表示が、操作する自分の手で隠れていたりとか。それくらい、国が違えば使い方も違う。それは僕らが思っている以上なんだと強く感じた出来事でした。

森山
Buyer側を担当している私にとって、そもそも検索にも気付かれなかったことも驚きでした。もちろん検索窓はあるんですが、「どうやって検索するの?」って言われちゃう。だから、一つの小さな画面にこれもできます、あれもできますと詰め込むのではなく、優先順位高くやらせたいということを、日本人からすると悪目立ちするくらいに強調させても良いのかも、と思うことはありました。

伊豫
とにかく分かりやすいものじゃないとダメというのはありますよね。あるなら探すっていうのが日本人の使い方な気がするんですけど、ちょっと分からなければ絶対に触らないっていうのが向こうの感覚としてはある気がします。

荻原
その画面で何をやってもらいたいのかを明確にするのは大事ですね。

伊豫
昨今のデザイントレンドで画面がとにかくシンプルになっていく流れっていうのも分かる気がしました。テストをするまでは、デザイントレンドとはいっても、単純にAppleやGoogleが決めたからだと思っていたところがありましたが、それなりに背景があるんだというのを身をもって感じました。Buyer側で、だからこそ企画を起こす時に気をつけていることはありますか?

f:id:mercarihr:20170206132024j:plain

森山
今言った話の裏返しになりますけど、新しい機能のアイデアが出てくると、それもやろう、これもやってみようとなりがちなんですけど、やっぱり見た目のインパクトから考えて、どこをどう削ぎ落とすかというのは考えるようにしています。「それはやらなくていい」というのをどう特定するか。リソースは限られているので。

伊豫
Seller側はどんな感じでしょう? どんなところに違いを感じていますか?

荻原
出品の動作で重要な要素の一つである、写真の撮り方ですね。日本人は出品された時のことを想像してすごく丁寧に、綺麗に撮るんですけど、USの人はその場にあるものをそのまま撮るという感覚でした。

伊豫
日本人はやっぱり構図とかが上手ですよね。メルカリに出ているものも非常に綺麗に並んでいるように見えるんですけど。向こうは雑というと良くないですけど、わりとありのままの写真ですよね。その対策としては?

荻原
最近やった具体的な施策としては、カメラとかライブラリとか、従来は正方形にクロップしないといけなかったところを、長方形のままでも出品できるようにするとか、実際のユーザーさんの利用シーンに近いものをできるだけ提供できるようにと考えてやっています。

伊豫
日本人からすれば、正方形の画面が出てるんだからその範囲で収めるように撮ればいいじゃんって話なんですけど、向こうではそれが問い合わせにつながってしまう。自分のスマートフォンはこうなのに、なんでそうやって撮れないんだ、と。それはテストをしてみて気付いたことですね。他にも何かありましたか?

荻原
出品って入力する項目が多いんですよね。買い手側からすれば、色々と情報が多いものを買う傾向にあると思います。ただ一方で、出品側に回った時はそうじゃない。できるだけ少ない工数でやりたいっていうのが、日本以上にUSの方に強く出ている傾向なのかなと思っています。ユーザビリティテストをやった時にも、アイテム名だけ入れて出品できると思っている人がいたりしたんです。そういうところの違いは結構大きいのかな、と。さっき森山さんも言っていましたけど、シンプルに見せるっていうことが大事な気がしています。

伊豫
そうですね。出品入力画面っていわゆるエントリーフォーム型ですよね。ヘルプはここ、この項目はこういう意味ですよって色々と書くんですけど、なかなか読んでくれない。

だから指の辿る通りにUIを配置することが大事なのかなと思います。もちろんこれは日本のプロダクト改善においても大事なんですけど、期待できるレンジが全然違う。だからユーザビリティテストしっかりやって、そういうことに気付くというのが重要なんだと思います。

森山
Buyer側でいうと、商品一覧を眺めている時っていうのは、脳の状態としてもなんとなくアプリを見ているような感じだと思うんです。一方で、何か興味があるものが見つかった時点からは、すごく具体的に、論理的に考えていくのがUSの人なんですよ。だから、検索した後にお目当のものがちゃんと見つかるようにすることでフラストレーションがたまらないようにしたり、機能としてちゃんと絞り込めるように作ることが大事だと思いましたね。

伊豫
我々が今お話ししたことって、別に定量調査を何千人に対してやって分析したものではなくって、本当に10人程度の結果なんです。それって全員に当てはまるわけじゃないじゃないですかって言われたらそうなんですけど、メルカリではそれを大事にしています。10人15人についての気付きだったとしても、それが我々の感覚と違うということを発見としてインプットして、どんどん施策につないでいくのが、メルカリのプロセスの一つの特徴かもしれません。

仕事の進め方は、PMそれぞれのやりやすいやり方で

f:id:mercarihr:20170206132042j:plain

日本とUSとでユーザー行動に大きな違いがあること、また実際にテストをすることで得られるそうした感覚を重視するメルカリの文化についても、伝わったのではないでしょうか。

ここから話は、2人のプロダクトマネジャーが、エンジニアやデータサイエンティストという異なるバックグラウンドを持つことをどう活かしているかという点に移っていきます。

伊豫
森山は前職がデータサイエンスの責任者で検索改善のプロフェッショナルですし、荻原はiOSエンジニアです。続いては、そんな人たちがメルカリでプロダクトマネージャーをやる上で、どんな目線を持っているのかというのを聞いてみたいと思います。

森山
メルカリではプロジェクト管理ツールとしてRedmineを使っているんですが、僕は結構チケットを細かく書きすぎるタイプなのかなと思います。仕様を細かくしすぎていてこのまま実装できちゃうってくらいの時もあります。それって専門分野に関してはいいかもしれないですけど、やっぱりエンジニアサイドからアイデアをもらって一緒に実現していくってことが自分としてもやりたいし、メルカリとしても大事にしているところだと思うんで、そこは悩みながらやってます。その辺どうやってるんですか?

伊豫
そうですね。僕もエンジニア経験があるんで、設計部分にかなり踏み込みたくなるっていうのがありますね。

荻原
僕のチームにはプロデューサーもいて、その方が企画を考えてくれていたりするんですけど、もともとエンジニアじゃないってこともあって、要件とかやりたいことが書いてあるという状態なんですよね。僕はそれがいいかなと思っていて。

f:id:mercarihr:20170206132053j:plain

どうやって進めるかというと、ある程度まとまった要件や仕様ができた状態で、エンジニアの人やQAの人とかも入れて、混ぜこぜでチケットのレビューをします。その上で、それが本当にやりたいことなのかどうかとか、エンジニア目線でもっといい解決方法はないかみたいなところを叩きながら進めていくんです。今のところはそれで結構面白い感じで回っているのかなと思ってます。

伊豫
どっちがいいとかってあるんですかね。お2人の話は結構両極端だと思うんですけど。例えば森山方式のいい面悪い面はどんなことが感じられます?

森山
今は検索がチームとしてのメインの改善テーマになっているので、僕がやりたいことを明確に打ち出してやるのでいいと思っています。

ただ、ミーティングはやっぱりなるべく減らしたいと思っていて。メルカリって本当に不要なミーティングがないですよね。その代わりとして、1on1は、1、2週間に1回必ずやるようにしています。そうしないと「本当はこう思ってるんだよね」みたいなところを拾ってサポートしてあげられない。後ろからどうサポートするかということを僕は考えている感じです。

伊豫
1on1ってのはどんな話をするんですか?

森山
それこそ「なんでメルカリに入ったんですか」とか。15分程度で終わる時もあれば、長く話し込んじゃうこともあります。それをやっているおかげで、海外志向がないと思っていたメンバーが、実はめちゃくちゃアメリカに行きたがっているとかが分かって。そうしたら応援したくなるじゃないですか。

伊豫
1on1を通じて、お互いが何を考えているのかっていうのを徐々に深めている感じですかね。

森山
そうですね。飲み会とかも、大勢で行くよりサシで行きたいタイプですね、僕は。1人1人の事を深く理解したいので。

伊豫
それも一つのやり方ですよね。Sellerチームの、エンジニア経験のないプロデューサーが仕様を作って、みんなでそれを回しましょうというのも面白いやり方だと思うんですけど、そこにもメリット・デメリットがありますか?

荻原
メリットはプロデューサーさんからウォーターフォールで落ちてくるときよりも、企画の背景とか、なんでこれをやるんだっけみたいなところの明確さが出ることだと思います。逆にデメリットはあまり考えていなくて。多分あるとは思うんですけど。

伊豫
さっき森山も言っていましたけど、多少なりともミーティングに時間がかかってしまうとか?

荻原
それはあるでしょうね。ただそういう時間って全部が全部、無駄ってわけじゃないし。僕は必要かなと思っているんで。

伊豫
いろんな人の目線が入ることによって、企画が取っ散らかることはないんですか?

荻原
それはあり得ます。ただ、最終的に決めるのはこの人だよっていうのは最初に決めているので、あまりブレないっていうか。方向性が違えば修正するのはアリだと思うんですけど、ブレないようには気をつけています。

伊豫
2人に話していただいた通り、メルカリには、プロセスはプロダクトマネージャー一人一人に任せるという風土があります。やれるやり方でやってくださいというのを大事にしているので、僕の方から「そのやり方はイマイチだからプロセスを変えてください」と言ったことは1度もないです。

それぞれデメリットがあるなら、それをなくす工夫をするというのが大事なのかなと思っています。企画そのもので自分ならではの視点というのはありますか?

森山
皆さんにシェアしたいのは、「合成の誤謬(ごびゅう)」です。アプリの機能を細分化してABテストしていけば、それぞれ統計的に正しいのかは判断できます。ただ、それぞれ個別には正しくても、組み上げた時に全体として良い状態になるかというと、必ずしもそうじゃないケースもあるということです。

例えば、メルカリはある時期から商品の出るTLが2列から3列になっているんですけど、それはABテストでの結果が良かったからなんです。一方で、メルカリの出品ボタンだって、あれはあれで良かったからああいう形できているんです。けれども、さっきのユーザビリティテストで出品ボタンが認識されなかったという話で言えば、確実にTLが3列になったことで認識しづらくはなっているんですよね。

単体ではうまくいっている一つの施策が、実は別の部分にマイナスの影響を与えているかもしれないってことは、企画の人間は常に俯瞰して感じ取れないといけないんですよ。

伊豫
極めて大事ですね。個々の数字が上がったらつい喜び勇んじゃいますからね。

森山
多分、数字だけ見ていてもダメで。実際に触るしかないですよね。常にユーザーとして使ってみて、何か違和感があるっていう感覚が大事だと思っています。その上で、自分がすでに知っているが故の盲点については、ユーザビリティテストであぶり出していく。

伊豫
メルカリの企画サイドでいうと、BIチームという分析を専門としているチームがあるんですけど、そのチームの人が指摘してくれることで気付けるというのもありますね。彼らはフラットな目線で「継続率は上がったけど、この数字が下がっていますよ」っていうことを指摘してくれたりします。そうすると、こっちとしてはぐうの音も出ない。荻原さんはどうですか?

荻原
結構UIには気をつけちゃうというか、気をつけざるを得ないってのはありますかね。もともとiOSエンジニアなので。その遷移ってないよね、みたいなのは気をつけています。

伊豫
そこはユーザビリティテストをやって深めていくうちに、逆に見失いがちな視点だったりもするかもしれません。バックグラウンドがないと、いわゆるガイドラインがあるということさえ下手したら漏らしてしまう可能性がありますから、それはiOSエンジニアだった荻原さんならではと言えるかもしれません。