Spotify กรณีศึกษาการใช้ข้อมูล Data Science + UX
Data science #Data #UX
บทความนี้จะเล่าเรื่องสรุปของวิดีโอ Talk หมวดรีเสิช จาก Spotify
โดยงานนี้เป็นการจัดงานของ Qualtrics และโปรเจคนี้ก็ใช้ Product ของ Qualtrics เช่นกันค่ะ หากใครสนใจฟังวิดีโอ จะอยู่ด้านล่างสุดของบทความนะคะ
ทีมงานจาก Spotify จะมาเล่าในเรื่องของการใช้ framework ของตนเองที่ชื่อว่า What-Why Framework และเรื่องของการทำรีเสิชแบบ Simultaneous Triangulation
โดยเนื้อหาของ Talk นี้คือเราจะผสมผสานข้อมูลฝั่ง Quantitative จาก Data science กับฝั่ง Qualitative จากการทำ UX ได้อย่างไร ไปติดตามอ่านกันเลย
เป้าหมายของโปรเจคนี้
เพื่อพัฒนาฟีเจอร์ใหม่คือ Skip ads ระบบที่สามารถข้าม Ads ที่ไม่เกี่ยวข้องกับ User ได้ใน Spotify เพื่อเพิ่ม User engagement และให้ User ได้ฟังโฆษณาสินค้าที่ตรงกับตัวเองมากขึ้น ได้ผลวิน ๆ ทั้งฝั่งคนมาลงโฆษณาและ free user นั่นเอง
ฝั่ง Data science เล่าให้ฟังว่า ตั้งต้น user อยากได้ข้อมูลจากกลุ่มคนที่ฟัง Spotify ฟรี ๆ ฟังเพลงบ่อย แล้วก็เป็น actively skipping song on mobile เลยค้นข้อมูลไปมา แล้วก็ไปเจอว่า ออสเตรเลีย มีผู้ใช้กลุ่มนี้เยอะมาก ๆ
ฝั่ง UX อยากรู้ว่าตัว Prototype ฟีเจอร์ใหม่นี้จะเวิร์คมั้ย
ก็เลยทำหน้า UI มาสองแบบคือ
(A) กราฟิกแบบปุ่มรูป skip
(B) เป็น Text คำว่า “Skip”
แล้วออกไปทำ Guerrilla testing ที่สวนสาธารณะ เพื่อทำเทสแบบไวๆให้รู้ว่าแบบไหนที่ควรเอาไปใช้มากที่สุด และเทสว่า user เข้าใจวิธีการ skip ads หรือไม่
ผลสรุปคือ (A) ปุ่มที่เป็น Graphic คนเข้าใจมากกว่า เพราะปกติแล้วคนใช้ Spotify จะเข้าใจว่ารูปนี้เป็นปุ่ม skip เพลง
ฝั่ง Data science ต้องเอา prototype กลับมาเทสต่อ ว่ามี user กี่ % ที่กด skip ads ก็เลยไปทำ A/B Testing เพื่อเทียบว่า
(A) ระบบ feature ตัวใหม่ skip ads
(B) ระบบเดิมที่ไม่สามารถ skip ads ได้
เพื่อทดสอบว่าระบบใหม่จะเพิ่ม user engagement ได้หรือไม่ / ได้ฟัง ads ที่ตรงใจมากขึ้นหรือไม่
ฝั่ง Data science บอกว่า เราตั้งความหวังไว้สูงมากว่าถ้าปล่อยฟีเจอร์นี้ไปนะ ทุกคนจะต้องหันมาใช้อย่างแน่นอน !!! เพราะ Data บอกว่ากลุ่ม A กดข้าม ads ได้ผลดีมากๆ !!!
แต่ความเป็นจริงกลับไม่เป็นเช่นนั้น…..เพราะมันไม่ง่ายแบบนั้นเลย ทั้งที่ทำ Research ได้ข้อมูลมาระดับ Global ว่า User ต้องชอบแน่ ๆ แต่ทำไมมันไม่เวิร์ค ?
แต่ความเป็นจริงกลับไม่เป็นเช่นนั้น…..เพราะมันไม่ง่ายแบบนั้นเลย ทั้งที่ทำ Research ได้ข้อมูลมาระดับ Global ว่า User ต้องชอบแน่ ๆ แต่ทำไมมันไม่เวิร์ค ?
WHAT!! WHY!!!!
Data science ผู้ตามหา WHAT
ทีม Data ลงไปดูข้อมูลหลังจาก lauch ฟีเจอร์นี้ออกไปแล้ว
พบว่ามีจำนวนกลุ่มคนหลัก ๆ ที่ใช้ฟีเจอร์นี้คือ
- กลุ่ม Power user: มนุษย์กดข้าม กดอยู่นั่นแหละ กดจนกว่าจะไม่เจอ ต้องเป็นกลุ่มคนที่เข้าใจฟีเจอร์ดีแน่ ๆ
- กลุ่มลองแล้วนะ แต่ใช้ไม่บ่อย
- ไม่เคยกดข้าม Ads เลย
ฝั่ง data ได้ข้อมูลว่ามีประเภทของ behaviour และได้ปริมาณมา แต่ก็ยังสงสัยว่า “ทำไม User ถึงไม่กดข้าม ads ล่ะ ทั้ง ๆ ที่ฟังเพลงก็บ่อย”
UX ผู้ตามหา WHY
ทีม UX มีข้อสงสัยว่าอ้าวแล้วกลุ่มคนแบบที่ 3. ที่ไม่เคยข้าม ads เลย มันเกิดจากสาเหตุอะไร ?
ทีมงานก็เลยลงไปทำ User interview ที่ออสเตรเลีย บินไปที่บ้าน user เลยทั้งสามกลุ่มด้วยกัน เพื่อไปทำความเข้าใจว่าทำไมถึงใช้ และไม่ใช้ฟีเจอร์นี้ (เขาได้กลุ่ม user สำหรับทำ interview มาจากข้อมูล Quant ผสมผสานข้อมูล data กันได้ดีมากๆ)
ทีม UX ได้ไปหา Ben (Power user กลุ่ม 1) เบนบอกว่า “ก็อยากจะกดข้าม ads ทั้งหมดนั่นแหละ แต่ทำไม่ได้เพราะว่าต้องรอก่อน….”
คน UX เลยสงสัยอีก อ้าว! จาก Data Quant ก็บอกว่าพี่ Ben ค่อนข้างเชี่ยวชาญในการกดข้ามโฆษณา แต่ทำไมพี่ Ben คิดแบบนี้ !!!?????
สรุปคือ คนใช้ Spotify ฟรีไม่เข้าใจความแตกต่างของโฆษณาใน Spotify ว่ามันจะมี audio ads, image ads, video ads
พอทำ Interview ถึงรู้ว่าที่พี่ Ben บอกก็คือ พี่เบนไม่สามารถกดข้าม video ads ได้นั่นเอง เพราะพี่ Ben ไม่เข้าใจความแตกต่างว่าปุ่ม skip จะขึ้นมาเฉพาะแค่ audio ads
พอคุยจบ คนทำ UX ก็เลยได้เรียนรู้ว่าจริง ๆ แล้วการกดข้าม ads ควรกดข้ามได้ ไม่ว่าจะเป็น format ไหนก็ตาม เพื่อเพิ่มความ consistency ในระบบ
UX ยังลงไปทำ Interview กับคนกลุ่ม 3 คนเพิ่มเติมอีก แล้วก็พบข้อมูลเพิ่มเติมอีกว่า เวลาลงไปคุย ไม่เห็นข้อมูลมันจะเหมือนกับ Quant data ที่ได้มาเลยอะ อย่างแบบ Quant บอกว่าพี่ Ben คือ Power user แต่พี่เบนบอกว่า ไม่เห็นจะรู้สึกว่าตัวเองเป็น Power user ฉันยังงง ๆ อยู่เลยเนี่ย ว่าจะใช้มันยังไง
สรุปคือ Data จากฝั่ง A/B testing นี่มันไม่ครบเลยนะ มันได้ข้อมูลมาก็จริง แต่มันตอบไม่ได้เลยว่า Power user ที่จริงแล้วเข้าใจฟีเจอร์ดีจริงหรือไม่ เพราะ Data พูดอย่างนึง แต่เวลาไปสัมภาษณ์พูดอีกอย่างนึง …..
กลับมาที่ฝั่ง Data sci บอกว่าเราทำงานแบบส่งข้อมูลไปมาจากฝั่ง Data ไปยัง UX กลับไปกลับมา โดยฝั่ง Quant จะดูข้อมูล data ฝั่ง Global และฝั่ง Qual จะลงไปโฟกัสที่ user เพื่อให้ได้ snapshot คีย์ attitude ของ user ที่สำคัญออกมา
เวลาทำรีเสิชไปเรื่อย ๆ เราจะเห็นว่าข้อมูลฝั่งเดียว จะมี Gap ของแต่ละฝั่งอยู่ เราไม่สามารถตอบทุกคำถามด้วยการทำงานกับข้อมูลฝั่งเดียวได้ เขาก็เลยเปลี่ยน Process การทำงาน
ให้ทั้งสองทีมมาทำงานร่วมกัน Combine process
ด้วยวิธีการ Simultaneously
คือ เก็บข้อมูลไปพร้อมๆกันทั้งสองฝั่ง Quantitative & Qualitative
- ด้วยวิธีการใช้คำถามเดียวกัน
- เก็บข้อมูลพร้อมกัน
- ใช้ User กลุ่มเดียวกัน
ฝั่ง UX ก็เลยบอกว่า งั้นเรามา Plot method ตามกราฟ What-why framework กัน เอา method ของสองฝั่งมาใช้ ด้วยการเลือก method คนละช่องจากกราฟเขาเลือก Diary study ใช้ทูลจากเว็บไซต์ Qualtrics ในการเก็บข้อมูล Diary study ในระหว่าง user ใช้แอพได้เลย ซึ่งสะดวกมาก ทำให้ User ไม่ต้องออกจากแอพลิเคชั่นไปกรอกในเว็บอื่น
ควบคู่กับการทำ Data tracking ที่เป็นข้อมูลฝั่ง Quant
(จากภาพด้านล่าง 2 Method นี้จะคนละช่องของกราฟ)
หลังจากนั้นก็เลยเริ่มไปทำรีเสิชกับ Matt เก็บทั้งข้อมูลของ Data tracking & Diary study เสร็จแล้วก็พบว่าจาก Data tracking เนี่ยก็พบพฤติกรรมใหม่อีกคือ คุณ Matt เนี่ยชอบกดข้าม ads แค่ 6 ครั้ง แล้วก็หยุดใน 1 ชั่วโมง ไม่เคยกดเกินนี้เลย!!!!
WHYYYY????????
ฝั่ง Data science จึงสงสัยว่าว่า เฮ้ย ระบบเราไม่มีลิมิตในการกด ads นะ ทำไมพี่ Matt กดข้ามไม่เกิน 6 ทุกรอบเลย….แปลกมาก
และพอลงได้ไปดู Diary study พี่แมตพิมพ์บอกว่า ที่กดไม่เกิน 6 ครั้งก็เพราะ “ผมคิดว่าการกดข้าม ads น่าจะเหมือนการกดข้ามเพลง คือห้ามเกิน 6 ครั้ง ใน 1 ชั่วโมงครับ ไม่งั้นจะกดข้ามไม่ได้แล้ว”
แล้วก็พบว่า แพคเกจ Spotify แบบฟรีเนี่ย มีกฏที่ให้กดข้ามเพลงได้แค่ 6 ครั้งใน 1 ชั่วโมง
คนใช้ก็เลยคิดว่า ถ้ากด Skip ads ก็คงจะเหมือนกันคือ ข้ามโฆษณาได้แค่ 6 ครั้งต่อ 1 ชั่วโมง
สรุป การทำ Research ต้องประกอบไปด้วย 2 ฝั่ง ทั้ง Qual & Quant ไปพร้อม ๆ กัน ทำงานพร้อมกันทั้งสองทีม คุยกันเพื่อวิธีที่ดีที่สุดในการทำงานนั่นเอง
ผลสุดท้ายบทสรุปของการทำรีเสิชนี้ก็คือ
ปัญหาอยู่ที่ MENTAL MODEL ของ USER
ทาง Spotify ได้ทำการแก้ไขด้วยการเพิ่ม popup แยกไปสองตัว กับ user สองกลุ่ม
(A) เหมาะสำหรับกลุ่มพี่ Matt ด้วยคำว่า “กด ads ไม่มีอันลิมิต กดได้รัว ๆ เลยนะพวกเธอ”
(B) เหมาะสำหรับกลุ่มคนที่ยังไม่เข้าใจว่าข้าม ads ยังไง เป้าหมายคืออะไร educate user ด้วยคำว่า “เลือกฟัง ads ที่คุณชอบได้นะ กดข้ามอันที่ไม่ชอบไปเลย”
ผลสรุปหลังจากใส่ UI ล่าสุดเข้าไป
ทำให้เพิ่ม User ได้ 100% ในการใช้ฟีเจอร์นี้เป็นเท่าตัว
Key Takeaway สรุป
1. เลือก Method ที่อยู่คนละฝั่งตาราง จาก framework What & Why ภาพแรกด้านบน ดูว่าตัวไหนมี weakness อะไร ให้ไปหาตัวที่ strength อีกตัวมาแก้
เพราะ Method ทุกตัวจะมีข้อดีข้อเสียของมัน เราต้องรู้ว่าจะต้องหาอะไรมาบาลานซ์ข้อมูล เพื่อให้ข้อมูลเราแม่นยำมากยิ่งขึ้น
2. รีเสิชด้วยวิธีการ Simultaneously
คือ เก็บข้อมูลไปพร้อม ๆ กันทั้งสองฝั่ง Quan & Quant
– ด้วยวิธีการใช้คำถามเดียวกัน
– เก็บข้อมูลพร้อมกัน
– ใช้ User กลุ่มเดียวกัน
3. ทำงานร่วมกันสองทีม จะช่วยให้งานราบรื่นมากยิ่งขึ้น ไม่ต้องส่งข้อมูลข้ามกันไปมา รีเสิชพร้อมกันไปเลย
ขอขอบคุณเนื้อหาจาก
Qualtrics
Spotify design
อ่านบทความ Design cases study ที่น่าสนใจเพิ่มเติมได้ที่
เคสการทำ Personalization และ AI ของ LinkedIn
อนาคตของนักออกแบบ Experience designer
หากสนใจอ่านบทความเกี่ยวกับสาย Data
อย่าลืมติดตามเว็บไซต์ใหม่จากทีมงานของเรา
แฟนเพจ DATA TH
และเว็บไซต์ DataTH รวมเรื่องราวเกี่ยวกับ Data science & Data engineer อัพเดทให้อ่านกันเป็นประจำทุกสัปดาห์ มีสอน Data engineer ด้วย อย่าลืมติดตามกันนะคะ :)
บางทีเรื่องนี้ก็น่าปวดหัวพอตัว บทสรุปพลิกไปพลิกมาแบบรัว ๆ อ่านไปมาแล้วผมต้องแปลกใจตลอดเลย สนุกมากครับ
//สนใจเรื่องนี้มาก ๆ ผมยังเด็กอยู่ (เกือบเลยคำนี้ละ) เพิ่งเข้ามาศึกษาเรื่องนี้ครับ ฝากตัวด้วยครับ
โอ้ ถ้าน้องสนใจมาเข้ากรุ๊ป designil ใน Facebook ได้นะค้า มาคุยกันๆๆ :D