Siri di iOS menjawab 78,5% Pertanyaan dengan Benar di Terbaru…

Lima bulan setelah melakukan tes yang menempatkan speaker pintar dalam sorotan untuk menentukan seberapa baik performa mereka di berbagai kategori, Loup Ventures kembali hari ini dengan postingan baru. Tes IQ berfokus sepenuhnya pada asisten AI digital. Untuk mendapatkan hasil yang diperlukan, para peneliti bertanya kepada Siri, Google AssistantAlexa dan Cortana, masing-masing mengajukan 800 pertanyaan di smartphone dan membandingkan temuan mereka dengan tes AI sebelumnya yang diadakan pada April 2017.

Adapun Siri dalam tes baru, AI Helper Apple memahami 99% pertanyaan dan menjawab 78,5 persen dengan benar. Itu merupakan peningkatan pada tes serupa yang berfokus pada AI dari April 2017 (66,1 persen dari 800 pertanyaan dijawab dengan benar). Sementara Loup Ventures mempertimbangkan metode serupa saat menguji speaker pintar pada bulan Februari, para peneliti menjelaskan bahwa “tidak layak membandingkan” hasil antara pengujian ini karena “kasus penggunaan ada perbedaan besar antara asisten digital dan speaker pintar.”

Ini terutama berlaku untuk Siri di HomePod, yang berfungsi dengan baik di area tertentu tetapi sebagian besar terbatas pada jumlah tindakan yang dapat dilakukan pada speaker itu sendiri. Hal ini membawa HomePod’s AppleHomePod ke “bagian bawah kolom totem” dalam tes kinerja asisten AI selama penelitian speaker pintar Loup Venture pada bulan Februari, dengan jawaban Siri menjadi 52,3 persen dari total 782 pertanyaan benar, dalam lima kategori yang sama sebagai ujian baru.

Loup Ventures menilai setiap asisten digital berdasarkan dua metrik: “Apakah ia memahami apa yang ditanyakan?” dan “Apakah itu memberikan respons yang benar?” Pertanyaan datang dari lima kategori, termasuk Lokal (mis. “Di mana kedai kopi terdekat?”), Komersial (“Bisakah Anda memesan lebih banyak tisu?”), Navigasi (“Bagaimana cara mencapai lingkungan sekitar dengan bus?” ) , Informasi (“Dengan siapa si Kembar bermain malam ini?”) dan Perintah (“Ingatkan saya untuk menelepon Steve jam 2 siang hari ini”).

Pertanyaan diajukan tentang Siri di iPhone yang menjalankan iOS 11.4, Google Assistant di Pixel XL, Alexa di aplikasi iOS, dan Cortana di aplikasi iOS. Kategori terbaik Siri adalah Command (90% pertanyaan dijawab dengan benar), mengungguli semua pesaing ketika diminta untuk mengontrol aspek iPhone, produk rumah pintar, Apple Musik dan lainnya. Setelah Command, Siri tampil baik di Local (87%), Navigation (83%), dan mulai menurun di Information (70%) dan Commerce (60%).

“Google Assistant memiliki keunggulan di setiap kategori kecuali Command. Keunggulan Siri atas Asisten dalam kategori ini luar biasa, karena keduanya dimasukkan ke dalam sistem operasi ponsel alih-alih hidup di aplikasi pihak ketiga (seperti yang dilakukan Cortana dan Alexa). Kami menemukan Siri sedikit lebih membantu dan fleksibel (lebih responsif terhadap bahasa) dalam mengontrol ponsel, rumah pintar, musik, dll. Kuesioner kami juga menyertakan sejumlah besar pertanyaan terkait musik (tindakan paling umum untuk speaker pintar). Apple, sesuai dengan akarnya, telah memastikan bahwa Siri mampu mendengarkan musik di perangkat seluler dan speaker pintar. “

Google Assistant adalah asisten digital terkemuka di semua kategori kecuali Command, dengan Loup Ventures sangat menyukai fitur “featured snippets” Google yang membaca hasil pencarian dari kueri suara dan sering kali “persis seperti yang Anda cari.” Baik Alexa dan Cortana berkinerja lebih buruk dalam pengujian karena setiap aplikasi iOS membatasi apa yang dapat dilakukan asisten di iPhone, tidak seperti kemampuan Siri untuk melakukan tugas di iOS dan tidak dalam satu aplikasi saja.

Total, Google Assistant menjawab 85,5 persen dari 800 pertanyaan yang diajukan dengan benar dan memahami semuanya, dibandingkan dengan Siri yang 78,5 persen menjawab dengan benar dan 11 persen salah paham. Alexa menjawab dengan benar 61,4 persen dan salah 13, sedangkan Cortana adalah “yang tertinggal” dan menjawab dengan benar 52,4 persen dan salah paham 19.

Selama periode 15 bulan dari April 2017, Siri telah meningkat sebesar 13 poin persentase, dengan Loup Ventures menunjukkan bahwa itu “mengesankan dengan kecepatan di mana teknologi berkembang” untuk sebagian besar asisten. Para peneliti selanjutnya menjelaskan bahwa banyak masalah yang mereka temui selama setahun terakhir telah dihilangkan berkat “peningkatan pemrosesan bahasa alami dan konektivitas antar-perangkat.”

Loup Ventures juga melihat banyak peningkatan akan datang, terutama pada Siri. Musim gugur ini, asisten digital akan mendapatkan kemampuan baru dengan fitur “Siri Shortcuts” Apple yang akan datang di iOS 12, memungkinkan pengguna untuk membuat otomatisasi antar aplikasi yang dapat dengan mudah diaktifkan melalui perintah suara. Studi mengatakan mereka “ingin menguji fitur itu” ketika diluncurkan di iOS 12, yang kemungkinan akan dirilis pada bulan September.

Sumber: macrors