ChatBot Meena Kami Lebih Baik Daripada Yang Lain, Klaim Google

Google telah mengklaim bahwa chatbot barunya, bernama Meena, dapat mengobrol tentang apa saja dan lebih baik daripada agen percakapan serupa lainnya. Dalam sebuah makalah yang diterbitkan di repositori arXiv.org pra-cetak, para ilmuwan Google menunjukkan bahwa Meena dapat melakukan percakapan yang lebih masuk akal dan spesifik daripada chatbots canggih. Untuk menempatkan Meena, model percakapan saraf terlatih ujung-ke-ujung, untuk menguji, para ilmuwan menggunakan metrik evaluasi manusia baru untuk chatbot domain terbuka, yang disebut Sensibleness and Specificity Average (SSA), yang menangkap atribut dasar, tetapi penting bagi manusia percakapan.

"Hebatnya, kami menunjukkan kebingungan itu, metrik otomatis yang tersedia untuk setiap model percakapan saraf, sangat berkorelasi dengan SSA," penulis studi Daniel Adiwardana, Insinyur Riset Senior, dan Thang Luong, Ilmuwan Riset Senior, Penelitian Google, Tim Otak, kata dalam posting blog minggu ini.

Chatbots modern cenderung sangat terspesialisasi – mereka berkinerja baik selama pengguna tidak menyimpang terlalu jauh dari penggunaan yang diharapkan.

Untuk menangani lebih baik berbagai topik percakapan, penelitian dialog domain terbuka mengeksplorasi pendekatan pelengkap yang berusaha mengembangkan chatbot yang tidak terspesialisasi tetapi masih dapat mengobrol tentang apa saja yang diinginkan pengguna.

Selain menjadi masalah penelitian yang menarik, agen percakapan semacam itu dapat mengarah ke banyak aplikasi yang menarik, seperti interaksi komputer yang lebih manusiawi, meningkatkan praktik bahasa asing, dan membuat film interaktif dan karakter videogame yang dapat dihubungi.

Namun, obrolan domain terbuka saat ini memiliki kelemahan kritis – sering tidak masuk akal. Mereka terkadang mengatakan hal-hal yang tidak konsisten dengan apa yang telah dikatakan sejauh ini, atau kurang memiliki akal sehat dan pengetahuan dasar tentang dunia.

Selain itu, chatbots sering memberikan respons yang tidak spesifik untuk konteks saat ini.

Misalnya, "Saya tidak tahu," adalah respons yang masuk akal untuk setiap pertanyaan, tetapi tidak spesifik. Chatbot saat ini melakukan ini jauh lebih sering daripada orang karena mencakup banyak kemungkinan input pengguna.

Meena, di sisi lain, belajar untuk menanggapi dengan bijaksana konteks percakapan yang diberikan, menurut makalah berjudul "Menuju Chatbot Open-Domain yang mirip Manusia".

"Tujuan pelatihan adalah untuk meminimalkan kebingungan, ketidakpastian memprediksi token berikutnya (dalam hal ini, kata berikutnya dalam percakapan)," kata Adiwardana dan Luong dalam posting blog.

"Pada intinya terletak arsitektur seq2seq Evolved Transformer, sebuah arsitektur Transformer yang ditemukan oleh pencarian arsitektur saraf evolusioner untuk meningkatkan kebingungan," tambah mereka.