Sebuah terobosan untuk teknologi AI: Lulus tes sains kelas 8

Oleh Cade Metz

Empat tahun lalu, lebih dari 700 ilmuwan komputer berkompetisi dalam kontes untuk membangun kecerdasan buatan yang dapat lulus tes sains tingkat delapan. Ada $ 80.000 uang hadiah di telepon.

Mereka semua gagal. Bahkan sistem yang paling canggih pun tidak dapat melakukan lebih baik dari 60 persen pada tes. AI tidak dapat menyamai ketrampilan bahasa dan logika yang diharapkan dimiliki siswa ketika mereka memasuki sekolah menengah.

Namun hari Rabu, Institut Allen untuk Kecerdasan Buatan, sebuah laboratorium terkemuka di Seattle, meluncurkan sistem baru yang lulus ujian dengan ruang kosong. Ini menjawab dengan benar lebih dari 90 persen dari pertanyaan pada tes sains kelas delapan dan lebih dari 80 persen pada ujian kelas 12.

Sistem, yang disebut Aristo, adalah indikasi bahwa hanya dalam beberapa bulan terakhir para peneliti telah membuat kemajuan yang signifikan dalam mengembangkan AI yang dapat memahami bahasa dan meniru logika dan pengambilan keputusan manusia.

Laboratorium penelitian top dunia dengan cepat meningkatkan kemampuan alat berat untuk memahami dan merespons bahasa alami. Mesin menjadi lebih baik dalam menganalisis dokumen, menemukan informasi, menjawab pertanyaan dan bahkan menghasilkan bahasa sendiri.

Aristo dibangun hanya untuk tes pilihan ganda. Butuh ujian standar yang ditulis untuk siswa di New York, meskipun Allen Institute menghapus semua pertanyaan yang termasuk gambar dan diagram. Menjawab pertanyaan seperti itu akan membutuhkan keterampilan tambahan yang menggabungkan pemahaman bahasa dan logika dengan apa yang disebut visi komputer.

Beberapa pertanyaan tes, seperti yang ini dari ujian kelas delapan, membutuhkan sedikit lebih dari pencarian informasi:

Sekelompok jaringan yang bekerja bersama untuk melakukan fungsi tertentu disebut:

(1) organ

(2) suatu organisme

(3) suatu sistem

(4) sel

Tetapi yang lain, seperti pertanyaan ini dari ujian yang sama, membutuhkan logika:

Perubahan apa yang paling mungkin menyebabkan penurunan jumlah tupai yang tinggal di suatu daerah?

(1)

(2)

(3)

(4)

Para peneliti di Allen Institute mulai mengerjakan Aristo – mereka ingin membangun "Aristoteles digital" – pada 2013, tepat setelah lab itu didirikan oleh miliarder Seattle dan co-founder Microsoft Paul Allen. Mereka melihat tes sains standar sebagai alternatif yang lebih bermakna dari tolok ukur AI yang khas, yang bergantung pada permainan seperti catur dan backgammon atau tugas yang dibuat semata-mata untuk mesin.

Tes sains bukanlah sesuatu yang dapat dikuasai hanya dengan mempelajari aturan. Itu membutuhkan membuat koneksi menggunakan logika. Peningkatan kebakaran hutan, misalnya, dapat membunuh tupai atau mengurangi pasokan makanan yang dibutuhkan untuk berkembang dan bereproduksi.

Antusiasme untuk kemajuan yang dibuat oleh Aristo masih marah di antara para ilmuwan yang percaya mesin jauh dari penguasaan bahasa alami sepenuhnya – dan bahkan lebih jauh dari duplikasi kecerdasan sejati.

"Kami tidak dapat membandingkan teknologi ini dengan siswa manusia nyata dan kemampuan mereka untuk bernalar," kata Jingjing Liu, seorang peneliti Microsoft yang telah mengerjakan banyak teknologi yang sama seperti Allen Institute.

Tetapi kemajuan Aristo dapat menyebar ke berbagai produk dan layanan, dari mesin pencari internet hingga sistem penyimpanan catatan di rumah sakit.

"Ini memiliki konsekuensi bisnis yang signifikan," kata Oren Etzioni, mantan profesor Universitas Washington yang mengawasi Allen Institute. "Apa yang bisa saya katakan – dengan keyakinan penuh – adalah Anda akan melihat produk generasi baru, beberapa dari startup, beberapa dari perusahaan besar."

Penelitian baru dapat mengarah pada sistem yang dapat melakukan percakapan yang layak. Tetapi itu juga bisa mendorong penyebaran informasi palsu.

"Kami berada pada tahap paling awal dari ini," kata Jeremy Howard, yang mengawasi Fast.ai, laboratorium berpengaruh lainnya, di San Francisco. "Kami sangat jauh dari potensi sehingga saya tidak bisa mengatakan di mana itu akan berakhir."

Pada 2016, ketika sebuah lab London membangun sebuah sistem yang bisa mengalahkan pemain terbaik dunia di permainan kuno Go, itu secara luas dipuji sebagai titik balik bagi kecerdasan buatan.

Namun kegembiraan Etzioni diredam. Kecerdasan buatan hampir tidak semaju kelihatannya, katanya, menunjuk ke kompetisi Allen Institute sebelumnya yang mengacaukan sistem AI dengan tes sains tingkat delapan.

Allen Institute meningkatkan upaya yang sebelumnya jauh lebih cepat daripada yang diperkirakan banyak pakar – termasuk Etzioni.

Pekerjaannya sebagian besar didorong oleh jaringan saraf, sistem matematika yang kompleks yang dapat mempelajari tugas-tugas dengan menganalisis sejumlah besar data. Dengan menunjukkan pola dalam ribuan foto anjing, misalnya, jaringan saraf dapat belajar mengenali seekor anjing.

Dalam beberapa bulan terakhir, laboratorium AI terkemuka dunia telah membangun jaringan saraf yang rumit yang dapat mempelajari keanehan bahasa dengan menganalisis artikel dan buku yang ditulis oleh manusia.

Di Google, para peneliti membangun sistem yang disebut Bert yang menyisir ribuan artikel Wikipedia dan perpustakaan digital novel roman, fiksi ilmiah, dan buku-buku lain yang diterbitkan sendiri.

Melalui menganalisis semua teks itu, Bert belajar bagaimana menebak kata yang hilang dalam sebuah kalimat. Dengan mempelajari satu keterampilan itu, Bert menyerap banyak sekali informasi tentang cara dasar bahasa dibangun. Dan peneliti dapat menerapkan pengetahuan itu untuk tugas-tugas lain.

Institut Allen membangun sistem Aristo mereka di atas teknologi Bert. Mereka memberi Bert berbagai pertanyaan dan jawaban. Belakangan, ia belajar untuk menjawab pertanyaan serupa sendiri.

Belum lama ini, para peneliti di lab mendefinisikan perilaku sistem pengambilan tes mereka satu baris kode perangkat lunak sekaligus. Kadang-kadang mereka masih melakukan pengkodean yang melelahkan. Tetapi sekarang setelah sistem dapat belajar dari data digital sendiri, ia dapat meningkat dengan kecepatan yang jauh lebih cepat.

Sistem seperti Bert – disebut "model bahasa" – sekarang menggerakkan berbagai proyek penelitian, termasuk sistem dan alat percakapan yang dirancang untuk mengidentifikasi berita palsu. Dengan lebih banyak data dan lebih banyak kekuatan komputasi, para peneliti percaya teknologi akan terus meningkat.

Tetapi Etzioni menekankan bahwa masa depan sistem ini sulit diprediksi dan bahwa bahasa hanyalah satu bagian dari teka-teki.

Liu dan rekan-rekan peneliti Microsoft telah mencoba membangun sistem yang dapat lulus Ujian Catatan Pascasarjana, tes yang diperlukan untuk masuk ke sekolah pascasarjana.

Bagian bahasa bisa dilakukan, katanya, tetapi membangun keterampilan penalaran yang diperlukan untuk bagian matematika adalah masalah lain. "Itu terlalu menantang."