Facebook mencoba mengembangkan AI baru untuk mendeteksi ujaran kebencian dalam meme

Ini bukan pertama kalinya kami mendengar tentang penyusupan Facebook di dunia teknologi besar. Pengumuman terbarunya berjalan seiring dengan publikasi penelitian yang dilakukan pada berbagai program kecerdasan buatan dan pembelajaran mendalam.

Di dalamnya, mereka menunjukkan perbandingan antara kemampuan manusia dan program-program yang berbeda untuk mendeteksi pesan-pesan bermusuhan. Demikian pula, mereka membangun database yang tidak hanya menjalankan tes, tetapi juga melatih program masa depan untuk membuatnya lebih efisien.

Selain menerbitkan investigasi, penulis Douwe Kiela, Hamed Firooz, Aravind Mohan, Vedanuj Goswami, Amanpreet Singh, Pratik Ringshia, dan Davide Testuggine juga merilis komentar di mana mereka memberikan penjelasan yang lebih luas tentang penelitian mereka dan artinya. Satu yang pada gilirannya dilengkapi dengan blog lain di mana peneliti lain mengomentarinya.

Riset Facebook

Untuk memulai penelitian, para peneliti memiliki jutaan foto dan meme yang disediakan oleh mereka Facebook telah dihapus dari platform mereka sebagai tidak pantas. Setelah menghapusnya dengan pornografi eksplisit dari daftar, jumlahnya dikurangi menjadi lebih dari 120.000 gambar.

Mereka kemudian melalui proses seleksi di mana kekhususan dan kejelasan ini menjadi pertimbangan untuk dimasukkan atau tidak dimasukkan dalam database. Terakhir, daftar meme dengan contoh pesan kebencian mencakup 10.000 gambar.

Pemesinan multi-modal

Penelitian komparatifnya telah mengukur kemampuan pembelajaran mesin dan pembelajaran mendalam dari dua perspektifnya: model unimodal paling modern dan model multimodal. Mantan pengulas memberikan analisis mereka elemen unik dari konten yang mereka analisis.

Model multimodal, di sisi lain, dapat memotong dua elemen berbeda dengan konten yang sama. Misalnya, teks dan gambar di atas dapat diambil secara individual. Secara terpisah, mereka akan dianggap tidak berbahaya, tetapi bersama-sama pesannya berubah dan “sakit”.

kereta

Para peneliti memberi makan program gambar dan teks yang tidak berbahaya yang konten gabungannya membuatnya menjengkelkan dan sebaliknya – yaitu, elemen yang mungkin dianggap menjengkelkan, umumnya menjadi positif. Dengan cara ini, mereka berharap dapat mengukur seberapa efektif suatu program dengan menentukan seberapa pantas atau tidak pantas konten ketika pesan yang bertentangan disajikan.

Dengan data yang diperoleh, mereka juga berhasil membangun database 10.000 gambar yang dapat digunakan untuk melatih program baru dan meningkatkan kemampuan pemrosesannya.

Mengapa penulis tidak menunjukkan meme yang digunakan?

Meme-meme semacam itu menggunakan referensi yang menghina topik-topik seperti etnis, agama, atau gender seseorang sebagai tanda ejekan. Untuk mencegah konten ini menyebar lebih jauh, para peneliti membuat persamaan dengan gambar di atas di mana gambar binatang digunakan untuk mengekspresikan sifat pesan kebencian tanpa merujuk langsung ke meme asli.

Tetap, Facebook Itu masih memiliki database asli dan tersedia di GitHub bagi mereka yang ingin mengunduhnya. Tapi syaratnya jelas, itu hanya digunakan sebagai cara untuk melatih AI lain dan reproduksi kontennya tidak boleh dipromosikan.

Masih banyak ruang untuk perbaikan

Para penulis percaya penelitian mereka, telah menunjukkan bahwa pikiran manusia mendeteksi “kejahatan” pesan dengan keamanan 84,7% dibandingkan dengan rata-rata 64,73% di seluruh model. AI teratas bukanlah titik putus asa.

Faktanya, ini hanya menunjukkan bahwa masih ada banyak ruang untuk perbaikan. Mereka akhirnya menentukan bahwa model multimodal setidaknya 10% lebih efektif dalam mendeteksi pesan “buruk” dalam meme daripada model yang tidak ortodoks.

Jadi langkah selanjutnya adalah mulai mengerjakan ini untuk lebih meningkatkan kemampuan mereka. Mereka juga berharap untuk segera mengubah sistem deteksi mereka sendiri. Facebook yang sekarang tidak ortodoks. Dengan cara ini, platform dapat melihat keuntungan dalam durasi studi yang singkat. Manfaat jangka panjang akan terlihat ketika lebih banyak penelitian muncul untuk menjembatani kesenjangan antara kemampuan manusia dan AI.

Referensi:

Tantangan Memes Kebencian: Temukan pidato kebencian dalam meme multimodal: arXiv: 2005.04790