Bagaimana Cara Kerja Pencarian Gambar Balik?

Gambar rata-rata Anda mungkin bernilai kurang dari seribu kata – hanya ada begitu banyak yang dapat Anda pelajari dari selfie. Tetapi kadang-kadang Anda hanya perlu tahu dari mana sebuah gambar berasal, terlepas dari berapa banyak kata yang berharga.

Untuk itu, ada mesin pencari gambar terbalik yang disediakan oleh orang-orang seperti Google, TinEye, Bing, Yandex, Pixsy, dan banyak lagi. Karena Anda tidak memberikan kata apa pun dalam permintaan Anda, bagaimana mereka tahu apa yang harus dicari? Dan, yang paling penting, bagaimana mereka menemukannya? Cara kerja setiap mesin pencari gambar terbalik bervariasi, dan mereka menjaga algoritma mereka tetap tersembunyi, tetapi ide dasarnya ada di sana dan tidak begitu sulit untuk dipahami.

Sidik jari

Gambar sebenarnya mungkin lebih unik daripada sidik jari manusia, karena kemungkinan dua gambar yang mengandung susunan piksel yang sama persis sangat kecil, sedangkan kemungkinan tabrakan sidik jari adalah sekitar 64 miliar – peluang yang relatif baik. Tapi bagaimana Anda sidik jari gambar? Langkah-langkah bervariasi tergantung pada algoritma, tetapi kebanyakan dari mereka mengikuti formula dasar yang sama.

Pertama, Anda harus mengukur fitur gambar, yang mungkin termasuk warna, tekstur, gradien, bentuk, hubungan antara potongan gambar yang berbeda, dan bahkan hal-hal seperti Fourier Transforms (metode memecah gambar menjadi sinus dan cosinus).

Katakanlah kita sedang mencari gambar berikut dan kita perlu sidik jarinya.

Untuk melakukan itu, kami mungkin, antara lain, menggunakan histogram warna gambar, Transformasi Fourier, dan peta tekstur, yang masing-masing dapat Anda lihat di bawah.

Jika gambar diubah ukurannya, dikaburkan, diputar, atau dimanipulasi, akan ada sejumlah algoritma yang menggunakan fitur di atas dan lainnya untuk mencoba menemukan hit.

Pengkodean, penyimpanan, dan pencarian

Setiap fitur gambar dalam sidik jari dapat dikodekan sebagai string huruf dan angka, yang mudah disimpan dan diindeks dalam database. Apa pun kombinasi fitur yang diekstraksi dan disimpan akan menjadi entri mesin pencari gambar terbalik untuk gambar itu. Basis data TinEye, misalnya, mengandung sekitar 39,6 miliar gambar yang diindeks pada Februari 2020, yang berarti mereka menjalankan algoritme mereka di atas banyak gambar dan menyimpan semua sidik jari itu untuk membandingkan gambar yang dicari.

Bagian utama kedua dari algoritma ini adalah mencari tahu gambar mana yang mirip. Saat Anda mengunggah gambar, itu akan melalui algoritma sidik jari mesin pencari gambar terbalik. Mesin pencari kemudian akan mencoba untuk menemukan entri dengan sidik jari terdekat, disebut sebagai "jarak gambar." Menentukan faktor mana yang harus dibandingkan dan bagaimana bobotnya juga tergantung pada masing-masing mesin pencari, tetapi sebagian besar bertujuan untuk menemukan jarak gambar total sedekat mungkin dengan nol.

Bagaimana dengan pembelajaran mesin / AI?

Berkat teknik sidik jari / pengindeksan yang dijelaskan di atas, pencarian gambar terbalik cukup bagus bahkan sebelum praktis untuk menerapkan AI padanya. Karena AI sangat baik dalam memproses gambar, hal-hal seperti convolutional neural networks (CNNs) kemungkinan besar digunakan oleh banyak mesin pencari utama untuk membantu mengekstraksi dan memberi label fitur. Google, misalnya, dapat menggunakan CNN dalam pencarian gambar terbalik, yang memungkinkannya untuk menghasilkan kata kunci yang mungkin untuk gambar dan menghasilkan web dan hasil gambar yang relevan, seperti yang mereka lakukan di Foto Google untuk beberapa waktu sekarang.

Ini membutuhkan pencarian gambar terbalik, langkah di atas ekstraksi fitur sederhana dan jarak gambar. Jaringan saraf convolutional pada dasarnya menjalankan gambar melalui beberapa filter yang memetakan beberapa jenis fitur, kemudian mencoba untuk mengklasifikasikannya berdasarkan pelatihan sebelumnya. Itu penyederhanaan yang berlebihan, tentu saja, tetapi cukup untuk mengatakan bahwa CNN membuat pencarian gambar jauh lebih akurat dan bermanfaat dan mungkin sedang diterapkan bersamaan dengan metode sidik jari visi komputer yang lebih lama.

Apa mesin pencari gambar terbalik terbaik?

Algoritme yang berbeda berarti mesin pencari gambar yang bagus untuk hal-hal yang berbeda, meskipun semuanya pada akhirnya bertujuan pada target yang sama: menemukan kecocokan untuk gambar yang Anda unggah. gambar-gambar Google memiliki hit rate yang cukup baik, misalnya, tetapi melakukan banyak "tebakan terbaik," yang memberi Anda banyak foto yang mirip tetapi tidak identik. Itu bagus jika Anda mencari suasana hati atau kategori umum, tetapi mesin suka TinEye jauh lebih fokus untuk menemukan gambar yang identik, bahkan jika mereka sangat diedit, dan bahkan dapat mengidentifikasi gambar dalam foto, yang membuatnya sedikit lebih baik jika Anda membutuhkan kecocokan yang tepat.

Mesin pencari Rusia Yandex juga terkenal memiliki alat pencarian gambar yang sangat baik, meskipun mungkin diprediksi cenderung melakukan yang terbaik pada topik Rusia. Alat-alat seperti Pixsy dan ImageRaider berfokus pada mengidentifikasi contoh penggunaan yang tidak sah, sehingga mereka cenderung menyertakan lebih banyak fitur seperti peringatan dan fokus pada pemantauan perpustakaan foto pengguna.

Karena algoritme berubah sepanjang waktu dan umumnya dikunci, ada baiknya memeriksa beberapa mesin yang berbeda jika tidak ada yang mengembalikan hasil yang Anda inginkan.

Kredit gambar: Uap dari jalan Kota New York, Ikon basis data-DB

Apakah artikel ini bermanfaat? Ya Tidak