AppleIPhone 12 mungkin memiliki fitur perekaman audio 3D yang menakjubkan ini

Berkat chip seri-A terbaru dengan neuron bawaan, Apple mampu menerapkan banyak teknik pembelajaran mesin canggih yang benar-benar cerdas ke fotografi komputasi, memungkinkan iPhone menghasilkan hasil fotografi dengan kualitas yang jauh lebih baik daripada perangkat keras kamera secara keseluruhan. Fitur seperti mode malam baru dan Deep Fusion adalah contoh terbaik dari hal ini, tetapi ini benar-benar dimulai dengan mode potret yang diperkenalkan pada awal 2016 dengan iPhone 7 Plus dan terus menerangi kaki, gunakan tahun depan.

Tak perlu dikatakan, Apple dapat melakukan beberapa hal luar biasa dengan foto Anda, dan sekarang sepertinya perusahaan siap untuk mengatasi tantangan yang sama dalam merekam dengan pembelajaran mesin untuk meningkatkan audio 3D agar dapat mengikuti 4K yang menakjubkan. Video seperti yang sudah dapat direkam iPhone.

Aplikasi paten baru muncul dari Patently Apple menjelaskan metode baru yang disebut “Perekaman Bias Spasial untuk Perekaman Video Bilateral” yang memungkinkan Apple untuk mengambil rekaman audio dari beberapa mikrofon di iPhone Anda dan kemudian menjalankannya melalui algoritme AI canggih yang akan mereproduksi adegan suara secara akurat, sehingga Anda merasa benar-benar ada dan tenggelam dalam pengalaman.

Rekaman binaural

Untuk lebih jelasnya, teknologi itu sendiri bukanlah hal baru – perekaman binaural telah ada selama beberapa dekade, tetapi biasanya menggunakan mikrofon ganda (“bi” dalam “binaural”) untuk meniru telinga manusia normal di mana. Dalam konfigurasi ini, setiap mikrofon mengambil perbedaan kecil dalam suara, seperti yang dilakukan telinga Anda di dunia nyata, dan kemudian dicampur untuk menciptakan gambar suara yang lebih realistis. Beberapa sistem perekaman binaural bahkan telah melangkah lebih jauh dengan benar-benar menggunakan model fisik telinga manusia untuk mencerminkan bagaimana suara sebenarnya masuk dan melewati saluran audio untuk tingkat realisme yang lebih tinggi.

Jadi apa yang sangat menarik tentang pendekatan .? Apple Bukannya berencana untuk menawarkan perekaman binaural – dengan pengaturan mikrofon yang tepat yang dapat dilakukan oleh siapa saja – melainkan untuk menemukan cara melakukannya melalui pembelajaran mesin multi-mikrofon dengan cara pengaturan yang lebih ketat.

Bahkan, menurut paten, Apple menyarankan bahwa audio tidak hanya akan dianalisis dari beberapa mikrofon, tetapi cuplikan video yang diambil dari kamera dua lensa juga akan digunakan untuk membuat model komputasi lingkungan. Dengan kata lain, Neural Engine dapat menganalisis cahaya dan memetakan kedalaman untuk menentukan ukuran ruangan dan kedekatannya dengan objek yang biasanya memantulkan suara dalam beberapa cara.

Rekaman audio 3D

Sangat mudah untuk membayangkan ini digunakan dalam aplikasi Augmented Reality, terutama untuk mendukung headset AR kami yang akan datang. Apple, Apple Faktanya, paten tersebut mengungkapkan bahwa rekaman audio 3D penuh telah diproses untuk tujuan AR, menggunakan rendering spasial melalui metode yang disebut Head-Related Transfer Function (HRTF). . Tetapi metode ini dirancang untuk memodifikasi sinyal untuk memungkinkan jenis pemosisian spasial yang biasa digunakan dalam game VR — pada dasarnya fitur yang memungkinkan Anda mendengar suara dari sudut yang berbeda.

Meskipun perekaman audio 3D penuh baik-baik saja untuk aplikasi VR, itu benar-benar mengganggu ketika Anda hanya melihat rekaman video tradisional ketika itu menjadi sangat realistis. Rekaman binaural, yang mensimulasikan cara telinga Anda biasanya mendengar suara, tampaknya menjadi titik manis antara rekaman stereoponik tradisional dan suara 3D posisional yang ekstrem.

Jika ini terdengar seperti proyek ambisius, itu karena memang demikian. Jelas ada banyak variabel untuk itu Apple yang perlu dipertimbangkan di sini akan melampaui apa yang dapat ditangkap iPhone, dan algoritme yang diperlukan untuk membuat panggung suara 3D akan setara dengan beberapa sistem pengenalan suara paling canggih. Bagaimanapun, Insinyur AppleMachine telah mengerjakan keajaiban yang cukup keren dengan kamera iPhone, jadi ini bukan masalah yang tidak dapat diatasi dengan cara apa pun.

Tentu saja, seperti semua paten yang kita lihat dari Applehanya dengan adanya aplikasi paten untuk sebuah ide tidak berarti kita akan melihatnya dalam produk nyata, tetapi memberikan beberapa wawasan menarik tentang beberapa hal yang Apple Pikirkan tentang itu, dan tampaknya cocok dengan banyak ambisi perusahaan saat ini.