CEVA Mengumumkan IPN NN Generasi Kedua NeuPro-S

Sudah beberapa tahun sejak pembelajaran mesin dan jaringan saraf pertama kali mulai menjadi topik berita baru yang panas. Sejak saat itu, pasar telah mengubah banyak dan banyak perusahaan dan industri secara keseluruhan telah bergeser dari gagasan "apa yang bisa kita lakukan dengan ini" menjadi narasi "ini berguna, kita harus benar-benar memilikinya ” Meskipun pasar jauh dari matang, itu tidak lagi pada tahap liar-barat awal yang kita lihat beberapa tahun yang lalu.

Perkembangan penting dalam industri ini adalah bahwa ada banyak vendor silikon yang telah memilih untuk mengembangkan IP mereka sendiri alih-alih melisensikan hal-hal – dalam arti vendor IP sedikit di belakang kurva dalam hal benar-benar menawarkan solusi, memaksa -perkembangan rumah agar produk mereka tidak ketinggalan dalam daya saing.

Hari ini, CEVA mengumumkan generasi baru akselerator jaringan saraf NeuPro, NeuPro-S baru. Penawaran baru ini meningkatkan dan meningkatkan kemampuan yang terlihat pada generasi pertama, dengan CEVA juga meningkatkan fleksibilitas vendor dan penawaran produk baru yang mencakup kenyataan bahwa berbagai vendor sekarang memiliki IP internal sendiri.

NeuPro-S adalah penerus langsung untuk IP NeuPro generasi pertama tahun lalu, meningkatkan arsitektur dan mikroarsitektur. Peningkatan inti dari generasi baru terletak pada cara blok sekarang meningkatkan dan menangani memori, termasuk kompresi baru dan dekompresi data. CEVA mengutip angka-angka seperti 40% mengurangi jejak memori dan penghematan bandwidth, semuanya sekaligus memungkinkan penghematan efisiensi energi hingga 30. Secara alami ini juga memungkinkan peningkatan kinerja, mengklaim kinerja puncak hingga 50% lebih tinggi dalam konfigurasi perangkat keras yang sama dengan generasi pertama.

CEVA Mengumumkan IPN NN Generasi Kedua NeuPro-S 1

Menyelam lebih dalam ke perubahan mikroarsitektur, inovasi dari generasi baru termasuk kompresi berat baru serta optimisasi jaringan sparsity. Data bobot dilatih ulang dan dikompresi melalui CDNN melalui kompiler offline CEVA dan tetap dalam bentuk terkompresi dalam memori utama alat berat – dengan NeuPro-S yang melakukan dekompresi secara real time melalui perangkat keras.

CEVA Mengumumkan IPN NN Generasi Kedua NeuPro-S 2

Intinya, kompresi dan optimalisasi sparsity baru mirip dengan apa yang dilakukan Arm dalam Prosesor ML mereka dengan pemangkasan nol-berat pada model. CEVA selanjutnya menampilkan faktor-faktor tingkat kompresi yang dapat dicapai – dengan faktor tergantung pada% dari bobot nol serta berat bit berbagi kedalaman. Pembagian berat adalah pengoptimalan lebih lanjut dari kompresi offline model yang mengurangi jejak sebenarnya dari data bobot dengan berbagi menemukan kesamaan dan membaginya satu sama lain. Faktor kompresi di sini berkisar dari 1.3-2.7x dalam kasus terburuk dengan sedikit peningkatan sparsity hingga 5.3-.7x dalam model dengan jumlah bobot nol yang signifikan.

Optimasi lebih lanjut pada tingkat subsistem memori mencakup penggandaan antarmuka internal dari antarmuka 128-bit AXI ke antarmuka 256-bit, memungkinkan bandwidth yang lebih mentah antara sistem, prosesor CEVA XM dan mesin pengolah NeuPro-S. Kami juga melihat peningkatan cache internal, dan CEVA menjelaskan pemanfaatan memori L2 telah dioptimalkan oleh penanganan perangkat lunak yang lebih baik.

CEVA Mengumumkan IPN NN Generasi Kedua NeuPro-S 3

Dalam hal penskalaan keseluruhan arsitektur, NeuPro-S tidak secara mendasar berubah dibandingkan dengan pendahulunya. CEVA tidak memiliki batasan mendasar di sini dalam hal implementasi produk dan mereka akan membangun RTL berdasarkan kebutuhan pelanggan. Yang penting di sini adalah bahwa ada gagasan tentang kluster dan unit pemrosesan dalam kluster. Cluster independen satu sama lain dan tidak dapat bekerja pada tugas perangkat lunak yang sama – pelanggan akan mengimplementasikan lebih banyak cluster hanya jika mereka memiliki banyak beban kerja paralel pada sistem target mereka – misalnya ini akan masuk akal dalam implementasi otomotif dengan banyak aliran kamera, tetapi belum tentu melihat manfaat dalam sistem seluler. Definisi cluster agak aneh dan tidak begitu jelas apakah itu sebenarnya jenis pembatasan perangkat keras, atau lebih mungkin definisi operasi perangkat lunak dari blok interkoneksi koheren yang berbeda (Karena semuanya masih terhubung melalui AXI).

Dalam sebuah cluster, blok wajib adalah visi XM6 dan prosesor vektor serba guna CEVA. Ini berfungsi sebagai prosesor kontrol sistem dan menangani tugas-tugas seperti aliran kontrol dan pemrosesan lapisan yang terhubung sepenuhnya. CEVA mencatat bahwa pemrosesan model ML dapat diproses sepenuhnya secara independen oleh sistem NeuPro-S, sedangkan mungkin IP lain masih harus bergantung pada mungkin CPU untuk pemrosesan beberapa lapisan.

Mesin NeuPro-S secara alami adalah mesin pengolah MAC yang menambah tenaga kuda mentah untuk pemrosesan paralel yang lebih luas dan mencapai angka TOPS yang tinggi. Vendor membutuhkan minimal rasio 1: 1 XM untuk mesin NeuPro, namun ia dapat memilih untuk menggunakan lebih banyak prosesor XM yang mungkin melakukan tugas penglihatan komputer terpisah.

CEVA Mengumumkan IPN NN Generasi Kedua NeuPro-S 4

CEVA memungkinkan memungkinkan penskalaan ukuran mesin MAC di dalam satu blok NeuPro-S, yang berkisar dari 1024 8×8 MAC hingga 4096 MAC. Perusahaan juga memungkinkan untuk pemrosesan bit-kedalaman yang berbeda, misalnya memungkinkan 16×16 karena masih melihat kebutuhan untuk beberapa kasus penggunaan yang mengambil keuntungan dari format 16-bit presisi yang lebih tinggi. Ada juga konfigurasi format campuran seperti 16×8 atau 8×16 di mana data dan presisi berat dapat bervariasi.

Secara total, satu mesin NeuPro-S dalam konfigurasi maksimumnya (NPS4000, 4096 MACs) dikutip mencapai hingga 12,5 TOPS pada clock referensi 1,5GHz. Secara alami frekuensinya akan bervariasi berdasarkan implementasi dan simpul proses yang akan digunakan pelanggan.

CEVA Mengumumkan IPN NN Generasi Kedua NeuPro-S 5

Seperti yang akan dicatat oleh beberapa orang di diagram blok sebelumnya, CEVA juga sekarang memungkinkan integrasi mesin AI pihak ketiga ke dalam tumpukan perangkat lunak CDNN mereka dan untuk beroperasi dengan mereka. CEVA menyebut ini "Undangan CDNN", dan pada dasarnya perusahaan di sini mengakui keberadaan berbagai akselerator AI kustom yang telah dikembangkan oleh berbagai vendor silikon.

CEVA ingin menyediakan kompiler dan perangkat lunak mereka yang ada dan komprehensif untuk vendor dan memungkinkan mereka untuk plug-in akselerator NN mereka sendiri. Banyak vendor yang memilih untuk menempuh rute mereka sendiri kemungkinan tidak memiliki pengalaman perangkat lunak yang cukup luas atau tidak memiliki sumber daya yang cukup banyak mengembangkan perangkat lunak, dan CEVA ingin memungkinkan klien tersebut dengan penawaran baru.

CEVA Mengumumkan IPN NN Generasi Kedua NeuPro-S 6

Sementara NeuPro-S akan tetap menjadi pilihan fantastis untuk kapabilitit NN generik, CEVA mengakui bahwa mungkin ada akselerator khusus di luar sana yang sangat dioptimalkan untuk tugas-tugas spesifik tertentu, mencapai kinerja atau efisiensi yang lebih tinggi. Vendor dengan demikian dapat memiliki yang terbaik dari kedua dunia dengan memiliki tingkat fleksibilitas yang tinggi, baik dalam perangkat lunak maupun perangkat keras. Seseorang dapat memilih untuk menggunakan NeuPro-S sebagai mesin akselerator, hanya menggunakan IP mereka sendiri, atau membuat sistem dengan kedua unit. Satu-satunya persyaratan di sini adalah prosesor XM diimplementasikan sebagai minimum.

CEVA mengklaim NeuPro-S tersedia hari ini dan telah dilisensikan untuk memimpin pelanggan dalam aplikasi kamera otomotif. Seperti biasa, produk silikon kemungkinan 2 tahun lagi.

Bacaan terkait:

Pos terkait

Back to top button