Versi Large Languange Model Tongyi Qianwen atau Qwen parameter 1,8 miliar dan 4 miliar dari Alibaba Cloud diklaim sudah bisa berjalan di chipset premium generasi ketiga MediaTek yaitu Dimensity 9300 dan Dimensity 8300.
Hal ini memungkinkan smartphone yang mengandalkan chipset MediaTek tersebut mampu menjalakan tugas dan menghadirkan kemampuan berbasis AI bahkan saat tidak terhubung ke internet.
AI Generatif, yang sebelumnya hanya dapat diakses melalui pusat data, kini bisa hadir langsung di smartphone. Gartner memperkirakan bahwa hingga akhir 2024, akan ada 240 juta smartphone dengan GenAI dan 54,5 juta PC dengan AI yang akan didistribusikan.
Kehadiran smartphone dengan AI Generatif diklaim akan mencakup 22 persen dari segmen atau kelas biasa, menengah, dan premium serta 22 persen dari semua PC di tahun 2024.
“Kami melihat minat yang meningkat dari banyak perusahaan untuk menggunakan LLMs
berukuran lebih kecil ke dalam gawai, untuk mendorong aplikasi AI generatif,” ungkap kata Xu Dong, Head of Business Development di Qwen team.
“Melalui kemitraan dengan MediaTek, kami ingin memberikan lebih banyak kesempatan kepada para pengembang untuk bisa menciptakan aplikasi AI yang inovatif dan mudah digunakan supaya pengguna di seluruh dunia bisa merasakan manfaat dari AI Generatif,” ujarnya.
Alibaba Cloud telah menyediakan versi open source dari LLM dengan parameter 1,8 miliar,
Qwen-1.8B, awal tahun lalu. Versi tersebut dioptimalkan untuk perangkat yang lebih kecil dan dengan kebutuhan daya komputasi yang lebih sedikit untuk dijalankan.
Hasilnya, memungkinkan aplikasi yang didukung oleh LLM berjalan di ponsel pintar dengan
keterbatasan atau tanpa koneksi jaringan. Tantangan yang dijumpai Alibaba Cloud adalah menghadirkan kompatibilitas yang muncul akibat perbedaan hardware, software, dan protokol komunikasi atau jaringan sehingga mereka menggandeng MediaTek.
Bekal chipset dari MediaTek Dimensity 9300, versi model Qwen dengan parameter 1,8 miliar bisa mencapai kinerja terdepan di industri dan sanggup menggunakan kurang dari 30% CPU dan 2GB RAM dalam proses inferensi AI sambil mencapai lebih dari 20 token per detik.
Selain itu konsumsi daya dalam proses inferensi kurang dari 3 watt, memberikan peningkatan kinerja dalam tugas AI tanpa mengorbankan efisiensi energi.Ke depannya pencapaian kedua perusahaan ini diyakini akan mendorong adopsi AI Generatif lebih pesat di perangkat smartphone.
Cek Berita dan Artikel yang lain di
Google News
