Algoritma Google TurboQuant Mengurangkan Penggunaan Memori LLM Sehingga 6X

Apakah masalah dengan model bahasa raya semasa? Parameter semakin besar memerlukan memori yang tinggi yang seterusnya menyebabkan berlaku kekurangan cip memori serta storan di peringkat global. Kesannya sekarang peranti menjadi semakin mahal. Google baru sahaja mengumumkan TurboQuant yang merupakan algoritma mampatan baharu yang mengurangkan penggunaan memori LLM sehingga 6 kali ganda dan menjanjikan kelajuan 8 […]