NVIDIA, bilgisayarda yerel olarak çalışan bir sohbet robotu olan “RTX ile Sohbet” programını kısa süre önce kullanıma sundu. Doğru grafik kartına sahip olmanız koşuluyla belgelerinizi sıralamanıza veya YouTube videolarını özetlemenize yardımcı olabilir.
NVIDIA'nın GeForce RTX'i esas olarak oyun oynamak için kullanılıyor ve kullanımları giderek artıyor. Her durumda şirket, DLSS'yi yönetmek için yalnızca GPU'ların Tensor çekirdeklerinden yararlanmıyor (Derin Öğrenme Süper Örnekleme), AI aşırı örnekleme teknolojisi. Kaliforniyalı çip devi, grafik kartlarını birkaç alanda daha kullanmak istiyor.
GeForce yazılım ekosistemi bu nedenle klasik ürün yelpazesine çeşitli eklemeler içerir: ses alışverişleriyle ilgili her şey için RTX Voice; RTX Video Süper Çözünürlüğünün yanı sıra RTX Video HDR'yi içeren RTX Video, aşırı örnekleme ve SDR akışlarını akış için HDR'ye dönüştürme teknolojilerini içerir. Bugün buna “RTX ile Sohbet” programı da eklendi. Geçen Ocak ayında sunulan ürün, artık denemeye hazır.
Yerel bir sohbet robotu
“RTX ile Sohbet”, bilgisayarda yerel olarak çalışan bir yapay zeka sohbet robotudur. İki ana kaynak tarafından desteklenir: NVIDIA TensorRT-LLM ve RAG (Alma-Artırılmış Nesil). Basitçe söylemek gerekirse ilki, GeForce RTX'in yapay zeka çıkarım performansını çok sayıda dil modeliyle artırmak için tasarlanmış açık kaynaklı yazılımdır. İkincisi, dış verileri kullanarak üretken yapay zeka modellerinin doğruluğunu ve güvenilirliğini artırmak için kullanılan bir tekniktir.
“RTX ile Sohbet”, Mistral AI veya Llama 2'nin yeteneklerinden yararlanır. YouTube'a ve elbette makinenizdeki çeşitli dosyalara erişebilir. Aşağıdaki sunum videosunda NVIDIA, verilerinizin bilgisayarınızdan ayrılmamasını sağlıyor. Bu aynı zamanda şirketin öne sürdüğü bir argüman. “RTX ile Sohbet”in, hassas verilerin bir PC üzerinde, üçüncü bir tarafla paylaşmaya gerek kalmadan ve internet bağlantısına ihtiyaç duymadan yerel olarak işlenmesine olanak tanıdığını vurguluyor. Bulut tabanlı LLM hizmetlerinin tam tersi bir yaklaşım.
Zaten oldukça işlevsel
Şirketin sırayla gösterdiği birkaç örneğe ek olarak, Tom Warren Sınır kendi deneylerini yaptı. Chatbot'un yerel dosyaları aramak ve özetlemek için çok işlevsel olduğunu doğruluyor. Meslektaşımız, Microsoft'a karşı açılan FTC davasıyla ilgili olarak bilgisayarında saklanan ve “RTX ile Sohbet”in birkaç saniye içinde önemli bilgileri bulduğu belge paketi örneğini veriyor.
Öte yandan Tom Warren'a göre YouTube'daki videolara uygulanan araştırmalar bazen daha az ikna edici oluyor. Son olarak, chatbotun bağlam belleğine sahip olmadığını ve JSON dosyalarını indekslenmiş klasörler halinde dağıttığını belirtiyor.
“RTX ile Sohbet” şimdilik yalnızca demo olarak sunulduğu için dramatik bir şey yok. Öte yandan kısıtlayıcı bir demo, çünkü en az 8 GB VRAM'e sahip GeForce RTX 30 ve RTX 40 ile sınırlı olduğundan yakın zamanda piyasaya sürülen GeForce RTX 3050 6 GB bu nedenle uygun değil. Son olarak, bilgisayarın Windows 11 çalıştırıyor olması gerekir.
Nvidia
NVIDIA'nın GeForce RTX'i esas olarak oyun oynamak için kullanılıyor ve kullanımları giderek artıyor. Her durumda şirket, DLSS'yi yönetmek için yalnızca GPU'ların Tensor çekirdeklerinden yararlanmıyor (Derin Öğrenme Süper Örnekleme), AI aşırı örnekleme teknolojisi. Kaliforniyalı çip devi, grafik kartlarını birkaç alanda daha kullanmak istiyor.
GeForce yazılım ekosistemi bu nedenle klasik ürün yelpazesine çeşitli eklemeler içerir: ses alışverişleriyle ilgili her şey için RTX Voice; RTX Video Süper Çözünürlüğünün yanı sıra RTX Video HDR'yi içeren RTX Video, aşırı örnekleme ve SDR akışlarını akış için HDR'ye dönüştürme teknolojilerini içerir. Bugün buna “RTX ile Sohbet” programı da eklendi. Geçen Ocak ayında sunulan ürün, artık denemeye hazır.
Yerel bir sohbet robotu
“RTX ile Sohbet”, bilgisayarda yerel olarak çalışan bir yapay zeka sohbet robotudur. İki ana kaynak tarafından desteklenir: NVIDIA TensorRT-LLM ve RAG (Alma-Artırılmış Nesil). Basitçe söylemek gerekirse ilki, GeForce RTX'in yapay zeka çıkarım performansını çok sayıda dil modeliyle artırmak için tasarlanmış açık kaynaklı yazılımdır. İkincisi, dış verileri kullanarak üretken yapay zeka modellerinin doğruluğunu ve güvenilirliğini artırmak için kullanılan bir tekniktir.
“RTX ile Sohbet”, Mistral AI veya Llama 2'nin yeteneklerinden yararlanır. YouTube'a ve elbette makinenizdeki çeşitli dosyalara erişebilir. Aşağıdaki sunum videosunda NVIDIA, verilerinizin bilgisayarınızdan ayrılmamasını sağlıyor. Bu aynı zamanda şirketin öne sürdüğü bir argüman. “RTX ile Sohbet”in, hassas verilerin bir PC üzerinde, üçüncü bir tarafla paylaşmaya gerek kalmadan ve internet bağlantısına ihtiyaç duymadan yerel olarak işlenmesine olanak tanıdığını vurguluyor. Bulut tabanlı LLM hizmetlerinin tam tersi bir yaklaşım.
Zaten oldukça işlevsel
Şirketin sırayla gösterdiği birkaç örneğe ek olarak, Tom Warren Sınır kendi deneylerini yaptı. Chatbot'un yerel dosyaları aramak ve özetlemek için çok işlevsel olduğunu doğruluyor. Meslektaşımız, Microsoft'a karşı açılan FTC davasıyla ilgili olarak bilgisayarında saklanan ve “RTX ile Sohbet”in birkaç saniye içinde önemli bilgileri bulduğu belge paketi örneğini veriyor.
Öte yandan Tom Warren'a göre YouTube'daki videolara uygulanan araştırmalar bazen daha az ikna edici oluyor. Son olarak, chatbotun bağlam belleğine sahip olmadığını ve JSON dosyalarını indekslenmiş klasörler halinde dağıttığını belirtiyor.
“RTX ile Sohbet” şimdilik yalnızca demo olarak sunulduğu için dramatik bir şey yok. Öte yandan kısıtlayıcı bir demo, çünkü en az 8 GB VRAM'e sahip GeForce RTX 30 ve RTX 40 ile sınırlı olduğundan yakın zamanda piyasaya sürülen GeForce RTX 3050 6 GB bu nedenle uygun değil. Son olarak, bilgisayarın Windows 11 çalıştırıyor olması gerekir.
Kaynak :01net'ten hiçbir haberi kaçırmamak için bizi Google Haberler ve WhatsApp'tan takip edin.
Nvidia