Jesteśmy gotowi do wielkiego starcia między dwoma potężnymi platformami komputerycznymi w dziedzinie lokalnej sztucznej inteligencji. Nie będziemy się opierać na marketingowych bajkach ani opinii znanych z internetu, lecz skupimy się wyłącznie na realnych wynikach naszych pomiarów.
Specyfikacja testowanych maszyn
Pierwszym naszym przeciwnikiem jest Mac Studio wyposażony w imponujące 512 gigabajtów pamięci unifikowanej. Drugim zestawem jest potężny komputer PC z kartą graficzną NVIDIA RTX 6000 Pro Blackwell oferującą aż 96 GB VRAM.
Oba urządzenia teoretycznie powinny poradzić sobie z największymi modelami językowymi, jednak musimy sprawdzić, które z nich sprawdzą się w praktyce. Nasz test będzie obejmował nie tylko prędkość generowania tekstu, ale także stabilność działania i obsługę dużych kontekstów.
Ujednolicony stos oprogramowania
Aby wyniki były porównywalne, używamy tego samego środowiska OLAM oraz interfejsu Open Web UI. Wszystkie modele, prompty i scenariusze pracy są identyczne na obu platformach.
Czy pamięć unifikowana to rewolucja?
Wiele osób twierdzi, że architektura Maca jest absolutną przewagą w lokalnej AI. Inni natomiast podkreślają kluczową rolę kart graficznych NVIDIA i technologii CUDA. W tym materiale udowodnimy, które z tych opinii ma rację.
Rola pamięci unifikowanej
Pamięć unifikowana pozwala na elastyczne wykorzystanie zasobów RAM zarówno przez procesor, jak i jednostkę graficzną. To ważna cecha Maca, która może zmienić grę w lokalnej pracy z modelami językowymi.
Proces testowania
Zacznijmy od uruchomienia naszego środowiska Proxmox oraz maszyny Docker LLM gotowej do natychmiastowego użycia. Połączymy się z terminalami obu komputerów, aby monitorować działanie modeli OLAMA w czasie rzeczywistym.
Interfejs Open Web UI
Nasz interfejs został zaprojektowany tak, by przypominał popularne czaty GPT. Jest to narzędzie pozwalające na swobodną zabawę z modelami językowymi i dostosowanie środowiska do własnych potrzeb.