Jesteśmy na starcie wielkiego pojedynku w świecie lokalnej sztucznej inteligencji, gdzie zmierzymy dwa zupełnie różne podejścia do sprzętu. Po jednej stronie stoi Mac Studio z 512 GB pamięci unifikowanej, a po drugiej PC z dedykowaną kartą graficzną NVIDIA RTX 6000 Pro Blackwell oferującą 96 GB VRAM. Oba urządzenia teoretycznie obsługują największe modele, ale musimy dowiedzieć się, które z nich sprawdza się w praktyce.
Dlaczego ten test jest tak ważny?
Otoczenie lokalnej AI pełne jest mitów i sprzecznych opinii. Niektórzy twierdzą, że pamięć unifikowana w Macu to absolutna rewolucja, podczas gdy inni są przekonani, że bez NVIDIA i CUDA nie ma sensu mówić o poważnej pracy z modelami. Problem w tym, że większość tych poglądów opiera się na narracjach innych osób, a nie na realnych doświadczeniach.
Nasza metodologia testowa
W tym materiale bierzemy pod uwagę dwa konkretne, potężne zestawy i testujemy je tak, jak to wygląda w prawdziwej pracy. Używamy tego samego stosu OLAM, tego samego Open Web UI, tych samych modeli, tych samych promptów i tych samych scenariuszy. Sprawdzamy nie tylko prędkość generowania tekstu, ale także stabilność działania, obsługę dużych kontekstów oraz momenty, od których sprzęt zaczyna się throttlingować.
Poznanie naszych bohaterów
Zanim zaczniemy, przybliżamy szczegóły naszych maszyn. Pierwszym zestawem jest Mac Studio, który nosi imię pradziadka i służy jako maszyna do demonstracji. Drugim zestawem jest PC zbudowany specjalnie dla AI, który również posiada zainstalowane środowisko OLAM. Oba komputery są podłączone do naszej maszyny Proxmox, gdzie działa kontener Docker z Open Web UI.
Konfiguracja środowiska pracy
Interfejs Open Web UI został zaprojektowany tak, abyśmy mogli bawić się z LLM tak, jakbyśmy używali czatu GPT. Nawet przypomina ten czat z niewielkimi różnicami, ale oferuje wiele możliwości konfiguracji. Dzięki temu możemy dostosować swoje środowisko do własnych potrzeb i zobaczyć, jak zachowują się modele w różnych ustawieniach.
Testy prędkości generowania
Zaczynamy od uruchomienia modeli na obu urządzeniach i obserwujemy różnice w czasie generowania odpowiedzi. Mac Studio wykorzystuje swoją ogromną pamięć unifikowaną, która służy zarówno procesorowi, jak i grafice, co może dać pewną przewagę w specyficznych scenariuszach. Z kolei PC z kartą NVIDIA korzysta z dedykowanej pamięci VRAM, co tradycyjnie zapewniało lepsze wyniki w grach i renderowaniu.
Stabilność i obsługa dużych kontekstów
Kluczowym aspektem testu jest stabilność działania przy obciążeniu. Sprawdzamy, od jakiego momentu które sprzęty zaczynają się throttlingować lub tracić wydajność. Mac Studio z 512 GB RAM okazuje się niezwykle stabilny nawet przy uruchamianiu wielu dużych modeli jednocześnie, co jest wynikiem architektury pamięci unifikowanej.
Wnioski z testów
Oba urządzenia udowadniają, że lokalna AI jest możliwa bez chmury i bez filtrów. Mac Studio z 512 GB pamięci unifikowanej kontra PC z kartą RTX 6000 Pro Blackwell o 96 GB VRAM – oba urządzenia obsługują największe modele, ale wybór zależy od konkretnych potrzeb użytkownika. Jeśli priorytetem jest uniwersalność i brak konieczności posiadania dedykowanej karty graficznej, Mac może być lepszym wyborem.
Ostateczna rekomendacja
Nasze testy pokazują, że mit o konieczności posiadania karty NVIDIA w świecie lokalnej AI jest w dużej mierze przesadzony. Mac Studio z 512 GB pamięci unifikowanej to potężne narzędzie, które zmienia grę w wielu aspektach pracy z modelami językowymi. Jednak PC z dedykowaną kartą graficzną nadal ma swoje miejsce w specyficznych zastosowaniach wymagających maksymalnej wydajności graficznej.