Testy Composio: ten sam silnik, różne wyniki
Przeprowadziliśmy szczegółową analizę wyników publicznego testu organizowanego przez firmę Composio, który porównał wydajność ośmiu różnych frameworków agentowych. W eksperymencie wykorzystano jeden i ten sam model językowy, a mianowicie DeepSeek V4 Flash, poddając go serii trzydziestu trudnych zadań wymagających samodzielnej pracy, korzystania z narzędzi oraz rozwiązywania problemów. Celem było sprawdzenie, jak różne „opakowania” wpływają na końcowy rezultat działania sztucznej inteligencji.
Definicja uprzęży w kontekście AI
Aby zrozumieć istotę tych badań, musimy wprowadzić kluczowe pojęcie, jakim jest „uprząż”. Możemy to porównać do motoryzacji: model językowy stanowi silnik, podczas gdy framework agentowy pełni funkcję samochodu, w który ten silnik montujemy. Claude Code, Hermes Agent czy Pi Agent to różne konstrukcje nadwozia, które determinują sposób planowania, obsługi błędów oraz interakcji z zewnętrznymi narzędziami.
Wyniki konkurencji: dominacja Pi Agenta
Wyniki testów były jednoznaczne i pokazują ogromny wpływ wyboru frameworku na efektywność pracy. Agent Pi odniósł największy sukces, pomyślnie kończąc dwadzieścia z trzydziestu postawionych mu zadań. Dla porównania, system Deep Agents opracowany przez LangChain poradził sobie z szesnastoma zapytaniami, natomiast Hermes Agent oraz Prime Agent osiągnęły niższe wskaźniki sukcesu, kończąc odpowiednio piętnaście i piętnaście zadań (przy czym w przypadku Prime część testów została odrzucona ze względu na trudności w ocenie).
Czynnik czasu: szybkość działania
Nie tylko precyzja, ale także czas wykonania zadań stanowił istotny element porównania. Agent Pi wykazał się największą efektywnością czasową, ukończąc zadania w średnim czasie wynoszącym 132 sekundy. Hermes potrzebował na to około 175 sekund, Deep Agents około 187 sekund, a Prime Agent aż 242 sekundy. Oznacza to, że zwycięzca w kategorii skuteczności był jednocześnie najszybszym rozwiązaniem spośród porównywanych frameworków.
Zjawisko mnożnika uprzęży
Co szczególnie istotne, ten sam model językowy osiągał wskaźnik skuteczności wahający się od 47% do 67%, w zależności od wybranego frameworku. Różnica ta wynosi aż dwadzieścia punktów procentowych przy identycznych zasobach obliczeniowych i tym samym „silniku”. Nazywamy to zjawiskiem mnożnika uprzęży, ponieważ narzędzie, którego używamy, potrafi znacząco podnieść lub obniżyć końcowy wynik działania sztucznej inteligencji.
Błąd w doborze technologii
Większość użytkowników skupia się na dyskusjach dotyczących tego, który model jest lepszy: czy GPT, Claude, DeepSeek czy Gemini. Tymczasem często ignorują fakt, że to właśnie framework decyduje o połowie końcowego rezultatu. Wybór niewłaściwej konfiguracji prowadzi do większej liczby porażek i wolniejszego działania, mimo że potencjał samego modelu pozostaje niezmieniony. To fundamentalny błąd, który powstrzymuje wielu profesjonalistów od osiągnięcia pełnej wydajności.
Wnioski dla praktycznego zastosowania
Firma Composio wyciągnęła jasny wniosek z przeprowadzonych badań: należy oceniać pary model-uprząż, a nie same modele w oderwaniu od kontekstu ich wykorzystania. To podejście zmienia sposób, w jaki powinniśmy projektować rozwiązania oparte na sztucznej inteligencji. Zamiast szukać „najlepszego” modelu, powinniśmy szukać najlepszej kombinacji modelu i frameworku dopasowanego do konkretnych zadań.
Optymalizacja przez Agent OS
Na podstawie tych obserwacji tworzymy rozwiązania takie jak Agent OS w ramach protokołu Agent Protocol Bot. Naszym celem jest umożliwienie podłączenia ulubionych pakietów agentów w sposób, który maksymalizuje ich potencjał. Dzięki świadomemu doborowi uprzęży, sztuczna inteligencja staje się bardziej niezawodna, szybsza i efektywniej wspiera procesy biznesowe już od pierwszego dnia wdrożenia.