Jako entuzjaści technologii sztucznej inteligencji wiemy, że każdy główny laboratorium AI na świecie obecnie udostępnia darmowy dostęp do swoich API. Firmy takie jak Google, Mistral, Cerebras czy Cloudflare oferują darmowe poziomy z milionami tokenów miesięcznie. Nie wymagana jest karta kredytowa ani płatna subskrypcja, aby korzystać z tych zasobów.
Matematyka darmowych tokenów
Kiedy faktycznie połączycie wszystkie te darmowe poziomy, matematyka wychodzi na około miliard darmowych tokenów każdego miesiąca. To nie jest mała liczba, która mogłaby przyciągnąć uwagę. Jest to wystarczająco dużo, aby uruchamiać poważne obciążenia, napędzać lokalnych agentów AI oraz przetwarzać dokumenty wsadowo.
Jednakże, o czym nikt rzadko mówi, jest to, że zarządzanie wszystkimi tymi darmowymi poziomami ręcznie to absolutny koszmar. Macie do czynienia z 14 różnymi dostawcami, 14 różnymi bibliotekami SDK oraz 14 różnymi systemami limitów prędkości. Nieustannie balansujecie na krawędzi kluczy API i śledzicie, który dostawca wciąż ma budżet na dany dzień.
Problem z czasem programisty
Przepisywanie logiki połączeń za każdym razem, gdy któryś z dostawców zmienia swoje limity, jest marnotrawstwem waszego cennego czasu. To, co zaczyna się jako darmowe, szybko staje się kosztowne w jednej walucie, która naprawdę ma znaczenie, czyli waszym czasie. Programiści często spędzają godziny na debugowaniu błędów 429, które wynikają z przekroczenia limitu prędkości u jednego z dostawców.
Rodzaj Free LLM API
Programista o imieniu Tashen Omed zmęczył się tym problemem i stworzył coś, aby go naprawić. Projekt nazywa się Free LLM API, a koncepcja jest pięknie prosta. Samohostujecie pojedynczy serwer proxy na swojej maszynie lub na VPS, który działa jako centralny punkt sterowania.
Jak to działa technicznie
Ten proxy mówi format API OpenAI, dlatego każde narzędzie, które już działa z OpenAI, działa z nim natychmiast. Wklejacie swoje darmowe klucze API od każdego dostawcy przez panel administracyjny i od tego momentu macie jeden punkt końcowy. Silnik routingu automatycznie wybiera dostawcę, który wciąż ma budżet, przechodząc do następnego, jeśli napotka limit prędkości.
Automatyzacja routingu żądań
Silnik ten śledzi użycie na wszystkich waszych kluczach jednocześnie, co pozwala na maksymalne wykorzystanie darmowych limitów. Jeśli jeden dostawca jest zablokowany, system natychmiastowo przekierowuje żądanie do drugiego dostawcy, który ma jeszcze wolne tokeny. Dzięki temu aplikacja działa bez przerwy, a wy nie tracicie czasu na ręczne przełączanie kluczy.
Popularność projektu na GitHubie
Projekt pojawił się na GitHubie i w ciągu, co wydaje się dni, zgromadził sześć i pół tysiąca gwiazdek oraz tysiąc forków. Taki rodzaj popytu na zupełnie nowy repozytorium to silny sygnał, że wielu programistów rozwiązywało dokładnie ten problem ręcznie. Jesteśmy bardzo gotowi, aby ktoś spakował to poprawnie i dostarczył stabilne rozwiązanie.
Ograniczenia i uwagi
Będziemy też szczerych co do ograniczeń, ponieważ istnieją prawdziwe ograniczenia, które warto zrozumieć przed podjęciem decyzji o budowaniu czegoś na tej podstawie. Należy pamiętać, że darmowe poziomy mają swoje limity, które nie są nieskończone, ale ich suma jest imponująca. Przed wdrożeniem warto przetestować stabilność routingu w środowisku produkcyjnym.
Podsumowanie korzyści
Jeśli tego typu otwartą infrastrukturę AI uważacie za przydatną, warto rozważyć wdrożenie Free LLM API w swojej infrastrukturze. Pozwala to na eksperymentowanie z dziesiątkami modeli, nie wydając ani jednego dolara. To doskonałe rozwiązanie dla deweloperów, którzy chcą testować nowe modele bez ponoszenia kosztów subskrypcji.