Instrukcja instalacji Free LLM API na Debianie

Ważne: Free LLM API nie instaluje się lokalnie – to zestaw darmowych zewnętrznych API od dostawców (Groq, Google, Cohere, Mistral, itd.). Na Debianie instalujesz tylko biblioteki Python/Node.js używające tych API.

Jeśli chcesz lokalny model LLM bez internetu – zainstaluj Ollama (lokalny serwer LLM).

OPCJA 1: Cloud API (darmowe API online)

Krok 1: Zainstaluj Python i pip

bash

sudo apt update
sudo apt install -y python3 python3-pip python3-venv

Krok 2: Utwórz wirtualne środowisko

bash

cd ~
mkdir free-llm-api
cd free-llm-api
python3 -m venv venv
source venv/bin/activate

Krok 3: Zainstaluj bibliotekę OpenAI (kompatybilna z większością darmowych API)

bash

pip install openai

Krok 4: Pobierz klucz API (darmowy, bez karty)

Najlepsza opcja na start – Groq:

Wejdź: https://console.groq.com/keys
Utwórz darmowy klucz API (bez karty kredytowej)
Limity: 30 RPM, 14,400 RPD, Llama 3.3 70B za darmoreddit+1

Krok 5: Stwórz plik testowy

bash

nano test_llm.py

Wklej:

python

from openai import OpenAI

# Konfiguracja клиента
client = OpenAI(
    api_key="TWÓJ_GROQ_API_KEY",  # wklej swój klucz
    base_url="https://api.groq.com/openai/v1"
)

# Wywołanie API
response = client.chat.completions.create(
    model="llama-3.3-70b-versatile",
    messages=[
        {"role": "user", "content": "Cześć! Jak się masz?"}
    ]
)

print(response.choices[0].message.content)

Zapisz (Ctrl+O, Enter, Ctrl+X).

Krok 6: Uruchom test

bash

python test_llm.py

Jeśli zobaczysz odpowiedź od Llama 3.3 70B – działa!

OPCJA 2: Lokalny model LLM (Ollama) – bez internetu

Jeśli chcesz uruchomić własny model AI offline na Debianie:

Krok 1: Zainstaluj Ollama

bash

curl -fsSL https://ollama.com/install.sh | sudo sh

Zajatwierdź instalację i pozwól skryptowi pobrać pliki.youtube

Krok 2: Uruchom Ollama jako usługa

bash

sudo systemctl enable ollama
sudo systemctl start ollama

Krok 3: Pobierz model

bash

# Llama 3.3 70B (wymaga ~40 GB RAM):
ollama pull llama3.3

# Llama 3.1 8B (lżejszy, ~5 GB):
ollama pull llama3.1

# Deposit: Llama 3.2 3B (bardzo lekki, ~2 GB):
ollama pull llama3.2

Krok 4: Przetestuj model w terminalu

bash

ollama run llama3.1

Napisz: Cześć, jak się masz? – model odpowie lokalnie.youtube

Krok 5: Uruchom API lokalne (OpenAI-compatible)

Ollama automatycznie uruchamia API na http://localhost:11434:

bash

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "Czym jest sztuczna inteligencja?",
  "stream": false
}'

Krok 6: Podłącz z Python (OpenAI SDK)

python

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # niepotrzebny, ale wymagany przez SDK
)

response = client.chat.completions.create(
    model="llama3.1",
    messages=[{"role": "user", "content": "Cześć!"}]
)

print(response.choices[0].message.content)

OPCJA 3: Darmowe API bez rejestracji (mlvoca)

Jeśli nie chcesz się rejestrować:

python

import requests

response = requests.post(
    "https://mlvoca.com/api/generate",
    json={
        "model": "tinyllama",
        "prompt": "Czym jest Python?",
        "stream": False
    }
)

print(response.json()["response"])

Bez klucza API, bez limitów, ale wolniejsze.mlvoca.github

Porównanie opcji

Opcja	Internet	Wymagania sprzętowe	Prędkość
Groq (Cloud)	TAK	100 MB RAM	Bardzo szybka (2,600 tok/s) github
Ollama (Local)	NIE	8–40 GB RAM, GPU (opcja)	Wolniejsza (20–200 tok/s)
mlvoca (Cloud)	TAK	100 MB RAM	Wolna (brak limitów) mlvoca.github

Rekomendacja

Dla_devów/eksperekmentów: Groq + Llama 3.3 70B (najszybszy, darmowy)
Dla_privatności/offline: Ollama + Llama 3.1 8B (lokalnie, bez internetu)
Dla_beginnerów: mlvoca (bez rejestracji, testowanie)

Linki do repozytoriów GitHub

mnfst/awesome-free-llm-apis (lista 20+ providerów): https://github.com/mnfst/awesome-free-llm-apisgithub+1
cheahjs/free-llm-api-resources (lista darmowych API): https://github.com/cheahjs/free-llm-api-resourcesyoutubegithub+1
Ollama (lokalny serwer LLM): https://github.com/ollama/ollamayoutube

OPCJA 1: Cloud API (darmowe API online)

Krok 1: Zainstaluj Python i pip

Krok 2: Utwórz wirtualne środowisko

Krok 3: Zainstaluj bibliotekę OpenAI (kompatybilna z większością darmowych API)

Krok 4: Pobierz klucz API (darmowy, bez karty)

Krok 5: Stwórz plik testowy

Krok 6: Uruchom test

OPCJA 2: Lokalny model LLM (Ollama) – bez internetu

Krok 1: Zainstaluj Ollama

Krok 2: Uruchom Ollama jako usługa

Krok 3: Pobierz model

Krok 4: Przetestuj model w terminalu

Krok 5: Uruchom API lokalne (OpenAI-compatible)

Krok 6: Podłącz z Python (OpenAI SDK)

OPCJA 3: Darmowe API bez rejestracji (mlvoca)

Porównanie opcji

Rekomendacja

Linki do repozytoriów GitHub

Słowa kluczowe