Jak sprawdzić moment, kiedy model językowy zaczyna kłamać? Pierwszym i najprostszym sposobem jest zadanie modelu pytania o temacie, którego nie powinien znać. Jeśli poprosimy go o definicję fikcyjnego terminu takiego jak 'kwantowy pomidor', a on udzieli wiarygodnej odpowiedzi, oznacza to, że model zaczął wymyślać fakty zamiast przyznać się do braku wiedzy.
Metoda testowania niewiedzy
Możemy zastosować technikę zwaną 'testem na nieznajomość', gdzie w prompcie zawarliśmy instrukcję: jeśli nie znasz odpowiedzi, powiedz pomidor. W ten sposób wymusiamy na modelu szczerość lub ujawnienie ograniczeń swojej bazy danych.
Weryfikacja zewnętrzna
Niezależnie od tego, czy model przyznał się do niewiedzy, zawsze warto weryfikować uzyskane informacje z innych źródeł. Nawet jeśli poprosimy o wymyślenie faktu, model może połączyć znane mu słowa w sposób logiczny dla niego, ale bezsensowny dla człowieka.
Ograniczenie zasobów wiedzy to kolejna strategia, polegająca na tym, że nie uczymy modelu wszystkiego od razu. Możemy użyć technik takich jak RAG (Retrieval-Augmented Generation), które pozwalają modelowi korzystać z zewnętrznych baz danych w czasie rzeczywistym.
Czym jest Fine Tuning?
Teraz przejdźmy do bardziej zaawansowanych koncepcji, mianowicie fine tuning. Jest to proces dostosowywania modelu językowego na podstawie zestawu własnych danych treningowych. Dzięki temu model lepiej rozumie specyfikę naszej branży lub stylu komunikacji.
In-Context Learning
Kolejną metodą jest in-context learning, które polega na dodawaniu kontekstu bezpośrednio do prompta. Zamiast uczyć cały model od nowości, podajemy mu informacje w treści zapytania, np. godziny otwarcia naszej firmy.
- Model otrzymuje instrukcję: jesteś doradcą klienta.
- Poniżej znajduje się baza wiedzy o godzinach pracy.
- Klient pyta o dostępność usług w konkretnym dniu.
Takie podejście pozwala na elastyczne dostosowywanie odpowiedzi bez konieczności ponownego trenowania całego modelu, co jest znacznie bardziej efektywne kosztowo i czasowo.
Ograniczenia modeli GPT 3.5 i 4.0
Warto pamiętać, że modele takie jak GPT-3.5 czy nowszy GPT-4.0 bazują na ogólnym zbiorze wiedzy dostarczonego przez producenta. Czasami zawierają one błędy lub przestarzałe informacje, które nie są aktualizowane w czasie rzeczywistym.
Przyszłość integracji AI
Powinniśmy zacząć myśleć o tym, jak integrować te technologie z naszymi systemami biznesowymi. Kluczem jest połączenie ogólnej wiedzy modelu z precyzyjnymi danymi własnych organizacji.