Kiedy używać małych modeli językowych zamiast dużych modeli językowych

Duże modele językowe (LLM) nadal balansują między wydajnością a zaufaniem. Użytkownicy uważają je za skuteczne, ale wątpią w ich dokładność.

Mogą być również przesadą w niektórych przypadkach użycia. Na przykład, korzystanie z LLM może nie być najlepszym wyborem dla wszystkich wewnętrznych zadań HR, biorąc pod uwagę ich wysokie koszty obliczeniowe.

W obliczu tych wszystkich konfliktów, nowy typ modelu zyskuje na popularności: małe modele językowe (SLM). Są to prostsze modele trenowane na mniejszym zbiorze danych, aby wykonywać bardzo konkretną funkcję. Spełniają wszystkie wymagania dotyczące wysokiej wydajności, większego zaufania i niskich kosztów.

Niektóre najnowsze badania wskazują również, że małe modele językowe są przyszłością Agentic AI. W tym artykule wymieniłem przypadki użycia, w których SLM byłby bardziej wydajny niż LLM.

Najważniejsze przypadki użycia SLM w różnych funkcjach biznesowych

Jeśli zastanawiasz się, od czego zacząć swoją przygodę z SLM, poniżej zebrałem najlepsze przypadki użycia SLM w typowych funkcjach biznesowych. 

Obsługa klienta

Modele LLM mogą być pomocne w obsłudze klienta, ale z istotnymi zastrzeżeniami. Te modele są wstępnie trenowane na ogromnym zbiorze danych, często pozyskiwanym z internetu. Część tej wiedzy może być lub nie być odpowiednia dla twojej obsługi klienta, szczególnie gdy polityki firmowe są specyficzne. Ryzykujesz posiadanie chatbotów obsługujących klientów, które halucynują. Na przykład, chatbot obsługi klienta na stronie Air Canada obiecał klientowi zwrot kosztów z powodu żałoby, wbrew polityce, która nigdy nie istniała.

SLM mają większy sens dla chatbotów obsługi klienta i portali skarg. Te portale często zajmują się wysoce powtarzalnymi problemami/zapytaniami i mają ograniczone repozytorium polityk firmowych, do których mogą się odwoływać. Model można łatwo trenować na podstawie danych z przeszłych zgłoszeń klientów i polityk firmowych. To wystarczy, aby model mógł odpowiadać klientom.

Oczywiście, SLM nie może obsłużyć wszystkiego, a tam, gdzie bot nie może odpowiedzieć na zapytanie, zawsze możesz zaangażować człowieka. Jeśli to chatbot, możesz podać numer wsparcia, pod który klient może zadzwonić. Jeśli to platforma zarządzania zgłoszeniami, zgłoszenie może zostać automatycznie rozwiązane, jeśli jest to znany problem dla SLM, lub przypisane do pracownika obsługi klienta. Przynajmniej możesz mieć pewność, że automatyzacja nie obiecuje klientowi czegoś, co nie jest możliwe.

​Sprzedaż/Marketing 

LLM zdecydowanie wyróżniają się w niektórych przypadkach użycia w sprzedaży i marketingu, szczególnie w tworzeniu treści. Większy zbiór danych treningowych pomaga obsługiwać różne tematy. Ale używanie LLM do bardziej niszowych zadań, takich jak kwalifikacja/pielęgnacja leadów i spersonalizowane działania outreach, może nie być najlepszym wyborem. Jego uogólnione odpowiedzi nie zrobią dobrego wrażenia na potencjalnych klientach.

SLM pomaga tworzyć bardziej spersonalizowane wiadomości outreach. Może być trenowany na Twoim zastrzeżonym zbiorze danych, aby kwalifikować leady. Możesz przygotować kilka wiadomości outreach, które sprawdziły się w przeszłości, i użyć modeli SLM do generowania kolejnych wiadomości outreach na ich podstawie. SLM pomagają odejść od ogólnych wiadomości outreach generowanych przez AI.

Finanse 

LLM mogą być używane do ogólnej analizy rynku. Ale pozostają w tyle w przypadku zadań wysokiego ryzyka, takich jak wykrywanie oszustw i monitorowanie zgodności. Wskaźniki oszustw rosną zarówno na kontach konsumenckich, jak i biznesowych. Mimo że firmy budują systemy wykrywania oszustw, oszuści wciąż znajdują nowe sposoby na ich obejście. Model wymaga ciągłego ponownego trenowania. To właśnie tutaj SLM błyszczy, a LLM schodzi na dalszy plan.

Ponowne trenowanie LLM wymaga więcej czasu i zasobów w porównaniu do SLM. SLM może być stale aktualizowany najnowszymi danymi o oszustwach, aby uczynić system bardziej odpornym.

Podobnie jest z danymi dotyczącymi zgodności. LLM mogą nawet zawierać nieaktualne informacje o zgodności, co prowadzi do pominięć. SLM trenowany na małym zbiorze danych jest łatwy do przeglądu i udoskonalenia, aby zapewnić, że tylko najnowsze przepisy są dostępne w bazie wiedzy.

Zasoby ludzkie 

LLM są świetne do tworzenia ogólnych opisów stanowisk, komunikacji z pracownikami lub treści szkoleniowych. Zadania o wysokim ryzyku zgodności (na przykład: tworzenie dokumentów polityki, umów o pracę i dokumentów imigracyjnych) to miejsca, gdzie sprawy się komplikują.

Kraje, a nawet stany, stale aktualizują swoje prawo pracy.  Na przykład, rząd australijski zwiększył urlop rodzicielski do 24 tygodni w 2025 roku, a zostanie on przedłużony o kolejne dwa tygodnie od 2026 roku. Nowy Jork zwiększa minimalną stawkę godzinową dla pracowników gig economy. Japonia zaczęła promować równowagę między życiem zawodowym a prywatnym i elastyczne warunki pracy dla nowych rodziców.

Korzystanie z LLM oznacza ciągłe sprawdzanie, czy baza wiedzy w backendzie jest dokładna i aktualna. Pozostawienie przez pomyłkę jakiegokolwiek starego pliku polityki w bazie danych skutkowałoby halucynacjami.  

Małe modele językowe oznaczają znacznie większą kontrolę nad bazą wiedzy i większą pewność zgodności. Na przykład, Deel AI to mały model językowy opracowany przez ekspertów ds. zgodności. Ci eksperci stale aktualizują bazę wiedzy, dzięki czemu otrzymujesz najbardziej aktualne i dokładne odpowiedzi.

Operacje biznesowe

Nowe badanie dotyczące adopcji AI od G2 pokazuje, że prawie 75% firm korzysta z wielu funkcji AI w codziennych operacjach biznesowych. AI napędza efektywność operacyjną i poprawia produktywność. Zarówno SLM, jak i LLM mają w tym swoją rolę do odegrania.

LLM błyszczą w zadaniach strategicznych, takich jak zarządzanie ryzykiem, prognozowanie popytu, przegląd dostawców i więcej. Ich rozległa baza wiedzy pomaga im rozważyć wszystkie aspekty przed przedstawieniem sugestii. Z drugiej strony, SLM najlepiej sprawdza się w powtarzalnych, żmudnych pracach. Pomyśl o zarządzaniu fakturami, śledzeniu przesyłek, optymalizacji tras, kontroli przeszłości czy konserwacji predykcyjnej. Zadania te mogą działać na ograniczonym zestawie reguł i danych historycznych firmy.

Firmy czerpią korzyści z używania SLM w rutynowych, powtarzalnych zadaniach. Na przykład, Checkr, platforma do weryfikacji przeszłości pracowników, przeszła z LLM na SLM, aby zautomatyzować kontrole przeszłości i zaobserwowała lepszą dokładność, szybsze czasy odpowiedzi i 5-krotne zmniejszenie kosztów.

SLM vs LLM: Kto wygrywa bitwę?

W porównaniu SLM i LLM, odpowiedzią nie jest wybór między SLM a LLM. Lepszym podejściem jest używanie ich razem jako modelu hybrydowego. Zarówno SLM, jak i LLM mają swoje mocne i słabe strony. SLM dobrze radzi sobie w zadaniach o dobrze zdefiniowanych zakresach i ograniczonych zbiorach danych. Ale dla zadań wymagających rozumowania, LLM jest znacznie lepszym wyborem.

Weźmy na przykład zarządzanie łańcuchem dostaw. Podejście hybrydowe jest lepsze dla zarządzania łańcuchem dostaw, gdzie:

• LLM zajmuje się zadaniami strategicznymi, takimi jak analiza ryzyka, prognozowanie popytu i więcej
• SLM automatyzuje operacyjne zadania o dużej objętości i powtarzalne, takie jak zarządzanie trasami, przetwarzanie faktur itp.

Używanie zarówno SLM, jak i LLM razem tworzy kompletny model do obsługi wszystkich aspektów łańcucha dostaw. ​

Najlepsze modele SLM gotowe do niestandardowego treningu

Dobrą rzeczą w rozpoczęciu implementacji SLM jest to, że dostępne są modele do dostrajania. Możesz wybrać jeden z nich w zależności od swojego przypadku użycia:

1. Meta Llama 3.1 (8 mld parametrów): Model o wysokiej wydajności, który wyróżnia się w przypadkach użycia wymagających wsparcia wielojęzycznego
2. Microsoft Phi-3 (3,8 mld parametrów): Mały model idealny, gdy masz super-specyficzne zadanie wymagające silnego rozumowania.
3. Google Gemma 2 (2 mld parametrów): Lekki model z możliwościami multimodalnymi, pomagający obsługiwać zarówno tekst, jak i obrazy.

Korzystanie z SLM nigdy nie było tak łatwe

Wraz z wprowadzaniem większej liczby modeli SLM, nie musisz nawet tworzyć żadnego modelu od podstaw. Po prostu wybierz istniejący model, który pasuje do twojego przypadku użycia, zbuduj bazę wiedzy informacji dla niego i gotowe.  

\n