Ponad 300 dokumentów pokazuje skalę zjawiska
Wśród dokumentów przeanalizowanych przez Reutersa znalazły się prace naukowe, patenty, materiały firmowe, oferty zatrudnienia oraz oficjalne dokumenty chińskich instytucji. Zebrane informacje opisują wykorzystywanie wyników generowanych przez zaawansowane zagraniczne modele do tworzenia zbiorów treningowych dla rozwiązań rozwijanych w Chinach. Nie chodzi wyłącznie o badania akademickie: część metod jest obecnie stosowana w procesach przemysłowych.
Takie podejście nie oznacza, że programista pobiera kod źródłowy lub parametry zamkniętego amerykańskiego modelu. Model bazowy otrzymuje pytania i zwraca odpowiedzi, a osobny, zwykle mniejszy system uczy się na przygotowanym zbiorze przykładów. Rozróżnienie to jest istotne zarówno technicznie, jak i prawnie. Dostęp do wyniku działania programu nie jest tym samym co dostęp do jego pełnego wnętrza.
Co to jest destylacja modelu AI?
Destylacja wiedzy polega na przekazywaniu wybranych umiejętności z większego lub mocniejszego modelu do mniejszego. Model pełniący rolę nauczyciela może na przykład rozwiązywać zadania matematyczne, przygotowywać fragmenty kodu i wyjaśniać kolejne kroki odpowiedzi. Następnie student uczy się rozpoznawać wzorce z tak przygotowanych przykładów. Rezultatem może być system tańszy w uruchamianiu i wygodniejszy do zainstalowania w firmowej infrastrukturze.
To rozwiązanie ma ograniczenia. Mniejszy model nie przejmuje automatycznie wszystkich zdolności nauczyciela, może utrwalać jego błędy, a dobór zadań i jakość danych mają znaczenie dla końcowej skuteczności. Destylacja nie zastępuje też całkowicie dostępu do mocy obliczeniowej. Proces tworzenia zbioru danych, uczenia i testowania nadal wymaga zasobów oraz oceny jakości.
Warto rozróżniać
Trenowanie od podstaw, dostrajanie istniejącego modelu i destylacja wiedzy to trzy różne procesy. Destylacja wykorzystuje wyniki nauczyciela, ale nie daje automatycznego dostępu do jego parametrów ani danych treningowych.
| Etap | Co dzieje się w praktyce |
|---|---|
| Nauczyciel | Zaawansowany model generuje odpowiedzi na zadania |
| Dane | Wybrane odpowiedzi są kontrolowane i porządkowane |
| Student | Mniejszy model uczy się wzorców z przykładów |
| Ocena | Sprawdza się trafność, koszty i ograniczenia |
Uproszczony mechanizm destylacji wiedzy w uczeniu maszynowym
Dlaczego sankcje na czipy zwiększają zainteresowanie metodą?
Stany Zjednoczone ograniczają eksport części zaawansowanych akceleratorów sztucznej inteligencji do Chin. Firmy rozwijające własne modele szukają więc nie tylko nowych procesorów, lecz również sposobów efektywniejszego korzystania z już dostępnego sprzętu. Destylacja pozwala skupić się na kompetencjach najbardziej potrzebnych konkretnemu przedsiębiorstwu, zamiast odtwarzać wszystkie funkcje największych modeli świata.
Koszt i dostępność półprzewodników stały się elementem rywalizacji gospodarczej. Dobrym przykładem międzynarodowych inwestycji w tę dziedzinę jest program finansowania rozwoju sztucznej inteligencji przez Metę. Inny wymiar tej samej konkurencji pokazują inwestycje producentów czipów w obsługę AI. Różnią się one od chińskiej destylacji, ale odpowiadają na wspólne pytanie: jak zdobywać zdolności obliczeniowe przy rosnących kosztach.
Gdzie pojawia się spór o prawa i regulaminy?
Sam proces destylacji jest szeroko znaną techniką uczenia maszynowego i nie jest z definicji nielegalny. Wątpliwości mogą powstać wówczas, gdy ktoś pozyskuje duże ilości odpowiedzi z usługi objętej umową zakazującą użycia wyników do trenowania konkurenta. Znaczenie mają wtedy warunki dostępu, sposób automatycznego gromadzenia danych i ewentualne prawa własności intelektualnej.
Amerykańskie władze i firmy technologiczne zgłaszały zastrzeżenia wobec masowego pobierania odpowiedzi z najlepszych modeli. Chińskie instytucje i przedsiębiorstwa wskazują z kolei na potrzebę rozwoju własnych produktów i obniżania barier technologicznych. Należy oddzielić potwierdzony opis danej techniki od rozstrzygnięcia, czy jej zastosowanie w konkretnym przypadku narusza prawo. Taką ocenę można przeprowadzić tylko na podstawie rzeczywistych warunków i dowodów.
Oceniając strategię chińskich firm, warto uwzględnić również rolę dostawców amerykańskich procesorów. Zmiany na rynku, o których informowano przy okazji doniesień o kierownictwie Nvidii, mogą wpływać na decyzje inwestorów, lecz nie stanowią dowodu bezpośredniego uczestnictwa tej spółki w opisanych metodach pozyskiwania danych.
Jakie są możliwe konsekwencje dla branży?
W fabrykach i przedsiębiorstwach usługowych szczególnie liczy się szybkość odpowiedzi, niezawodność i przewidywalny koszt pojedynczego zadania. Mniejszy wyspecjalizowany model może wystarczyć do przetwarzania dokumentacji, obsługi powtarzalnych pytań lub wsparcia projektowania. Dlatego techniki przenoszenia wiedzy przyciągają uwagę nie tylko twórców wyszukiwarek i czatbotów, ale także producentów przemysłowych.
W dłuższym okresie możliwa jest równoległa konkurencja dwóch strategii: budowy coraz większych modeli bazowych oraz dostosowywania ich umiejętności do wąskich zastosowań. Nie sposób jednak na podstawie samych patentów czy rekrutacji przesądzić, które z chińskich projektów osiągną skuteczność porównywalną z największymi amerykańskimi systemami. Trwające spory handlowe mogą dodatkowo zmieniać dostęp do sprzętu i usług.
Co z tego wynika dla firm korzystających z AI?
Dla odbiorców usług AI najważniejsze jest odróżnienie wydajności systemu od jego pochodzenia. To, że program dobrze radzi sobie z zadaniem dzięki technice destylacji, nie wyjaśnia jeszcze, jakie dane wykorzystano podczas treningu ani czy usługa spełnia obowiązki ochrony informacji. Przy wdrożeniu w firmie potrzebna jest więc kontrola jakości, zasad przetwarzania danych i warunków licencyjnych.
Źródła informacji
Reuters, Departament Handlu USA