YouTube odkrył kolejną maszynę do produkowania pieniędzy.

Wpisujemy kilka zdań do ChatGPT, prosimy o stworzenie bota, podłączamy konto maklerskie i po kilkunastu minutach obserwujemy, jak sztuczna inteligencja zarabia za nas pieniądze. My możemy w tym czasie odpoczywać, rozwijać pasje albo oglądać następny film o tym, jak zostać milionerem bez kapitału, wiedzy i nieprzyjemnego kontaktu z rzeczywistością.

Same tytuły filmów są dziełami współczesnej literatury ekonomicznej: „Making Money With A ChatGPT Trading Bot In Minutes”, „$1,386 in 12 Minutes Using My ChatGPT Trading Bot”, „8% monthly return during testing” czy bot dający „insane results”.

Problem polega na tym, że zbudowanie bota tradingowego jest dziś łatwe.

Zbudowanie bota, który długoterminowo zarabia, nadal jest potwornie trudne.

To trochę jak różnica między zbudowaniem samochodu, który potrafi ruszyć, a samochodu, który wygra Formułę 1. Film na YouTube zwykle kończy się w chwili, gdy pojazd wyjeżdża z garażu. Nikt nie pokazuje, co dzieje się na pierwszym zakręcie.

LLM przewiduje słowa, nie ceny

Model językowy może sprawiać wrażenie, że rozumie rynek. Potrafi opowiedzieć o stopach procentowych, przeanalizować komunikat banku centralnego i wyjaśnić, dlaczego spółka wzrosła po publikacji wyników.

Najczęściej po fakcie.

Podstawowym zadaniem LLM jest przewidywanie kolejnych fragmentów tekstu. Nie został on z natury zaprojektowany do prognozowania przyszłego rozkładu cen, zarządzania ryzykiem ani maksymalizowania zysku po uwzględnieniu kosztów transakcyjnych. Co gorsza, modele nadal potrafią generować odpowiedzi brzmiące przekonująco, ale nieprawdziwe. OpenAI samo opisuje halucynacje jako pewnie podawane fałszywe informacje i przyznaje, że problem pozostaje fundamentalnym ograniczeniem modeli językowych.

W zwykłej rozmowie oznacza to nieprawidłową datę albo zmyślony cytat.

W tradingu oznacza to zlecenie kupna.

Rynek nie przyznaje punktów za eleganckie uzasadnienie. Nie obchodzi go, że model przedstawił pięć logicznych powodów, dla których cena powinna wzrosnąć. Pieniądze można stracić w sposób bardzo dobrze napisany.

Backtest, czyli podróż w czasie dostępna w Excelu

Większość cudownych botów prezentowanych w internecie ma jeden podstawowy dowód skuteczności: backtest.

Strategia została uruchomiona na danych historycznych i zarobiła. Linia kapitału idzie do góry. Wskaźniki świecą się na zielono. Gdzieś w tle prawdopodobnie czeka już formularz zapisu na kurs.

Tyle że wystarczająco długo dopasowując parametry, można znaleźć dochodową strategię nawet w losowych danych. Badania nad backtest overfittingiem pokazują, że wielokrotne testowanie wariantów strategii pozwala wybrać konfigurację wyglądającą znakomicie w przeszłości, która później rozpada się na nowych danych.

W przypadku LLM dochodzi jeszcze ciekawszy problem: model mógł podczas treningu zetknąć się z informacjami dotyczącymymi testowanego okresu.

Może więc „analizować” rok 2022, posiadając pośrednią wiedzę o tym, co wydarzyło się później. Badacze nazwali ten efekt profit mirage. Imponujące wyniki backtestu potrafią zniknąć po przekroczeniu granicy danych znanych modelowi.

Bot nie przewidział przyszłości.

Bot przypomniał sobie przeszłość, a tester przypadkiem udawał, że jeszcze jej nie zna.

Działający kod nie oznacza działającej strategii

W wielu filmach „AI trading bot” jest w praktyce zwykłą strategią opartą na RSI, średnich kroczących, MACD albo kilku warunkach napisanych w Pine Script lub Pythonie.

LLM nie odkrywa przewagi rynkowej. LLM pisze kod dla pomysłu dostarczonego przez człowieka.

To nadal bywa użyteczne. Model może przygotować integrację z API brokera, napisać moduł backtestu, stworzyć system logowania albo znaleźć błąd w kodzie. Ale fakt, że program poprawnie wysyła zlecenia, nie świadczy o tym, że powinien je wysyłać.

Automatyzacja nie naprawia złej strategii.

Pozwala jej jedynie tracić pieniądze szybciej, przez całą dobę i bez przerwy na refleksję.

Koszty, których nie widać na miniaturze

Strategia może wyglądać dobrze przed uwzględnieniem:

  • prowizji,
  • spreadu,
  • poślizgu cenowego,
  • problemów z płynnością,
  • opóźnień danych,
  • częściowo zrealizowanych zleceń,
  • podatków,
  • kosztów API i infrastruktury.

Nawet LiveTradeBench, eksperyment badający 21 modeli podczas 50-dniowego handlu na bieżących danych, zaznacza, że nieuwzględnianie prowizji, spreadów, płynności i poślizgu może zawyżać wyniki, zwłaszcza przy częstych zmianach pozycji. Badanie pokazało również, że wysokie wyniki modeli w popularnych benchmarkach językowych praktycznie nie przekładały się na lepszy trading.

Model może więc świetnie pisać kod, rozwiązywać testy i tłumaczyć fizykę kwantową, a mimo to handlować jak człowiek, który właśnie odkrył przycisk „Buy”.

Amerykańska CFTC ostrzega wprost, że AI nie zamienia botów w maszyny do robienia pieniędzy, nie potrafi przewidzieć przyszłości ani nagłych zmian rynku. Regulator przypomina też o prowizjach, spreadach i kosztach subskrypcji, które bardzo skutecznie zjadają papierowe zyski.

Strategia działa, dopóki rynek nie zmieni zdania

Rynek nie jest stabilnym układem.

Strategia może radzić sobie dobrze podczas spokojnego wzrostu, a następnie przestać działać po zmianie stóp procentowych, pojawieniu się kryzysu, wojny, pandemii albo nowego zachowania uczestników rynku.

Duże badanie FINSABER przetestowało strategie oparte na LLM na ponad stu instrumentach i danych obejmujących około dwudziestu lat. Wcześniej raportowane przewagi znacząco pogorszyły się podczas dłuższych i szerszych testów. Modele były zbyt ostrożne podczas hossy, a jednocześnie zbyt agresywne podczas bessy, ponosząc duże straty dokładnie wtedy, gdy ostrożność byłaby najbardziej przydatna.

Jest w tym coś niemal ludzkiego.

Bać się, gdy wszystko rośnie, i odzyskać odwagę chwilę przed katastrofą.

A co z badaniami pokazującymi, że LLM potrafi przewidywać rynek?

Takie badania istnieją.

Praca Alejandro Lopeza-Liry i Yuehuy Tang pokazała, że zaawansowane modele mogą wyciągać krótkoterminowe sygnały z nagłówków wiadomości finansowych, szczególnie w przypadku mniejszych spółek i negatywnych informacji.

Nie oznacza to jednak, że możemy zapytać ChatGPT: „Czy jutro kupić Teslę?” i rozpocząć wybieranie koloru jachtu.

W badaniu model był częścią kontrolowanego procesu: otrzymywał konkretny rodzaj danych, wykonywał ściśle zdefiniowane zadanie, a wyniki były agregowane i testowane statystycznie. To zastosowanie LLM do przetwarzania tekstu, a nie cyfrowy Warren Buffett siedzący przy terminalu.

LLM może mieć wartość jako narzędzie pomocnicze:

  • klasyfikować wiadomości,
  • streszczać raporty i telekonferencje,
  • wyszukiwać ryzyka w dokumentach,
  • pomagać pisać i testować kod,
  • porównywać scenariusze,
  • kontrolować logi i anomalie.

AI jest już wykorzystywana w finansach do analizy danych, zarządzania ryzykiem, nadzoru, wykrywania oszustw oraz wspierania tworzenia i testowania strategii. Jednocześnie raport CFTC podkreśla potrzebę kontroli, audytu, jakości danych i udziału człowieka w systemach autonomicznych.

To rozsądna rola.

LLM jako szybki asystent analityka, któremu sprawdzamy pracę.

Nie LLM jako zarządzający funduszem, któremu właśnie przekazaliśmy hasło do brokera.

Czego brakuje w filmach o cudownych botach

Film pokazujący prawdziwą strategię powinien przedstawić znacznie więcej niż zielony wykres:

długi test na różnych rynkach, dane całkowicie nieznane modelowi, wyniki poza próbką, walk-forward testing, prowizje, spread, slippage, maksymalne obsunięcie kapitału, stabilność parametrów i wielomiesięczny handel na żywo.

Najlepiej z wynikami, których twórca nie może po cichu usunąć i nagrać od nowa.

Bez tego oglądamy demonstrację oprogramowania, nie dowód przewagi rynkowej.

Bot może działać.

Może łączyć się z giełdą.

Może kupować i sprzedawać.

Może nawet przez kilka tygodni zarabiać.

Moneta również może pięć razy z rzędu wypaść orłem. Nie oznacza to, że właśnie stworzyliśmy sztuczną inteligencję do przewidywania monet.

LLM jest znakomitym narzędziem do budowania systemów tradingowych.

To jeden z najgorszych możliwych powodów, żeby pozwolić mu samodzielnie handlować.

Dajmy mu dokumenty, dane, kod i logi.

Hasło do rachunku maklerskiego zachowajmy dla siebie.