EchoLab: eksperymentalny silnik pamięci narracyjnej dla lokalnego modelu językowego Bielik bazujący na mikropamięci semantycznej oraz mechanizmie wewnętrznego myślenia.
Zmiany w wersji 2.0:
w wersji 1.0 występował problem z trybem -fast, model ucinał zdanie. Powiązane to było z próbą siłowego ograniczenia kreatywności modelu
dodany został mechanizm wewnętrznego myślenia przed napisaniem tekstu
model funkcjonuje w dwóch trybach -fast oraz -creative
zachowany został tryb historii
zachowana została pamięć semantyczna (AnchorsMemory)
odświeżone GUI
Problemy:
nadal jest to wersja rozwojowa
pewna niestabilność wynikająca z natury modeli lokalnych
model może zamiast tekstu napisać swój tok myślenia
czasem zdarza się, że model napisze tekst po angielsku
dodanie mechanizmu wewnętrznego myślenia przekłada się na wykorzystanie zasobów obliczeniowych, co będzie szczególnie odczuwalne w przypadku starszych komputerów (model napisze tekst, ale trochę to potrwa). Model może wykorzystać od 1000 do 1500 tokenów na "wstępne myślenie", w zależności od wprowadzonej treści. Tak, model może wykorzystać tyle tokenów po to, aby napisać 3,4 zdania w trybie -fast
Jak to:
pobierz .zip, rozpakuj go.
musisz posiadać zainstalowane LM Studio, model lokalny bielik-11b-v3.0-instruct Q5_K_M oraz poprawnie zainstalowany Python.
załaduj model bielik w LM Studio.
następnie uruchom server lokalny w LM Studio. Kliknij na ikonkę [developer], następnie server start.
teraz kliknij install.bat celem zainstalowania potrzebnych requirements.
teraz kliknij start. bat.
pojawi się proste GUI w którym wpisujesz swoje polecenia.
W standardowym trybie model lokalny jest w stanie napisać fabułę, ale nie jest w stanie kontynuować narracji, nawet przy próbie ukierunkowania go. Idea tego generatora polega na tym, że możliwym jest pisanie fabuły w trybie ciągłym (oczywiście nadal obowiązują ograniczenia dotyczące lokalnych modeli). Generator fabuły posiada tryb Historia plus mikropamięć (AnchorsMemory) celem przełamania naturalnych ograniczeń modelu. Teraz AI próbuje pamiętać narrację.
Jak to działa?
Aktywujesz [Tryb Historii]. Wybierasz [Tryb Fast]
1* Start fabuły
Ty: budzę się w lesie, widzę nad sobą wysokie strzeliste drzewa.
Model: podąża za twoją narracją, rozwija ją i wprowadza element tajemnicy, np. coś ukrytego w cieniu obserwuje ciebie .
2* Istotny motyw (obszar narracji)
Ty: ten cień wydaje się być ciekawy.
Model: Model opisuje czym może być ten cień, np. potwór z żółtymi oczami i pazurami. To staje się aktualnym obszarem narracji dla modelu.
3* Zapamiętujesz kluczowy obszar narracji
Używasz przycisk [Zapamiętaj]. Następnie wpisujesz np. las, potwór, żółte oczy, pazury. Pojedyncze słowa-kotwice. W tym momencie generowany jest anchor i zostaje zapisany embedding semantyczny.
4* Kontynuacja fabuły
Z czasem model zaczyna dryfować. Zapomina o lesie, potworze. Może wprowadzić nowy kluczowy obszar narracji np. tajemnicze światło w lesie, i to od ciebie zależy czy podążysz tym tropem.
5* Używasz wcześniej zdefiniowane słowa-kotwice i model analizuje twój input, szuka podobnych anchorów w aktualnym wątku narracyjnym. Efekt będzie taki, że model będzie w stanie wrócić do wcześniejszego obszaru narracji i połączyć go z aktualnym obszarem narracji.
Przykład: Opisujesz fabułę, jak budzisz się w lesie. Model przejmuje twoją narrację, rozwija wątek i wprowadza obszar narracji w postaci cienia. Podążasz za cieniem. Dochodzi do konfrontacji z cieniem (uciekasz/ucieka cień). Wydostajesz się z lasu. Trafiasz do wioski. Napotykasz postać. W tym momencie głównym obszarem narracji jest wioska+postać. Model nie pamięta poprzednich obszarów narracji: las+cień, las+tajemnicze światło. Dla modelu aktualnie głównym obszarem jest: wioska+postać. Teraz, dokładnie w tym momencie postanawiasz wykorzystać mikoropamięć i pytasz postać czy coś wie o tajemniczym potworze w lesie. Używasz wcześniej zdefiniowanych słów-kotwic: las, potwór, pazury, żółte oczy. Co się dzieje? Model przypomina sobie klimat z poprzedniego obszaru narracyjnego i nagle postać może odpowiedzieć tobie, że coś wie o tym potworze albo odpowie w sposób mglisty (potwór jako lokalna historia).
6* Przycisk [zapisz sesję], pozwala zapisać aktualny stan fabuły + AnchorsMemory.
Dokładnie tak działa ten silnik. Model funkcjonuje w obszarach narracji. Za pomocą słów-kotwic reaktywujesz semantyczny obszar narracji, który model dawno zapomniał.
Istotne:
nie używaj AnchorsMemory w stylu: usiadłem na krześle, padał deszcz, wiał wiatr ponieważ to dla modelu nie ma żadnego znaczenia narracyjnego. Jest to za mało semantyczne.
używaj AnchorsMemory w stylu bardziej subtelnym: cień, potwór, tajemniczy obiekt na powierzchni planety, to dla modelu ma znacznie większe znaczenie ponieważ wokół tego buduje narrację.
generator funkcjonuje w dwóch trybach: -fast i -creatve. -fast jest najlepszym wyborem do pisania ciągłej fabuły
Ogólne Ograniczenia:
generator został napisany i testowany tylko dla modelu Bielki
naturalne ograniczenia w zakresie context length
pamięć nie jest prawdziwym rozumieniem
długa narracja nadal ulega degradacji
anchory pamięci są symboliczne (emocjonalne punkty orientacyjne historii, system pamięta klimat sceny bardziej niż dokładne fakty)
model lokalny ogranicza jakość i spójność
historia nie jest planowana z góry (narracja powstaje dynamicznie, zdanie po zdaniu)
pamięć może wzmacniać błędy
to bardziej „silnik atmosfery” niż agent logiczny
EchoLab najlepiej działa jako: generator klimatu, ciągłej narracji, surrealistycznych scen, introspekcyjnych historii.