Polski Asystent AI już tu jest!

PLLuM (Polish Large Language Model) to projekt, który miał na celu stworzenie otwartego polskiego modelu językowego oddającego złożoność naszego języka. Model opracowywany był na zlecenie Ministerstwa Cyfryzacji między innymi przez naukowców z NASK, a także Politechniki Wrocławskiej, Instytutu Podstaw Informatyki PAN, Instytutu Slawistyki PAN, Ośrodka Przetwarzania Informacji oraz Uniwersytetu Łódzkiego. Ma być bezpieczny i wolny od treści szkodliwych i nieprawdziwych. Dzięki temu będzie on śmiało wykorzystywany także w administracji publicznej. 

O procesie tworzenia modelu i efektach tych prac opowiada Szymon Łukasik, dyrektor Ośrodka Badań nad Bezpieczeństwem Sztucznej Inteligencji. 

Jakie są największe wyzwania związane z tworzeniem polskiego dużego modelu językowego PLLuM? Czy język polski jako “low resource language” postawił przed Wami szczególne bariery? 

Szymon Łukasik: Język polski można określić jako język o niskich zasobach. Chodzi o to, że nie dysponujemy bardzo dużą ilością danych, które pozwoliłyby na wytrenowanie modelu od zera. W związku z tym staramy się kontynuować uczenie już dostępnych modeli otwartych. Równocześnie staramy się pozyskiwać dane od wydawców, twórców treści. To sprawia, że projekt, który z założenia jest projektem o charakterze inżynierskim, staje się projektem z zakresu prawa własności intelektualnej i lingwistyki. To jest ogromne wyzwanie. Każdy by chciał, żebyśmy mieli w Polsce bardzo dużo zasobów obliczeniowych i centrów, które pozwalałyby na trenowanie dużych modeli. Okazuje się natomiast, że równie ważnym aspektem jest to, że potrzebujemy po prostu mieć dane, żeby nawet te duże modele zasilić. 

Modele tworzone w ramach PLLuM były trenowane na bardzo unikalnym zbiorze instrukcji. 

S.Ł.: Tak. Kluczową rolę w projekcie pełnią weryfikatorzy. Dzięki ich pracy wiemy czy model rzeczywiście odpowiada tak, jakbyśmy tego chcieli. Czy nie generuje treści szkodliwych czy nie odpowiada na te pytania, na które chcielibyśmy, żeby nie odpowiadał np. nie generuje treści szkodliwych czy nie odpowiada na te pytania, na które chcielibyśmy, żeby nie odpowiadał np. jak skonstruować bombę. NASK miał tutaj ogromny wkład dzięki doświadczeniu naszych ekspertów. Specjalizujemy się w cyberbezpieczeństwie, mamy doświadczenie w pracy z treściami szkodliwymi. Nasz zespół jest dosyć mocno multidyscyplinarny. Są w nim zarówno programiści, prawnicy i ludzie, którzy z tymi treściami szkodliwymi mieli do czynienia. Dzięki ich zaangażowaniu weryfikacja nazwijmy ją „na żywym organizmie” była możliwa. 

W jakich zastosowaniach PLLuM może być użyty w administracji publicznej? 

S.Ł.: PLLuM podpowie jak załatwić jakąś sprawę, wygeneruje wzór pisma. To są rzeczy, które są istotne zarówno dla obywatela, ale dla urzędnika również. Mówimy tu o podstawowym zastosowaniu. Dla administracji publicznej można też dokonywać wdrożeń dedykowanych dla poszczególnych urzędów, skrojonych na ich potrzeby. Chcemy też rozwijać stworzony w NASK system EZD, żeby modele językowe wspierały też elektroniczną obsługę dokumentacji. 

Czy polskie modele językowe mogą konkurować z globalnymi rozwiązaniami, takimi jak ChatGPT, pod kątem jakości i funkcjonalności? 

S.Ł.: To zależy jaki zakres zadań naszemu modelowi językowemu zadamy. Jeżeli chcemy mieć duży model językowy, który jest tak zwanym modelem ogólnego użytku, to najlepsze będą takie, które były trenowane na bardzo dużych zbiorach danych i które potrzebują dużych zasobów obliczeniowych. Natomiast do takich specjalistycznych zadań, chociażby właśnie w administracji publicznej czy do wsparcia obywateli w zupełności wystarczą mniejsze modele wytwarzane w taki sposób jak nasza rodzina modeli. To będzie wystarczające. PLLuM jest funkcjonalny w środowisku obliczeniowym, który nie posiada wielu zasobów. Jednak, jeżeli ktoś dysponuje większymi możliwościami obliczeniowymi to zastosowanie także większych modeli z tej rodziny jest możliwe. Na ten moment w takich kwestiach jak np. zadawanie pytań do dokumentów, mogę śmiało stwierdzić, że jak najbardziej jesteśmy w stanie konkurować z z dużymi modelami, tworzonymi komercyjnie przez gigantów technologicznych. Warto podkreślić, że PLLuM bardzo dobrze radzi sobie z treściami szkodliwymi i tematami kulturowymi. To znaczy, że ten model jest rzeczywiście zaadaptowany do polskiego kontekstu kulturowego.  

Projekt PLLuM będzie dalej rozszerzany i liderem tego procesu będzie NASK, a konkretnie Ośrodek Badań nad Bezpieczeństwem SI. Jakie zadania stoją teraz przed Wami?

S.Ł.: Udało nam się poszerzyć konsorcjum i NASK będzie pełnił rolę lidera koordynując pracę, starając się od każdego konsorcjanta wydobyć to co najlepsze. Mamy bardzo fajny zespół, który ma różne kompetencje, niektórzy bardzo dobrze się odnajdują w tematach danych, niektórzy bardzo dobrze się odnajdują w tematach treningów, inni z kolei są dobrzy w kwestiach wdrożeniowych. Będziemy starali się te prace koordynować i prowadzić do wdrożeń, bo ten projekt ma w tym momencie już bardziej wdrożeniowy charakter. Oczywiście dalej będą prowadzone prace nad modelami, nad ich rozwijaniem, pozyskiwaniem danych. Tu się nic nie zmienia. Jednak priorytetowe będzie dla nas teraz praktyczne wdrażanie modeli do pracy.