Poniższe scenariusze opisują typowe wyzwania firm z różnych branż oraz moje podejście do ich rozwiązania. Stanowią ilustrację tego, jak pracuję i jakie efekty można osiągnąć. Każde wdrożenie poprzedzam analizą indywidualnej sytuacji klienta — szczegóły omawiamy podczas rozmowy.
Prywatny LLM dla kancelarii prawnej — RAG na archiwum dokumentów
Typowy profil firmy: Kancelaria prawna z 20-50 prawnikami
Kancelarie prawne mają unikalny problem: chcą korzystać z AI do przeszukiwania własnych archiwów precedensów i opinii, ale tajemnica zawodowa wyklucza wysyłanie tych dokumentów do ChatGPT lub innych komercyjnych dostawców. Oto jak podchodzę do tego scenariusza.
Typowy problem w tej branży
Prawnicy w kancelariach średniej wielkości (20-50 osób) spędzają zwykle 4-8 godzin tygodniowo na ręcznym przeszukiwaniu archiwum w poszukiwaniu podobnych spraw, precedensów i wcześniejszych opinii. Najczęściej brakuje sensownego indeksu — wszystko leży w PDF-ach rozproszonych po dziesiątkach folderów na dysku sieciowym.
Wyzwania charakterystyczne dla tej branży:
- Archiwum 10 000 - 30 000 dokumentów (umowy, opinie, pozwy, korespondencja sądowa)
- Wymóg bezwzględny: zero danych poza serwerownię klienta (tajemnica zawodowa, RODO)
- Konieczność cytowania źródeł — prawnik musi widzieć skąd pochodzi odpowiedź AI
- Różne formaty dokumentów (PDF, DOC, skany)
- Wrażliwość na halucynacje — niedopuszczalne wymyślenie precedensu
Moje podejście
Stawiam Llama 3 70B na infrastrukturze klienta (1-2 serwery z GPU NVIDIA L40S lub równoważnym). Bazę wektorową (Qdrant) indeksuję chunkami z całego archiwum z bogatymi metadanymi: sygnatura, data, typ dokumentu, klient, sąd. Interfejs to prosty chat webowy — prawnik zadaje pytanie w naturalnym języku, dostaje odpowiedź wraz z cytowaniem konkretnych fragmentów źródłowych.
Krytyczne elementy podejścia:
- RAG zwraca źródła z pewnością dopasowania — prawnik decyduje czy "kupić" odpowiedź
- Pełne logowanie zapytań w lokalnej bazie — audyt RODO i wewnętrzny
- SSO przez Active Directory kancelarii — bezpieczna autoryzacja
- Polityka anty-halucynacji — model woli powiedzieć "nie wiem" niż wymyślić
- Aktualizacja indeksu automatyczna — nowe dokumenty pojawiają się w wyszukiwarce w ciągu godzin
Przed wdrożeniem produkcyjnym przeprowadzam dwutygodniowy pilot z grupą 5-8 prawników. Ich feedback wpływa na finalną konfigurację promptu i UI.
Spodziewane efekty
Masz podobne wyzwanie w swojej firmie? Porozmawiajmy →