Spraw, aby LLM-y weryfikowały swoje odpowiedzi i podawały źródła

Czym jest RIG (Retrieval Interleaved Generation)?

Retrieval Interleaved Generation, w skrócie RIG, to nowoczesna metoda AI, która płynnie łączy wyszukiwanie informacji i generowanie odpowiedzi. Wcześniej modele AI korzystały z RAG (Retrieval Augmented Generation) lub samego generowania, ale RIG łączy te procesy, aby zwiększyć dokładność AI. Przeplatając wyszukiwanie i generowanie, systemy AI mogą korzystać z szerszej bazy wiedzy, oferując bardziej precyzyjne i trafne odpowiedzi. Głównym celem RIG jest ograniczenie błędów i poprawa wiarygodności wyników AI, co czyni tę metodę kluczowym narzędziem dla deweloperów chcących dopracować dokładność AI. Retrieval Interleaved Generation stanowi więc alternatywę dla RAG (Retrieval Augmented Generation) w generowaniu odpowiedzi AI opartych na kontekście.

Jak działa RIG (Retrieval Interleaved Generation)?

Tak działa RIG. Kolejne etapy są inspirowane oryginalnym wpisem na blogu, który skupia się głównie na ogólnych przypadkach użycia z wykorzystaniem API Data Commons. W większości zastosowań możesz jednak chcieć użyć zarówno ogólnej [bazy wiedzy (np. Wikipedia lub Data Commons), jak i własnych danych. Oto jak możesz wykorzystać możliwości przepływów w FlowHunt, by stworzyć chatbota RIG z własnej bazy wiedzy oraz ogólnej bazy jak Wikipedia.

1. Zapytanie użytkownika trafia do generatora, który tworzy przykładową odpowiedź z cytowaniem odpowiednich sekcji. Na tym etapie generator może nawet wygenerować dobrą odpowiedź, ale zawierającą zmyślone dane i statystyki.

2. W kolejnym etapie używamy Agenta AI, który otrzymuje ten wynik i udoskonala dane w każdej sekcji, łącząc się z Wikipedią i dodatkowo dodając źródła do każdej odpowiedniej sekcji.

Jak widać, ta metoda znacząco zwiększa precyzję chatbota i zapewnia, że każda wygenerowana sekcja posiada źródło i jest oparta na prawdzie.

Jak stworzyć chatbota RIG w FlowHunt?

Dodaj pierwszy etap (prosty generator przykładowych odpowiedzi):

Pierwsza część przepływu składa się z wejścia czatu, szablonu prompta i generatora. Wystarczy je połączyć. Najważniejszy jest tutaj szablon prompta. Użyłem następującego:

Dane jest zapytanie użytkownika. Na jego podstawie wygeneruj najlepszą możliwą odpowiedź ze zmyślonymi danymi lub procentami. Po każdej z różnych sekcji odpowiedzi dołącz informację, z jakiego źródła należy pobrać prawidłowe dane i jak udoskonalić tę sekcję właściwymi informacjami. Możesz wskazać, aby dane pobrać z wewnętrznego źródła wiedzy (jeśli są to dane niestandardowe dotyczące produktu lub usługi użytkownika) lub użyć Wikipedii jako ogólnego źródła wiedzy.

Przykładowe wejście: Które kraje są liderami pod względem energii odnawialnej, jaki jest najlepszy wskaźnik do pomiaru tego i jaka jest wartość tego wskaźnika dla najlepszego kraju?
Przykładowa odpowiedź: Najlepsze kraje pod względem energii odnawialnej to Norwegia, Szwecja, Portugalia, USA [Wyszukaj w Wikipedii zapytanie “Top Countries in renewable Energy”], typowy wskaźnik dla energii odnawialnej to Capacity factor [Wyszukaj w Wikipedii zapytanie “metric for renewable energy”], a kraj numer jeden ma 20% capacity factor [wyszukaj w Wikipedii “biggest capacity factor”]

Zaczynajmy!
Wejście użytkownika: {input}

Tutaj używamy techniki Few Shot prompting, by generator zwracał odpowiedź dokładnie w takim formacie, jakiego oczekujemy.

Dodaj część weryfikującą fakty:

Teraz dodaj drugą część, która weryfikuje przykładową odpowiedź i udoskonala ją na podstawie rzeczywistych źródeł. Używamy tu Wikipedii i Agentów AI, ponieważ łatwiej i elastyczniej jest połączyć Wikipedię z Agentami AI niż z prostymi generatorami. Podłącz wyjście generatora do Agenta AI i połącz narzędzie Wikipedia z Agentem AI. Oto cel, którego używam dla Agenta AI:

Otrzymujesz przykładową odpowiedź na pytanie użytkownika. Odpowiedź ta może zawierać błędne dane. Użyj narzędzia Wikipedia w podanych sekcjach z określonym zapytaniem, aby wykorzystać informacje z Wikipedii do udoskonalenia odpowiedzi. Dołącz link do Wikipedii w każdej z określonych sekcji. POBIERZ DANE ZE SWOICH NARZĘDZI I UDOSKONAL ODPOWIEDŹ W TEJ SEKCJI. DODAJ LINK DO ŹRÓDŁA W TEJ KONKRETNEJ SEKCJI, NIE NA KOŃCU.

Podobnie możesz dodać Document Retriever do Agenta AI, który połączy się z Twoją własną bazą wiedzy, by pobierać dokumenty.

Możesz przetestować ten przepływ tutaj.

Zrozumienie Retrieval-Augmented Generation (RAG)

Aby w pełni docenić RIG, warto najpierw spojrzeć na jego poprzednika, Retrieval-Augmented Generation (RAG). RAG łączy zalety systemów pobierających istotne dane oraz modeli generujących spójną, adekwatną treść. Przejście od RAG do RIG to duży krok naprzód. RIG nie tylko pobiera i generuje, ale także przeplata te procesy dla lepszej dokładności i wydajności. Dzięki temu systemy AI mogą stopniowo poprawiać zrozumienie i jakość wyników, dostarczając nie tylko precyzyjne, ale też trafne i wnikliwe odpowiedzi. Łącząc pobieranie z generowaniem, systemy AI mogą czerpać z ogromnych zasobów informacji, zachowując przy tym spójność i adekwatność odpowiedzi.

Przyszłość Retrieval Interleaved Generation

Przyszłość Retrieval Interleaved Generation zapowiada się obiecująco, z wieloma postępami i kierunkami badań na horyzoncie. Wraz z rozwojem AI, RIG ma odegrać kluczową rolę w kształtowaniu świata uczenia maszynowego i aplikacji AI. Jego potencjalny wpływ wykracza poza obecne możliwości, obiecując transformację sposobu, w jaki systemy AI przetwarzają i generują informacje. Dzięki trwającym badaniom spodziewamy się dalszych innowacji, które zwiększą integrację RIG z różnymi frameworkami AI, prowadząc do bardziej wydajnych, dokładnych i niezawodnych systemów. Wraz z rozwojem tych technologii znaczenie RIG będzie tylko rosło, ugruntowując jego rolę jako fundamentu dokładności i wydajności AI.

Podsumowując, Retrieval Interleaved Generation to duży krok naprzód w dążeniu do zwiększenia dokładności i efektywności AI. Umiejętnie łącząc procesy pobierania i generowania, RIG zwiększa wydajność dużych modeli językowych, poprawia wieloetapowe rozumowanie i oferuje ekscytujące możliwości w edukacji oraz weryfikacji faktów. W przyszłości dalszy rozwój RIG z pewnością przyniesie kolejne innowacje w AI, umacniając jego rolę jako kluczowego narzędzia w tworzeniu inteligentniejszych, bardziej wiarygodnych systemów sztucznej inteligencji.