Przeglądaj wszystkie treści oznaczone etykietą Machine Translation
Okienkowanie w sztucznej inteligencji odnosi się do przetwarzania danych w segmentach, czyli „okienkach”, aby efektywnie analizować informacje sekwencyjne. Niezbędne w NLP i dużych modelach językowych, okienkowanie optymalizuje zarządzanie kontekstem, wykorzystanie zasobów i wydajność modelu przy zadaniach takich jak tłumaczenie, chatboty czy analiza szeregów czasowych.
Tagowanie części mowy (POS tagging) to kluczowe zadanie w lingwistyce komputerowej i przetwarzaniu języka naturalnego (NLP). Polega na przypisywaniu każdemu słowu w tekście odpowiedniej części mowy, w oparciu o jego definicję i kontekst w zdaniu. Głównym celem jest kategoryzowanie słów do kategorii gramatycznych takich jak rzeczowniki, czasowniki, przymiotniki, przysłówki itd., umożliwiając maszynom skuteczniejsze przetwarzanie i rozumienie ludzkiego języka.
Wykrywanie języka w dużych modelach językowych (LLM) to proces, w którym modele te identyfikują język tekstu wejściowego, umożliwiając dokładne przetwarzanie dla wielojęzycznych zastosowań, takich jak chatboty, tłumaczenia i moderacja treści.
Wynik BLEU, czyli Bilingual Evaluation Understudy, to kluczowy wskaźnik oceny jakości tekstu generowanego przez systemy tłumaczenia maszynowego. Opracowany przez IBM w 2001 roku, był pionierską miarą, która wykazywała silną korelację z ocenami jakości tłumaczeń dokonanymi przez ludzi. Wynik BLEU pozostaje fundamentem w dziedzinie przetwarzania języka naturalnego (NLP) i jest szeroko stosowany do oceny systemów tłumaczenia maszynowego.
Wynik ROUGE to zestaw miar służących do oceny jakości streszczeń i tłumaczeń generowanych przez maszyny poprzez porównanie ich z referencjami stworzonymi przez ludzi. Powszechnie stosowany w NLP, ROUGE mierzy pokrycie treści i przypomnienie, wspomagając ocenę systemów do streszczania i tłumaczenia.
