Silnik rozpoznawania mowy może rozpoznawać dziesiątki języków w osobnych nagraniach, a mimo to mieć trudności, gdy jeden mówca zmienia język w środku zdania. W przypadku wielojęzycznej transkrypcji audio zadaj trzy różne pytania: jakie języki model potrafi rozpoznać, jak wybiera język i czy zachowuje przełączenia w obrębie jednego nagrania? Sama liczba reklamowanych języków nie odpowie na wszystkie trzy.
Ten przewodnik porównuje udokumentowane zachowanie dla konkretnych konfiguracji modeli i daje krótki test, który ujawnia pominięte przełączenia. Szersze porównanie narzędzi do nagrań na żywo i nagrań zapisanych znajdziesz w naszym przewodniku po transkrypcji wielojęzycznej.
- Zakres obsługiwanych języków to wspierany zestaw modelu. Nie jest to gwarancja, że każda kombinacja zadziała w jednym pliku.
- Automatyczne wykrywanie języka może wybrać najlepsze dopasowanie spośród kandydatów, bez transkrybowania każdego wypowiedzianego języka.
- Code switching oznacza zachowanie zmian języka w transkrypcji, w tym zmian wewnątrz zdania. Zweryfikuj dokładny model i ustawienie.
- Oceń wynik przy każdym przełączeniu na własnym nagraniu; benchmarki dostawcy nie zastąpią tego sprawdzenia.
Trzy specyfikacje, o które warto poprosić
Zakres obsługi odpowiada na pytanie, czy model w ogóle obsługuje dany język. Wykrywanie odpowiada na pytanie, jak wybiera spośród możliwych języków dla danego żądania. Code switching odpowiada na pytanie, czy potrafi śledzić zmiany w obrębie tego żądania. To odrębne zachowania, a wersja modelu ma znaczenie równie duże jak nazwa dostawcy.
Na przykład przewodnik Google Cloud Speech-to-Text dotyczący automatycznego rozpoznawania języka pozwala wskazać do trzech języków kandydujących i mówi, że usługa używa języka najlepiej pasującego z tej listy. Trzy w tym miejscu oznacza kandydatów do wyboru; nie jest to obietnica, że wszystkie trzy pojawią się poprawnie w jednej transkrypcji. Strona Google ogranicza też tę funkcję do określonych modeli i regionów.
Co naprawdę mówi dokumentacja modelu
| Model lub ustawienie | Udokumentowane zachowanie | Pytanie do przetestowania |
|---|---|---|
| Domyślna transkrypcja open-source Whisper | Wykrywa język na podstawie maksymalnie pierwszych 30 sekund, jeśli nie zostanie podany, a następnie używa tego języka do dekodowania. | Co się dzieje, gdy język zmienia się później w pliku? |
| Automatyczne rozpoznawanie Google Cloud Speech-to-Text V2 | Wybiera najlepiej dopasowany język spośród maksymalnie trzech kandydatów. To wybór języka, a nie opublikowana gwarancja code switching. | Czy wynik zachowuje oba języki w punktach przełączenia? |
| Konfiguracja code switching AssemblyAI | Udokumentowane ręczne ustawienie kodu języka akceptuje do dwóch kodów, z których jeden to angielski; automatyczne ustawienie code switching może wykrywać do dwóch. | Czy wybrany model i para języków są objęte tą konfiguracją? |
| AssemblyAI Universal-3.5 Pro | Dokumentuje natywny code switching wśród 18 obsługiwanych języków. Liczba osiemnaście opisuje wspierany zestaw, a nie podany maksymalny limit na plik. | Czy wszystkie języki w Twoim klipie należą do tych 18 i jak dokładne są przełączenia? |
| Deepgram Nova-2 multilingual | Udokumentowany tryb wielojęzyczny obsługuje code switching między angielskim i hiszpańskim. | Czy Twoje nagranie używa dokładnie tej pary i tego trybu? |
| Deepgram Nova-3 multilingual | Deepgram dokumentuje code switching w zestawie dziesięciu języków z language=multi. Dziesięć to zestaw języków modelu, a nie opublikowany maksymalny limit języków na nagranie. | Czy skonfigurowany tryb zachowuje krótkie przełączenia w docelowych językach? |
Te wiersze opisują różne rodzaje ograniczeń. Nie sortuj ich liczb tak, jakby mierzyły to samo. W szczególności liczba kandydatów Google oraz obsługiwane zestawy dla Universal-3.5 Pro i Nova-3 nie są porównywalnymi limitami na plik. Hostowane API transkrypcji plików OpenAI to również osobny produkt od open-source'owego kodu Whisper podlinkowanego powyżej; przetestuj jego aktualny model niezależnie.
Jak przetestować nagranie wielojęzyczne
- Przygotuj klip referencyjny. Nagraj dwie minuty z prawdziwymi mówcami. Uwzględnij każdy docelowy język, kilka przełączeń, przełączenie w środku zdania oraz nazwy ważne dla Twojego zespołu.
- Zachowaj ręczną transkrypcję referencyjną. Oznacz każdą zmianę języka i każdy rzeczownik własny, aby dokładnie zobaczyć, co zostało pominięte.
- Użyj dokładnych ustawień produkcyjnych. Przypnij wersję modelu i włącz udokumentowany przez dostawcę tryb wielojęzyczny lub code switching. Zapisz ustawienia żądania wraz z wynikiem.
- Przeczytaj każdy punkt przełączenia. Szukaj pominiętych słów, słów przepisanych w niewłaściwym alfabecie, tłumaczenia tam, gdzie prosiłeś o transkrypcję, oraz etykiet języka, które opóźniają się względem mowy.
- Powtórz test na najtrudniejszej parze. Dodaj szum lub trzeci język tylko wtedy, gdy takie warunki występują w Twoich rzeczywistych nagraniach. Porównaj wyniki z tym samym wzorcem i zapewnij ocenę człowieka tam, gdzie ma to znaczenie.
Wskaźnik dokładności dostawcy może opierać się na innych językach, innych mówcach i innych zasadach oceny. Ta procedura pokazuje, czy jego wynik działa dla Twojego audio. Jeśli Twój workflow wymaga też tłumaczenia, nasz przewodnik po narzędziach do tłumaczenia opisuje ten osobny krok.
Gdzie pasuje MirrorCaption
Ścieżka na żywo MirrorCaption jest zbudowana do napisów i tłumaczenia podczas rozmowy. Obecny klient wysyła wskazówki językowe z włączonym rozpoznawaniem języka; tłumaczenie jednokierunkowe może akceptować wykryte języki źródłowe obsługiwane przez skonfigurowaną usługę. Automatyczne wykrywanie nie dodaje obsługi nieobsługiwanego języka. Taka konfiguracja nie jest mierzalną gwarancją dla każdej pary języków ani każdego przełączenia w środku zdania. Przetestuj sesję na żywo z prawdziwymi mówcami, zanim zaczniesz na niej polegać. Nasz przewodnik po wielojęzycznym call center opisuje workflow na żywo.
Obecny interfejs przesyłania plików wysyła jedną wybraną wskazówkę języka źródłowego. Nie wyciągaj z konfiguracji na żywo wniosku, że przesłane nagrania otrzymują takie samo wielojęzyczne traktowanie. W przypadku gotowego nagrania z kilkoma językami przetestuj wynik przesyłania i użyj specjalistycznej usługi code switching albo oceny człowieka, jeśli pomija ważne fragmenty.
Każde nowe konto obejmuje jedną darmową godzinę, jednorazowo, bez karty kredytowej. Obecny plan Annual kosztuje 54.99 € za 110 godzin rocznie; przed zakupem sprawdź aktualne ceny.
Często zadawane pytania
Czy lista 99 języków oznacza, że jedno nagranie może zawierać wszystkie 99?
Nie. Lista obsługiwanych języków mówi, które języki model potrafi rozpoznać. Sprawdź osobną dokumentację dotyczącą automatycznego wykrywania i code switching w obrębie jednego nagrania.
Czy wybór trzech języków kandydujących to to samo co code switching?
Nie. Dokumentacja Google Cloud Speech-to-Text mówi, że automatyczne rozpoznawanie wybiera najlepiej dopasowany język spośród maksymalnie trzech kandydatów. To ustawienie nie obiecuje wielojęzycznej transkrypcji.
Czy open-source Whisper może automatycznie śledzić zmianę języka?
Domyślna ścieżka transkrypcji Whisper wykrywa język na podstawie maksymalnie pierwszych 30 sekund i używa tego wyboru do dekodowania. Nie zakładaj automatycznego przełączania w środku pliku; przetestuj wielojęzyczny klip albo podziel go celowo na segmenty.
Czy MirrorCaption poradzi sobie z wielojęzycznym nagraniem?
Sesje na żywo MirrorCaption używają rozpoznawania języka i wskazówek językowych. Obecny interfejs przesyłania plików wysyła jedną wybraną wskazówkę języka źródłowego. Przetestuj reprezentatywne nagranie, zanim zaczniesz polegać na wyniku przesyłania wielojęzycznego.
Niech model udowodni swoje twierdzenie
Wybierz model dla pary języków i workflow, które naprawdę masz. Sprawdź jego dokumentację code switching, zapisz dokładne ustawienia i przetestuj klip zawierający rzeczywiste punkty przełączenia. Długa lista języków to filtr wstępny; sam transkrypt jest dowodem zakupu.
Wypróbuj sesję wielojęzyczną na żywo
Użyj własnych mówców i własnej pary języków. Pierwsza godzina jest darmowa.
Rozpocznij za darmo