28 października Nvidia zaprezentowała Nemotron 3.5 Transcribe — model sztucznej inteligencji, który zamienia mowę z nagrań na tekst i jest dostępny z otwartymi wagami. Firma deklaruje obsługę 40 języków oraz możliwość tłumaczenia 31 z nich na angielski i z angielskiego na te języki. Model ma rozpoznawać do ośmiu rozmówców i przetwarzać nagrania trwające maksymalnie godzinę. To jedna z ciekawszych premier ostatnich dni, bo łączy transkrypcję, tłumaczenie i rozpoznawanie mówców w jednym narzędziu.
Narzędzie dla twórców aplikacji
Nvidia kieruje nowy model przede wszystkim do programistów budujących rozwiązania do sporządzania notatek ze spotkań, obsługi dokumentacji czy transkrypcji medycznej. Można dostosować go do konkretnej dziedziny, tak aby lepiej rozpoznawał specjalistyczne słownictwo — na przykład nazwy leków lub branżowe terminy. Wraz z modelem firma udostępniła drugą wersję zbioru danych Granary, który ma służyć do rozwijania i dostrajania systemów rozpoznawania mowy.
Istotną cechą premiery jest deklarowana możliwość uruchomienia modelu na pojedynczym układzie obliczeniowym. Według Nvidii Nemotron 3.5 Transcribe może działać zarówno na wybranych urządzeniach przeznaczonych do robotyki i lokalnych obliczeń, jak i na sprzęcie serwerowym. Dla firm może to oznaczać większy wybór: zamiast przesyłać nagrania do zewnętrznej usługi, mogą przetwarzać je na własnej infrastrukturze — zależnie od posiadanego sprzętu i konfiguracji.
Otwarte wagi, ale bez transkrypcji na żywo
Określenie „otwarte wagi” oznacza, że twórcy aplikacji mogą uzyskać dostęp do parametrów wytrenowanego modelu i wdrażać go we własnych projektach, zamiast korzystać wyłącznie z zamkniętej usługi internetowej. Nie jest to jednak narzędzie do każdej sytuacji: w dniu premiery model obsługiwał nagrania, a nie dźwięk przesyłany na żywo. To ograniczenie ma znaczenie choćby przy automatycznych napisach podczas spotkania, ale nie przekreśla zastosowań związanych z opracowywaniem rozmów już po ich zakończeniu.
Nvidia twierdzi, że Nemotron 3.5 Transcribe osiąga wysokie wyniki w testach porównujących systemy rozpoznawania mowy. Takie deklaracje należy jednak traktować jako wyniki przedstawiane przez producenta, a nie niezależną gwarancję jakości w każdej sytuacji. W praktyce dokładność może zależeć od języka, jakości nagrania, hałasu w tle i używanego słownictwa; szczególnie ważne będzie więc sprawdzenie modelu na materiałach z konkretnej branży.
Premiera wpisuje się w szerszy trend udostępniania narzędzi głosowych, które można integrować z własnymi aplikacjami. Dla użytkowników końcowych może to w przyszłości oznaczać więcej usług automatycznie przygotowujących transkrypcje, tłumaczenia i podsumowania rozmów. Na razie najwięcej zależy od tego, jak deweloperzy wykorzystają model oraz czy jego otwarta forma i obsługa wielu języków przełożą się na praktyczne rozwiązania — zwłaszcza tam, gdzie liczą się prywatność nagrań i specjalistyczna terminologia.
