Whisper

Tìm hiểu về OpenAI Whisper

Whisper là Mô hình hay Hệ thống?

OpenAI Whisper có thể được xem là cả mô hình và hệ thống, tùy theo ngữ cảnh.

• Là một mô hình, Whisper bao gồm các kiến trúc mạng nơ-ron được thiết kế riêng cho nhiệm vụ ASR. Nó có nhiều mô hình với kích thước khác nhau, từ 39 triệu đến 1,55 tỷ tham số. Mô hình lớn hơn có độ chính xác cao hơn nhưng cần nhiều tài nguyên tính toán hơn.
• Là một hệ thống, Whisper bao gồm không chỉ kiến trúc mô hình mà còn toàn bộ hạ tầng và quy trình xung quanh. Điều này bao gồm dữ liệu huấn luyện, phương pháp tiền xử lý và tích hợp các nhiệm vụ mà nó có thể thực hiện như nhận diện ngôn ngữ và dịch thuật.

Năng lực cốt lõi của Whisper

Chức năng chính của Whisper là chuyển đổi lời nói thành văn bản. Nó nổi bật ở các điểm:

• Nhận diện giọng nói đa ngôn ngữ: Hỗ trợ 99 ngôn ngữ, là công cụ mạnh mẽ cho các ứng dụng toàn cầu.
• Dịch lời nói: Có thể dịch lời nói từ bất kỳ ngôn ngữ nào được hỗ trợ sang văn bản tiếng Anh.
• Nhận diện ngôn ngữ: Tự động phát hiện ngôn ngữ được nói mà không cần chỉ định trước.
• Chịu được giọng nói và tạp âm: Được huấn luyện trên dữ liệu đa dạng, Whisper xử lý tốt nhiều giọng và môi trường ồn.

OpenAI Whisper hoạt động như thế nào?

Kiến trúc Transformer

Trái tim của Whisper là kiến trúc Transformer, cụ thể là mô hình mã hóa–giải mã. Transformer là mạng nơ-ron xuất sắc trong xử lý dữ liệu tuần tự và hiểu ngữ cảnh trên các chuỗi dài. Được giới thiệu trong bài báo “Attention is All You Need” năm 2017, Transformer đã trở thành nền tảng cho nhiều nhiệm vụ NLP.

Quy trình của Whisper gồm:

1. Tiền xử lý âm thanh: Âm thanh đầu vào được chia thành các đoạn dài 30 giây và chuyển thành log-Mel spectrogram, lưu trữ tần số và cường độ tín hiệu âm thanh theo thời gian.
2. Mã hóa: Xử lý spectrogram để tạo ra biểu diễn số của âm thanh.
3. Giải mã: Sử dụng mô hình ngôn ngữ để dự đoán chuỗi token văn bản (từ hoặc phân từ) tương ứng với đầu vào.
4. Sử dụng token đặc biệt: Chèn token đặc biệt để xử lý các nhiệm vụ như nhận diện ngôn ngữ, dấu thời gian và chỉ thị nhiệm vụ (ví dụ: phiên âm hoặc dịch).

Huấn luyện trên dữ liệu đa ngôn ngữ, đa nhiệm có giám sát

Whisper được huấn luyện trên một tập dữ liệu khổng lồ gồm 680.000 giờ dữ liệu có gán nhãn thu thập từ web. Bao gồm:

• Dữ liệu đa ngôn ngữ: Khoảng 117.000 giờ dữ liệu thuộc 99 ngôn ngữ khác nhau, giúp mô hình có khả năng tổng quát tốt.
• Điều kiện âm thanh đa dạng: Dữ liệu chứa âm thanh từ nhiều lĩnh vực, môi trường, đảm bảo khả năng chịu được giọng nói và tạp âm khác nhau.
• Học đa nhiệm: Huấn luyện đồng thời nhiều nhiệm vụ (phiên âm, dịch, nhận diện ngôn ngữ) giúp Whisper học được biểu diễn chung, cải thiện hiệu năng tổng thể.

Ứng dụng và trường hợp sử dụng

Dịch vụ phiên âm

• Cuộc họp ảo và ghi chú: Tự động phiên âm trên các nền tảng phục vụ âm thanh tổng quát và các ngành như giáo dục, y tế, báo chí, pháp lý.
• Sáng tạo nội dung: Tạo bản ghi cho podcast, video, livestream để tăng khả năng tiếp cận và cung cấp văn bản tham khảo.

Dịch ngôn ngữ

• Giao tiếp toàn cầu: Dịch lời nói từ một ngôn ngữ sang văn bản tiếng Anh, giúp giao tiếp xuyên ngôn ngữ.
• Công cụ học ngoại ngữ: Hỗ trợ người học nhận biết phát âm và ý nghĩa ở các ngôn ngữ khác nhau.

Tự động hóa AI & Chatbot

• Chatbot hỗ trợ giọng nói: Tích hợp Whisper vào chatbot giúp tương tác bằng giọng nói, nâng cao trải nghiệm.
• Trợ lý AI: Phát triển trợ lý có khả năng hiểu và xử lý lệnh nói ở nhiều ngôn ngữ.

Nâng cao khả năng tiếp cận

• Tạo phụ đề: Tạo phụ đề cho video, hỗ trợ người khiếm thính.
• Công nghệ hỗ trợ: Giúp thiết bị chuyển đổi, dịch lời nói cho người dùng cần hỗ trợ ngôn ngữ.

Tổng đài và hỗ trợ khách hàng

• Phiên âm thời gian thực: Cung cấp bản ghi thời gian thực cho cuộc gọi giúp nhân viên phục vụ tốt hơn.
• Phân tích cảm xúc: Phân tích văn bản phiên âm để đo cảm xúc khách hàng, nâng cao tương tác.

Ưu điểm của OpenAI Whisper

Hỗ trợ đa ngôn ngữ

Với khả năng nhận diện 99 ngôn ngữ, Whisper nổi bật ở khả năng xử lý đầu vào đa dạng. Điều này giúp nó phù hợp cho các ứng dụng, dịch vụ hướng đến khách hàng toàn cầu.

Độ chính xác và ổn định cao

Được huấn luyện trên lượng lớn dữ liệu có gán nhãn, Whisper đạt độ chính xác cao khi phiên âm. Khả năng chịu đựng giọng, phương ngữ và tạp âm giúp nó đáng tin cậy trong nhiều tình huống thực tế.

Đa năng trong nhiệm vụ

Ngoài phiên âm, Whisper còn có thể:

• Nhận diện ngôn ngữ: Phát hiện ngôn ngữ được nói mà không cần chỉ định trước.
• Dịch lời nói: Dịch lời nói từ ngôn ngữ bất kỳ sang văn bản tiếng Anh.
• Tạo dấu thời gian: Tạo dấu thời gian cấp cụm từ trong bản ghi.

Mã nguồn mở

Được phát hành dưới dạng mã nguồn mở, Whisper cho phép lập trình viên:

• Tùy chỉnh và tinh chỉnh: Điều chỉnh mô hình cho nhiệm vụ hoặc lĩnh vực cụ thể.
• Tích hợp vào ứng dụng: Nhúng Whisper vào sản phẩm, dịch vụ mà không lo về giấy phép.
• Đóng góp cộng đồng: Cải thiện mô hình và chia sẻ sáng kiến.

Hạn chế và lưu ý

Yêu cầu về tính toán

• Tốn tài nguyên: Các mô hình lớn cần nhiều sức mạnh tính toán và bộ nhớ (lên đến 10 GB VRAM với mô hình lớn nhất).
• Thời gian xử lý: Tốc độ phiên âm thay đổi, mô hình lớn xử lý chậm hơn mô hình nhỏ.

Dễ phát sinh “Hallucination”

• Phiên âm không chính xác: Whisper đôi khi có thể sinh ra văn bản không có trong lời nói (hallucination), đặc biệt ở một số ngôn ngữ hoặc chất lượng âm thanh kém.

Hỗ trợ ngôn ngữ ngoài tiếng Anh còn hạn chế

• Thiên lệch dữ liệu: Phần lớn dữ liệu huấn luyện là tiếng Anh, có thể ảnh hưởng độ chính xác ở các ngôn ngữ ít xuất hiện.
• Cần tinh chỉnh thêm: Có thể cần huấn luyện bổ sung để cải thiện hiệu năng ở các ngôn ngữ/phương ngữ cụ thể.

Giới hạn đầu vào

• Độ dài âm thanh: Whisper xử lý từng đoạn âm thanh 30 giây, gây khó khăn khi phiên âm các bản ghi dài liên tục.
• Giới hạn kích thước tập tin: Mô hình mã nguồn mở có thể hạn chế về kích thước và định dạng tập tin đầu vào.

OpenAI Whisper trong tự động hóa AI & Chatbot

Nâng cao tương tác người dùng

Tích hợp Whisper vào chatbot, trợ lý AI giúp:

• Lệnh bằng giọng nói: Cho phép người dùng tương tác bằng lời thay vì nhập văn bản.
• Hỗ trợ đa ngôn ngữ: Đáp ứng nhu cầu người dùng ở nhiều ngôn ngữ khác nhau.
• Cải thiện tiếp cận: Hỗ trợ người khuyết tật hoặc không thể dùng phương thức nhập liệu truyền thống.

Tối ưu quy trình công việc

• Tự động phiên âm: Giảm công sức ghi chú, lưu trữ thông tin.
• Phân tích dữ liệu: Chuyển lời nói thành văn bản để phân tích, giám sát, trích xuất thông tin.

Ví dụ thực tiễn

• Bot họp ảo: Công cụ tham gia họp trực tuyến để phiên âm thảo luận thời gian thực.
• Bot chăm sóc khách hàng: Hệ thống hiểu và phản hồi yêu cầu nói, nâng cao trải nghiệm khách hàng.
• Nền tảng giáo dục: Ứng dụng phiên âm bài giảng và cung cấp dịch cho học sinh.

Các lựa chọn thay thế OpenAI Whisper

Giải pháp mã nguồn mở

• Mozilla DeepSpeech: Công cụ ASR mã nguồn mở cho phép đào tạo mô hình tùy chỉnh.
• Kaldi: Bộ công cụ phổ biến trong nghiên cứu và công nghiệp nhận diện giọng nói.
• Wav2vec: Hệ thống xử lý lời nói tự giám sát của Meta AI.

API thương mại

• Google Cloud Speech-to-Text: Dịch vụ nhận diện giọng nói với hỗ trợ ngôn ngữ đa dạng.
• Microsoft Azure AI Speech: Dịch vụ giọng nói với nhiều tùy chọn tùy chỉnh.
• AWS Transcribe: Dịch vụ nhận diện giọng nói của Amazon với tính năng từ vựng tùy chỉnh.

Nhà cung cấp chuyên biệt

• Gladia: Cung cấp kiến trúc Whisper nâng cao với tính năng bổ sung.
• AssemblyAI: API chuyển giọng nói thành văn bản với tính năng kiểm duyệt nội dung.
• Deepgram: Hỗ trợ phiên âm thời gian thực và đào tạo mô hình tùy chỉnh.

Các yếu tố cân nhắc khi lựa chọn Whisper

Độ chính xác và tốc độ

• Cân đối: Mô hình lớn hơn cho độ chính xác cao hơn nhưng cần nhiều tài nguyên và xử lý chậm hơn.
• Kiểm thử: Đánh giá hiệu năng với dữ liệu thực tế của bạn.

Khối lượng âm thanh

• Khả năng mở rộng: Cân nhắc phần cứng/hạ tầng phục vụ khối lượng lớn.
• Xử lý theo lô: Triển khai phương pháp xử lý dữ liệu lớn hiệu quả.

Tính năng nâng cao

• Chức năng bổ sung: Xem xét có cần tính năng như phiên âm trực tiếp, phân biệt người nói…
• Tùy biến: Đánh giá công sức cần thiết để thêm chức năng mới.

Hỗ trợ ngôn ngữ

• Ngôn ngữ mục tiêu: Kiểm tra hiệu năng mô hình với ngôn ngữ ứng dụng của bạn.
• Tinh chỉnh: Chuẩn bị phương án huấn luyện bổ sung cho ngôn ngữ ít phổ biến.

Kỹ năng và tài nguyên

• Kỹ năng kỹ thuật: Đảm bảo đội ngũ có đủ năng lực triển khai và tùy biến mô hình.
• Hạ tầng: Đánh giá yêu cầu phần cứng và năng lực lưu trữ vận hành.

Chi phí

• Mã nguồn mở vs thương mại: Cân nhắc tiết kiệm ban đầu với mã nguồn mở và chi phí dài hạn cho bảo trì, mở rộng.
• Tổng chi phí sở hữu: Tính đến phần cứng, thời gian phát triển và hỗ trợ vận hành.

Whisper được sử dụng trong Python như thế nào?

Whisper được triển khai dưới dạng thư viện Python, cho phép tích hợp mượt mà vào các dự án Python. Sử dụng Whisper trong Python cần thiết lập môi trường, cài đặt các phụ thuộc và dùng các hàm của thư viện để phiên âm hoặc dịch âm thanh.

Thiết lập Whisper trong Python

Trước khi sử dụng Whisper, bạn cần chuẩn bị môi trường phát triển bằng cách cài đặt Python, PyTorch, FFmpeg và thư viện Whisper.

Yêu cầu

• Python: Khuyến nghị phiên bản 3.8 đến 3.11.
• PyTorch: Framework học sâu để chạy mô hình Whisper.
• FFmpeg: Công cụ dòng lệnh để xử lý tệp âm thanh, video.
• Thư viện Whisper: Gói Python do OpenAI cung cấp.

Bước 1: Cài đặt Python và PyTorch

Nếu chưa có Python, tải từ trang chủ. Để cài PyTorch, dùng pip:

pip install torch

Hoặc truy cập trang PyTorch để hướng dẫn cài đặt chi tiết theo hệ điều hành và phiên bản Python.

Bước 2: Cài đặt FFmpeg

Whisper yêu cầu FFmpeg để xử lý tệp âm thanh. Cài FFmpeg bằng trình quản lý gói phù hợp với hệ điều hành của bạn.

Ubuntu/Debian:

sudo apt update && sudo apt install ffmpeg

MacOS (với Homebrew):

brew install ffmpeg

Windows (với Chocolatey):

choco install ffmpeg

Bước 3: Cài đặt thư viện Whisper

Cài đặt gói Whisper Python bằng pip:

pip install -U openai-whisper

Để cài phiên bản mới nhất từ GitHub:

pip install git+https://github.com/openai/whisper.git

Lưu ý cho người dùng Windows

Đảm bảo đã bật Chế độ dành cho nhà phát triển:

1. Vào Cài đặt.
2. Điều hướng đến Quyền riêng tư & Bảo mật > Dành cho nhà phát triển.
3. Bật Chế độ dành cho nhà phát triển.

Các mô hình có sẵn và thông số

Whisper cung cấp nhiều mô hình với kích thước và khả năng khác nhau. Các mô hình từ tiny đến large, mỗi loại cân bằng giữa tốc độ và độ chính xác.

Chọn mô hình phù hợp

• Mô hình chỉ tiếng Anh (.en): Tối ưu cho phiên âm tiếng Anh, hiệu năng tốt hơn với âm thanh tiếng Anh.
• Mô hình đa ngôn ngữ: Có thể phiên âm nhiều ngôn ngữ, phù hợp cho ứng dụng toàn cầu.
• Kích thước mô hình: Mô hình lớn cho độ chính xác cao hơn nhưng cần nhiều tài nguyên. Chọn mô hình phù hợp năng lực phần cứng và yêu cầu hiệu năng của bạn.

Sử dụng Whisper trong Python

Sau khi thiết lập môi trường và cài đặt các thành phần cần thiết, bạn có thể bắt đầu sử dụng Whisper trong dự án Python.

Import thư viện và tải mô hình

Bắt đầu với việc import thư viện Whisper và tải mô hình:

import whisper

# Tải mô hình phù hợp
model = whisper.load_model("base")

Thay thế "base" với tên mô hình phù hợp với ứng dụng của bạn.

Phiên âm tệp âm thanh

Whisper cung cấp hàm transcribe đơn giản để chuyển tệp âm thanh thành văn bản.

Ví dụ: Phiên âm tệp tiếng Anh

# Phiên âm tệp âm thanh
result = model.transcribe("path/to/english_audio.mp3")

# In kết quả phiên âm
print(result["text"])

Giải thích

• model.transcribe(): Xử lý tệp âm thanh và trả về một dictionary gồm bản phiên âm và các thông tin khác.
• result["text"]: Lấy văn bản phiên âm từ kết quả.

Dịch âm thanh sang tiếng Anh

Whisper có thể dịch âm thanh từ nhiều ngôn ngữ sang tiếng Anh.

Ví dụ: Dịch tệp tiếng Tây Ban Nha sang tiếng Anh

# Phiên âm và dịch tệp tiếng Tây Ban Nha sang tiếng Anh
result = model.transcribe("path/to/spanish_audio.mp3", task="translate")

# In kết quả dịch
print(result["text"])

Giải thích

• task="translate": Yêu cầu mô hình dịch âm thanh sang tiếng Anh thay vì phiên âm nguyên bản.

Chỉ định ngôn ngữ

Dù Whisper có thể tự phát hiện ngôn ngữ, việc chỉ định sẽ tăng độ chính xác và tốc độ.

Ví dụ: Phiên âm tệp tiếng Pháp

# Phiên âm tệp tiếng Pháp bằng cách chỉ định ngôn ngữ
result = model.transcribe("path/to/french_audio.wav", language="fr")

# In kết quả phiên âm
print(result["text"])

Nhận diện ngôn ngữ của âm thanh

Whisper có thể xác định ngôn ngữ trong tệp âm thanh với phương thức detect_language.

Ví dụ: Nhận diện ngôn ngữ

# Tải và tiền xử lý âm thanh
audio = whisper.load_audio("path/to/unknown_language_audio.mp3")
audio = whisper.pad_or_trim(audio)

# Chuyển thành log-Mel spectrogram
mel = whisper.log_mel_spectrogram(audio).to(model.device)

# Nhận diện ngôn ngữ
_, probs = model.detect_language(mel)
language = max(probs, key=probs.get)

print(f"Detected language: {language}")

Giải thích

• whisper.load_audio(): Tải tệp âm thanh.
• whisper.pad_or_trim(): Điều chỉnh độ dài âm thanh phù hợp đầu vào mô hình.
• whisper.log_mel_spectrogram(): Chuyển thành định dạng mô hình yêu cầu.
• model.detect_language(): Trả về xác suất cho từng ngôn ngữ, xác định ngôn ngữ khả dĩ nhất.

Sử dụng nâng cao và tùy biến

Để kiểm soát sâu hơn quá trình phiên âm, bạn có thể dùng các hàm cấp thấp và tùy chọn giải mã.

Sử dụng hàm decode

Hàm decode cho phép chỉ định các tùy chọn như ngôn ngữ, nhiệm vụ, có lấy dấu thời gian hay không.

Ví dụ: Tùy chọn giải mã nâng cao

# Thiết lập tùy chọn giải mã
options = whisper.DecodingOptions(language="de", without_timestamps=True)

# Giải mã âm thanh
result = whisper.decode(model, mel, options)

# In văn bản nhận diện được
print(result.text)

Xử lý âm thanh trực tiếp từ micro

Bạn có thể tích hợp Whisper để phiên âm trực tiếp âm thanh từ micro.

Ví dụ: Phiên âm âm thanh micro trực tiếp

import whisper
import sounddevice as sd

# Tải mô hình
model = whisper.load_model("base")

# Ghi âm từ micro
duration = 5  # giây
fs = 16000  # Tần số mẫu
print("Recording...")
audio = sd.rec(int(duration * fs), samplerate=fs, channels=1, dtype='float32')
sd.wait