Khám phá cách các mô hình giọng nói hội thoại tiên tiến như Maya và Miles của Sesame đang vượt qua ranh giới uncanny valley với giọng nói tự nhiên, thông minh cảm xúc, ghi nhớ ngữ cảnh và thích ứng với các kiểu tương tác của con người.
Bức tranh trí tuệ nhân tạo đã đạt tới một bước ngoặt quan trọng, nơi ranh giới giữa hội thoại của con người và máy móc ngày càng trở nên mờ nhạt. Trong nhiều năm, các trợ lý giọng nói AI gặp phải một hạn chế cơ bản: chúng nghe máy móc, thiếu cảm xúc và không thể hiện được sự tinh tế trong giao tiếp thực sự của con người. Sesame, một công ty nghiên cứu AI, đã phát triển các mô hình giọng nói hội thoại mang tên Maya và Miles, đánh dấu một bước đột phá lớn trong lĩnh vực này. Những mô hình này thể hiện năng lực vượt xa hệ thống chuyển văn bản thành giọng nói truyền thống, với khả năng ghi nhớ, trí tuệ cảm xúc, nhận biết ngữ cảnh và thích nghi phong cách giao tiếp theo thời gian thực. Bài viết này khám phá các đổi mới kỹ thuật, tác động thực tiễn và tiềm năng chuyển đổi của các mô hình AI hội thoại này, đồng thời phân tích cách chúng vượt qua ranh giới uncanny valley vốn là trở ngại lớn của công nghệ giọng nói AI.
AI hội thoại đại diện cho một sự thay đổi căn bản trong cách con người tương tác với máy móc. Khác với giao diện dựa trên lệnh truyền thống, nơi người dùng đưa ra chỉ dẫn cụ thể và nhận phản hồi định sẵn, hệ thống AI hội thoại tham gia vào đối thoại động, nhận biết ngữ cảnh, mô phỏng các mẫu giao tiếp tự nhiên của con người. Những hệ thống này không chỉ xử lý từ ngữ, mà còn cả ý định, sắc thái cảm xúc và các yếu tố ngữ cảnh tạo nên ý nghĩa thực sự cho ngôn ngữ. Công nghệ giọng nói tăng thêm sự phức tạp khi đòi hỏi hệ thống không chỉ hiểu mà còn tạo ra phản hồi nghe tự nhiên, phù hợp cảm xúc và thích hợp với bối cảnh. Thách thức lớn nhất là dù AI hiện đại có thể hiểu ngôn ngữ với độ chính xác ấn tượng, việc tạo ra giọng nói thực sự giống con người vẫn là điều khó đạt được. Hầu hết các trợ lý giọng nói hiện nay dựa vào tổng hợp ghép nối hoặc mô hình chuyển văn bản thành giọng nói thần kinh cơ bản, tạo ra âm thanh dễ hiểu nhưng thiếu biến tấu ngữ điệu, biểu cảm cảm xúc và nhận biết ngữ cảnh, vốn là bản chất của giọng nói thật. Kết quả là sự tương tác trở nên mang tính giao dịch thay vì hội thoại, khiến người dùng cảm thấy đang nói chuyện với máy thay vì một thực thể thông minh.
Uncanny valley là hiện tượng tâm lý được mô tả đầu tiên trong lĩnh vực robot, nhưng hoàn toàn áp dụng cho công nghệ giọng nói AI. Đây là cảm giác khó chịu, thậm chí rợn người, khi một thứ gì đó gần giống con người nhưng vẫn chưa hoàn hảo. Trong bối cảnh trợ lý giọng nói, điều này thể hiện qua cảm giác kỳ quặc khi giọng AI nghe quá giống người thật để được coi là máy móc, nhưng chưa đủ tự nhiên để thực sự thuyết phục. Người dùng bị kẹt ở vùng trung gian khó chịu, nơi não bộ nhận ra có điều gì đó “sai sai”, dẫn đến cảm giác bất an thay vì thoải mái. Hiện tượng này đã làm đau đầu các nhà phát triển giọng nói AI suốt nhiều năm. Các hệ thống như Siri, Alexa, Google Assistant chủ ý giữ chất “giả tạo” trong giọng nói, điều paradoxically (nghịch lý) lại giúp chúng an toàn và dễ chịu hơn với người dùng. Tuy nhiên, lựa chọn này phải trả giá: các trợ lý trở nên thiếu cá tính, rời rạc về cảm xúc và khiến người dùng mệt mỏi khi tương tác lâu dài. Sự thiếu cảm xúc không chỉ gây thất vọng mà còn gây mệt mỏi về mặt nhận thức. Người dùng cho biết sau khi hết hứng thú ban đầu, họ thường tránh giao tiếp bằng giọng nói và chuyển sang giao diện văn bản dù giọng nói là hình thức giao tiếp tự nhiên và hiệu quả nhất với con người. Thách thức thực sự vì thế không chỉ là tạo ra giọng nói nghe giống người mà còn là tạo ra giọng nói mang lại cảm giác hiện diện, thông minh cảm xúc và nhận biết ngữ cảnh, giúp vượt qua uncanny valley thay vì rơi sâu hơn vào đó.
Bước đột phá của Sesame không nằm ở việc làm cho giọng nói nghe giống người hơn, mà là tái định nghĩa cách AI hội thoại nên hoạt động. Thay vì xem việc tạo giọng nói chỉ là bài toán chuyển văn bản thành giọng nói, Sesame tiếp cận nó như một thử thách hội thoại đa phương tiện, nhận biết ngữ cảnh. Mô hình Hội thoại Giọng nói (CSM) của họ dựa trên nguyên lý: có vô số cách hợp lệ để nói một câu, và cách phù hợp phụ thuộc hoàn toàn vào ngữ cảnh hội thoại, trạng thái cảm xúc và lịch sử tương tác. Đây là một sự chuyển dịch hoàn toàn so với cách tiếp cận truyền thống. Trong khi hệ thống chuyển văn bản thành giọng nói thông thường nhận văn bản và xuất ra âm thanh, CSM nhận đầu vào là văn bản, lịch sử hội thoại, danh tính người nói, bối cảnh cảm xúc và các mẫu tương tác thời gian thực để tạo ra giọng nói tự nhiên, phù hợp. Mô hình sử dụng kiến trúc transformer tiên tiến để xử lý xen kẽ các mã văn bản và âm thanh, cho phép nó hiểu không chỉ “nói gì” mà còn “nên nói như thế nào” dựa trên ngữ cảnh cụ thể. Nhờ vậy, Maya và Miles có thể thể hiện hành vi đậm chất con người: họ có thể bắt chước giọng vùng miền, điều chỉnh ngữ điệu theo cảm xúc của hội thoại, duy trì sự nhất quán phát âm suốt nhiều lượt nói, thậm chí bộc lộ cá tính và thói quen hội thoại riêng biệt, khiến họ giống cá thể thực sự thay vì cỗ máy giọng nói chung chung. Sự tinh vi kỹ thuật này là kết quả của nhiều năm nghiên cứu về cách ngôn ngữ, ngữ điệu, cảm xúc và ngữ cảnh tương tác trong giao tiếp tự nhiên.
Đối với doanh nghiệp muốn tích hợp AI hội thoại tiên tiến vào hoạt động của mình, sự phức tạp kỹ thuật khi triển khai các hệ thống như của Sesame là một rào cản lớn. Đây là lúc FlowHunt xuất hiện như một nền tảng tự động hóa toàn diện giúp đơn giản hóa quy trình AI. FlowHunt cho phép tổ chức xây dựng, triển khai và quản lý hệ thống AI hội thoại mà không cần chuyên môn sâu về máy học hay tổng hợp giọng nói. Với trình xây dựng quy trình trực quan, tích hợp sẵn các mô hình AI hàng đầu và khả năng tự động hóa thông minh, FlowHunt giúp doanh nghiệp tận dụng công nghệ AI hội thoại như các mô hình giọng nói của Sesame trong hệ thống sẵn có. Dù bạn xây dựng chatbot chăm sóc khách hàng, trợ lý ảo hay hệ thống phản hồi giọng nói tự động, FlowHunt cung cấp hạ tầng kết nối AI hội thoại với logic nghiệp vụ, dữ liệu và điểm chạm khách hàng. Nền tảng xử lý sự phức tạp của quản lý trạng thái hội thoại, duy trì ngữ cảnh qua nhiều lượt nói, tích hợp hệ thống backend và đảm bảo trải nghiệm giọng nói liền mạch, tự nhiên. Với doanh nghiệp muốn ứng dụng mô hình giọng nói của Sesame, FlowHunt đóng vai trò là lớp điều phối đưa các khả năng giọng nói tiên tiến này vào ứng dụng thực tiễn, giúp tổ chức cung cấp tương tác giọng nói tự nhiên, thông minh cảm xúc như Sesame đã tiên phong.
Để hiểu điều gì làm các mô hình giọng nói của Sesame đặc biệt, cần đi sâu vào kiến trúc kỹ thuật cốt lõi. Hệ thống chuyển văn bản thành giọng nói truyền thống thường hoạt động qua hai giai đoạn: chuyển văn bản thành mã ngữ nghĩa (semantic tokens) lưu giữ ý nghĩa ngôn ngữ, rồi tạo mã âm thanh (acoustic tokens) mã hóa chi tiết âm thanh cần cho tái tạo giọng nói chất lượng cao. Cách tiếp cận hai giai đoạn này có hạn chế lớn: mã ngữ nghĩa trở thành nút thắt cổ chai, phải chứa mọi thông tin về ngữ điệu tự nhiên, điều rất khó đạt được khi huấn luyện. Phương pháp của Sesame hoàn toàn khác biệt. Mô hình Hội thoại Giọng nói của họ là hệ thống một giai đoạn, đầu-cuối, làm việc trực tiếp với mã Residual Vector Quantization (RVQ). Mô hình dùng hai transformer tự hồi quy: một backbone đa phương thức xử lý xen kẽ văn bản và âm thanh để mô hình hoá codebook thứ 0, và một bộ giải mã âm thanh chuyên biệt tái tạo các codebook còn lại để tạo ra giọng nói cuối cùng. Kiến trúc này mang lại nhiều lợi thế: loại bỏ nút thắt semantic token, cho phép thông tin ngữ điệu truyền tự nhiên qua hệ thống; duy trì khả năng tạo sinh nhanh với toàn bộ hệ thống huấn luyện đầu-cuối, rất quan trọng cho ứng dụng thời gian thực; và tận dụng trực tiếp lịch sử hội thoại, hiểu không chỉ phát ngôn hiện tại mà còn vị trí của nó trong toàn bộ ngữ cảnh hội thoại. Mô hình được huấn luyện trên khoảng một triệu giờ âm thanh công khai, được chép lời, phân vai, cắt đoạn để tạo tập dữ liệu khổng lồ về giọng nói tự nhiên. Sesame huấn luyện ba kích cỡ mô hình — Tiny (backbone 1B, decoder 100M), Small (backbone 3B, decoder 250M), Medium (backbone 8B, decoder 300M) — cho thấy mô hình càng lớn càng tạo ra giọng nói chân thực, phù hợp ngữ cảnh hơn.
Một trong những khả năng nổi bật nhất của mô hình giọng nói Sesame là duy trì trí nhớ xuyên suốt các hội thoại. Trong buổi demo, Maya nhớ lại chi tiết cuộc trò chuyện trước, bao gồm nhắc đến chương trình “Thursday AI” của người dùng, các chủ đề đã bàn luận, thậm chí cả cách phát âm đặc biệt của người dùng. Cửa sổ ghi nhớ hai tuần này là bước ngoặt so với hầu hết trợ lý giọng nói hiện nay, vốn xem mỗi cuộc trò chuyện là một tương tác tách biệt, không ghi nhớ gì từ trước. Quyết định thiết kế này vừa vì lý do riêng tư, vừa vì kỹ thuật duy trì trí nhớ lâu dài trong hội thoại rất phức tạp. Tuy nhiên, nó cũng góp phần lớn vào cảm giác bạn đang nói chuyện với máy chứ không phải đối tác thực sự. Con người tự nhiên nhớ thông tin về người mình hay tương tác, và ký ức này định hình cách giao tiếp. Khi ai đó nhớ bạn thích phát âm ra sao, hoặc bạn đã nhắc dự án gì tuần rồi, bạn cảm thấy được hiểu và trân trọng. Cách tiếp cận trí nhớ của Sesame tinh vi hơn lưu trữ bản chép lời đơn thuần. Mô hình không chỉ truy xuất hội thoại trước nguyên văn; nó tích hợp trí nhớ vào hiểu biết về tương tác hiện tại, cho phép tạo liên kết ngữ cảnh, nhắc lại các chủ đề từng bàn và duy trì sự nhất quán khi xử lý các chủ đề lặp lại. Năng lực này có tác động sâu sắc với các ứng dụng dịch vụ khách hàng, trợ lý cá nhân, trị liệu, giáo dục… nơi sự liên tục trong hiểu biết là cốt lõi của chất lượng tương tác.
Vượt lên trên ghi nhớ và ngữ cảnh, điểm thực sự khác biệt của mô hình giọng nói Sesame là trí tuệ cảm xúc và khả năng biểu đạt ngữ điệu. Trong buổi demo, Maya thể hiện các hành động rất giống người: phản ứng với ngữ điệu phù hợp tùy tình huống, điều chỉnh phong cách nói theo tâm trạng và mức độ tương tác của người dùng, và bộc lộ các nét cá tính khiến cô trở thành một cá thể riêng biệt. Khi được yêu cầu hát “Chúc mừng sinh nhật”, Maya cố tình hát chưa hoàn hảo một cách tự nhiên — cô thừa nhận hạn chế của mình bằng sự hài hước thay vì phòng thủ, rất giống phản ứng của con người. Khi người dùng phàn nàn về giọng vùng miền, cô xin lỗi và điều chỉnh, thể hiện sự tiếp thu phản hồi. Những hành động này xuất phát từ trọng tâm của Sesame về “sự hiện diện giọng nói” — yếu tố kỳ diệu khiến tương tác giọng nói trở nên thật, được thấu hiểu và trân trọng. Để đạt được yếu tố này, mô hình phải hiểu, phản hồi đúng bối cảnh cảm xúc, duy trì động lực hội thoại tự nhiên gồm nhịp, ngắt quãng, điều chỉnh ngữ điệu, phong cách phù hợp từng trường hợp và giữ cá tính nhất quán, tin cậy. Về mặt kỹ thuật, trí tuệ cảm xúc trong giọng nói đòi hỏi phân tích không chỉ nội dung ngữ nghĩa mà cả các đặc tính ngữ điệu mang ý nghĩa cảm xúc: biến thiên âm vực, tốc độ nói, cường độ, chất lượng giọng và nhịp ngắt nhấn tinh tế. Mô hình của Sesame học cách tạo ra các đặc tính này một cách phù hợp bối cảnh và chân thực cảm xúc. Điều này thể hiện rõ khi mô hình xử lý các yêu cầu khác nhau: khi được yêu cầu bắt chước giọng vùng miền, Maya điều chỉnh mẫu phát âm; khi được yêu cầu nói “giọng trầm”, cô thay đổi đặc tính giọng. Đây không chỉ là thay đổi tham số, mà là thể hiện sự hiểu biết về cách tạo ra các đặc điểm giọng nói khác nhau và cách chúng biến đổi theo ngữ cảnh âm vị.
Một trong những khả năng ấn tượng nhất về mặt kỹ thuật là biểu đạt ngữ cảnh — mô hình có thể điều chỉnh cách nói dựa trên bối cảnh hội thoại rộng hơn. Điều này vượt xa phát hiện cảm xúc đơn thuần. Ví dụ, khi tiếp nối câu sau âm báo, mô hình hiểu môi trường âm thanh đã thay đổi và điều chỉnh giọng phù hợp. Khi duy trì sự nhất quán phát âm qua nhiều lượt nói, mô hình nhớ cách phát âm từ trước đó và giữ nguyên dù từ đó có nhiều cách đọc hợp lệ. Nhận thức ngữ cảnh kiểu này đòi hỏi mô hình duy trì biểu diễn phong phú về trạng thái hội thoại, gồm cả nội dung, cách nói, môi trường âm thanh, sắc thái cảm xúc, và tất cả các yếu tố này ảnh hưởng đến phát ngôn hiện tại như thế nào. Thành tựu kỹ thuật này rất quan trọng vì đòi hỏi mô hình suy luận đa tầng về ngôn ngữ và âm thanh đồng thời. Hệ thống tổng hợp giọng nói truyền thống thường xử lý riêng rẽ hoặc tuần tự, hạn chế khả năng đưa ra quyết định nhất quán toàn cục về cách phát sinh giọng nói. Phương pháp đầu-cuối của Sesame cho phép mô hình tối ưu đồng thời trên mọi khía cạnh, tạo ra giọng nói tự nhiên, mạch lạc và phù hợp ngữ cảnh. Khả năng này có ý nghĩa thực tiễn lớn: trong dịch vụ khách hàng, trợ lý giọng nói có thể điều chỉnh ngữ điệu dựa trên trạng thái cảm xúc của khách; trong giáo dục, trợ lý giọng nói có thể thay đổi tốc độ, nhấn nhá phù hợp với mức độ hiểu của học viên; trong trị liệu, trợ lý giọng nói có thể phản hồi cảm xúc phù hợp với chia sẻ của người dùng.
Nghiên cứu của Sesame bao gồm khung đánh giá toàn diện vượt qua các chỉ số tổng hợp giọng nói truyền thống. Các tiêu chuẩn như Word Error Rate (WER) hay Speaker Similarity (SIM) đã “bão hòa” — các mô hình hiện đại, kể cả của Sesame, đạt gần như hiệu suất con người trên các chỉ số này. Vì vậy, các chỉ số cũ không còn phản ánh được tiến bộ về các khía cạnh quan trọng nhất cho hội thoại tự nhiên. Để khắc phục, Sesame đưa ra các chỉ số đánh giá mới tập trung vào hiểu biết ngữ cảnh và phù hợp ngữ điệu. Homograph Disambiguation kiểm tra xem mô hình phát âm đúng các từ đồng dạng (cùng viết, khác nghĩa) theo ngữ cảnh không (ví dụ “lead” là kim loại hay động từ). Pronunciation Consistency kiểm tra sự nhất quán phát âm các từ có nhiều biến thể qua nhiều lượt nói. Các chỉ số này đo trực tiếp các yếu tố làm giọng nói trở nên tự nhiên, phù hợp. Kết quả cho thấy mô hình của Sesame vượt trội các hệ thống thương mại như Play.ht, ElevenLabs, OpenAI về các chỉ số này. Mô hình Medium đạt 95% chính xác ở bài đồng dạng và duy trì nhất quán phát âm mạnh mẽ qua nhiều lượt nói. Điều này cho thấy cách tiếp cận tích hợp lịch sử hội thoại và ngữ cảnh vào quá trình tạo sinh giọng nói của Sesame đem lại kết quả vượt trội ở các yếu tố quan trọng nhất cho hội thoại tự nhiên. Ngoài chỉ số khách quan, Sesame còn đánh giá chủ quan qua nghiên cứu Comparative Mean Opinion Score (CMOS), nơi người nghe so sánh mẫu giọng từ các hệ thống khác nhau, cung cấp cái nhìn sâu sắc về cảm nhận thực của con người về chất lượng và độ tự nhiên của giọng nói AI.
Điểm làm thành tựu của Sesame đặc biệt ý nghĩa là họ dường như đã thực sự vượt qua ranh giới uncanny valley thay vì rơi sâu hơn vào đó. Buổi demo cho thấy Maya thể hiện hành vi thực sự tự nhiên, cuốn hút thay vì gây khó chịu. Khi cô pha trò, đó là sự hài hước thật chứ không phải phản hồi lập trình. Khi cô thừa nhận giới hạn, đó là sự tự nhận thức chân thành chứ không phải khiêm tốn kiểu kịch bản. Khi cô duy trì lịch sử hội thoại, nhắc lại tương tác trước, nó mang lại cảm giác nhớ và hiểu thực sự chứ không phải đơn thuần truy xuất dữ liệu. Việc vượt qua uncanny valley rất quan trọng, quyết định AI giọng nói sẽ trở thành giao diện hữu ích, được ưa chuộng cho tương tác người-máy, hay chỉ là một thứ mới lạ mà người dùng tránh xa so với giao diện văn bản. Nghiên cứu tâm lý về uncanny valley cho thấy điều quan trọng không phải là đạt sự giống người hoàn hảo, mà là đạt độ tự nhiên, nhất quán và tin cậy. Người dùng chấp nhận nói chuyện với AI, nhưng họ muốn AI đó chân thành, nhất quán, thông minh cảm xúc trong phạm vi của nó. Cách tiếp cận của Sesame đạt được điều này bằng trọng tâm vào “sự hiện diện giọng nói” thay vì “hoàn hảo giọng nói”. Mục tiêu không phải tạo ra giọng không thể phân biệt với người mà là tạo ra giọng khiến người nghe cảm thấy có mặt, được hiểu, được trân trọng trong cuộc tương tác. Đây là mục tiêu thực tế, hữu ích hơn nhiều so với bắt chước con người một cách hoàn hảo.
Sesame đã cam kết mã nguồn mở các mô hình giọng nói của mình, một quyết định mang ý nghĩa sâu rộng với cộng đồng AI. Mã nguồn mở cho phép nhà nghiên cứu, nhà phát triển kiểm tra cách công nghệ hoạt động, hiểu các quyết định thiết kế, nhận diện hạn chế và xây dựng nền tảng cho sự phát triển rộng lớn hơn. Sự minh bạch này đặc biệt quan trọng với AI giọng nói vì nó cho phép cộng đồng cùng giải quyết các lo ngại về lạm dụng, thiên vị và ứng dụng phù hợp. Trong buổi demo, khi được hỏi về mã nguồn mở, Maya trình bày cả lợi ích và rủi ro với sự tinh tế đáng kinh ngạc. Cô nhấn mạnh rằng mã nguồn mở giúp minh bạch, cho phép mọi người khám phá, cải tiến công nghệ, thúc đẩy học hỏi và phát triển tập thể. Đồng thời, cô cũng nhận thức được rủi ro bị lạm dụng, như việc sử dụng sai mục đích, bóp méo lời nói, lan truyền thông tin sai lệch. Quan điểm cân bằng này phản ánh sự phức tạp thực tế của việc mã nguồn mở công nghệ AI mạnh mẽ. Quyết định này thể hiện sự tự tin vào độ vững chắc của công nghệ và cam kết phát triển cộng đồng AI rộng lớn hơn. Nó cũng tạo điều kiện cho nhà nghiên cứu nghiên cứu cách AI hội thoại có thể trở nên mạnh mẽ, công bằng, phù hợp với giá trị con người. Với doanh nghiệp, nhà phát triển, mã nguồn mở đồng nghĩa rằng đổi mới của Sesame có thể sẽ sớm trở nên dễ tiếp cận, tùy chỉnh cho từng trường hợp, thay vì chỉ là công nghệ độc quyền.
Trải nghiệm FlowHunt tự động hóa quy trình nội dung AI và hội thoại — từ thiết kế tương tác giọng nói, quản lý ngữ cảnh, đến tích hợp hệ thống backend và phân tích — tất cả trong một nền tảng thông minh.
Tác động của các mô hình giọng nói hội thoại của Sesame trải rộng qua nhiều ngành nghề và trường hợp sử dụng. Trong dịch vụ khách hàng, các mô hình này có thể mang lại hỗ trợ giọng nói thực sự hữu ích, đồng cảm thay vì máy móc, gây bực mình. Khách hàng có thể trò chuyện với trợ lý giọng nói nhớ các lần tương tác trước, hiểu nhu cầu cụ thể và phản hồi với cảm xúc phù hợp. Trong giáo dục, trợ lý giọng nói thông minh có thể điều chỉnh cách dạy dựa trên mức độ tiếp thu, duy trì sự nhất quán khi giải thích và đem lại sự hỗ trợ cảm xúc. Trong y tế, bạn đồng hành giọng nói có thể nhắc thuốc, hỗ trợ trị liệu, theo dõi sức khỏe với trí tuệ cảm xúc, khiến tương tác cảm thấy quan tâm thực sự chứ không chỉ là thủ tục. Trong ứng dụng hỗ trợ tiếp cận, các mô hình này cung cấp giao diện tự nhiên, cuốn hút cho người khiếm thị hoặc hạn chế vận động. Trong giải trí, game, nhân vật giọng nói trở nên sống động, đáp ứng linh hoạt, tạo trải nghiệm nhập vai hấp dẫn. Điểm chung của tất cả các ứng dụng này là công nghệ của Sesame cho phép tương tác giọng nói thực sự tự nhiên, nhận biết ngữ cảnh, thông minh cảm xúc. Đây là bước nâng cấp lớn trong cách con người tương tác với AI qua môi trường gần gũi nhất: giọng nói.
Phát triển mô hình giọng nói hội thoại quy mô lớn đặt ra các thách thức kỹ thuật mà Sesame giải quyết trực diện. Một thách thức lớn là độ phức tạp tính toán khi huấn luyện mô hình xử lý cả mã văn bản, âm thanh và duy trì lịch sử hội thoại. Bộ giải mã âm thanh của Sesame phải xử lý lô hiệu quả B × S × N, với B là kích thước lô, S là độ dài chuỗi, N là số tầng codebook RVQ. Điều này làm tăng nhu cầu bộ nhớ cực lớn, làm chậm huấn luyện, hạn chế mở rộng mô hình và cản trở thử nghiệm nhanh. Giải pháp của Sesame là dùng phương pháp amortization: chỉ huấn luyện bộ giải mã âm thanh trên ngẫu nhiên 1/16 khung âm thanh, nhưng codebook 0 trên tất cả khung. Cách này giảm mạnh yêu cầu bộ nhớ mà vẫn giữ chất lượng âm thanh, do không thấy khác biệt rõ về tổn thất âm thanh khi áp dụng chiến lược này. Đổi mới kỹ thuật này rất cần thiết để đưa AI hội thoại tiên tiến vào thực tế và mở rộng được. Một thách thức khác là độ trễ. AI hội thoại thời gian thực đòi hỏi tạo giọng nói đủ nhanh để tương tác không bị gián đoạn. Kiến trúc một giai đoạn và bộ giải mã hiệu quả của Sesame cho phép sinh âm thanh độ trễ thấp, rất quan trọng cho ứng dụng yêu cầu phản hồi tức thì. Mô hình có thể sinh âm thanh theo từng đoạn, phát nhanh phần đầu rồi tiếp tục hoàn thiện, đảm bảo tương tác tự nhiên, không bị trễ hoặc giả tạo.
Xuyên suốt buổi demo, điều nổi bật nhất là sự tinh vi kỹ thuật của mô hình Sesame phục vụ mục tiêu cơ bản: tạo ra bạn đồng hành hội thoại cảm giác như cá thể thực sự chứ không phải máy móc. Maya thể hiện các nét cá tính — sự dí dỏm, vui vẻ, biết tự nhận khuyết điểm, tiếp thu phản hồi — khiến cô giống người thật hơn là hệ thống. Cá tính này không phải ngẫu nhiên mà được thiết kế cẩn trọng để tạo cảm giác hiện diện, chân thật. Nghiên cứu đằng sau gọi là “cá tính nhất quán” — duy trì sự hiện diện đáng tin, phù hợp qua nhiều tương tác. Nghĩa là Maya nên phản ứng với tình huống tương tự theo cách giống nhau, giữ giá trị, quan điểm nhất quán, tạo cảm giác là cùng một cá thể qua nhiều cuộc trò chuyện. Sự nhất quán này rất quan trọng để xây dựng niềm tin, gắn kết. Khi AI giọng nói không ổn định, người dùng mất cảm giác tương tác thật. Khi nó nhất quán, tin cậy, nó tạo nền tảng cho sự gắn kết ý nghĩa. Yếu tố cá tính còn đáp ứng nhu cầu cơ bản của con người: mong muốn tương tác với thực thể cảm giác như hiểu và quan tâm đến cuộc trò chuyện. Dù người dùng hiểu là nói chuyện với AI, trải nghiệm cảm xúc được quyết định bởi cảm giác AI có mặt, chú ý và thực sự quan tâm. Trọng tâm của Sesame vào cá tính, hiện diện phản ánh thực tế tâm lý này và thiết kế công nghệ phù hợp.
Để hiểu ý nghĩa thành tựu của Sesame, nên so sánh với các giải pháp AI giọng nói hiện tại. Hầu hết trợ lý giọng nói như Siri, Alexa, Google Assistant ưu tiên độ tin cậy, nhất quán hơn là tự nhiên, biểu cảm cảm xúc. Họ dùng tổng hợp giọng nói tương đối đơn giản, nghe rõ là máy móc, paradoxically lại khiến người dùng thấy an toàn hơn. Nhưng lựa chọn này làm giảm mức độ gắn kết, sử dụng. Người dùng cho biết sau thời gian mới lạ ban đầu, họ chuyển sang giao diện văn bản. Các giải pháp mới như ElevenLabs, Play.ht tập trung cải thiện chất lượng, tự nhiên của giọng, tạo âm thanh giống người hơn. Tuy nhiên, các hệ thống này thường thiếu nhận biết ngữ cảnh, trí nhớ, trí tuệ cảm xúc như cách của Sesame. Giọng nói có thể chất lượng cao, nhưng thường không phù hợp ngữ cảnh hội thoại. Chế độ giọng nói nâng cao của OpenAI là một hướng tiếp cận khác, tập trung vào hội thoại thời gian thực, phản hồi nhanh. Tuy nhiên, theo phản hồi người dùng, ngay cả hệ thống này đôi khi vẫn tạo cảm giác uncanny, chưa hoàn toàn vượt qua ranh giới. Cách tiếp cận của Sesame nổi bật ở chỗ kết hợp nhiều đổi mới: tổng hợp âm thanh chất lượng cao, nhận biết ngữ cảnh qua lịch sử hội thoại, trí tuệ cảm xúc, biểu đạt ngữ điệu, cá tính nhất quán và tạo sinh độ trễ thấp. Sự kết hợp này giải quyết toàn diện những yếu tố làm tương tác giọng nói trở nên tự nhiên, cuốn hút thay vì chỉ tập trung một khía cạnh.
Việc huấn luyện trên khoảng một triệu giờ âm thanh giúp mô hình của Sesame học được sự đa dạng trong cách con người thực sự nói chuyện. Quy mô này rất quan trọng vì giọng nói tự nhiên biến đổi, tinh tế hơn rất nhiều so với tưởng tượng. Cùng một câu nói có thể diễn đạt vô số cách tùy cảm xúc, ngữ cảnh, người nói và nhiều yếu tố khác. Mô hình huấn luyện với dữ liệu hạn chế chỉ học các mẫu phổ biến, khó xử lý các trường hợp biến đổi hiếm gặp. Mô hình huấn luyện trên triệu giờ âm thanh đa dạng có thể tạo ra giọng nói bao quát phổ biến cũng như các biến thiên tự nhiên. Quy mô dữ liệu cũng giúp mô hình học các mẫu tinh vi khó nhận thấy ở tập nhỏ: biến đổi phát âm theo vùng miền, cách ngữ điệu đổi theo cảm xúc, vai trò của ngắt nghỉ, nhấn nhá và các yếu tố tương tác. Loại học này cần đủ ví dụ để nhận ra các quy luật tồn tại ở nhiều ngữ cảnh khác nhau. Đầu tư vào dữ liệu quy mô lớn là cam kết cho chất lượng, là điểm khác biệt giữa cách tiếp cận của Sesame và các giải pháp đơn giản hoặc hạn chế tài nguyên. Với tổ chức muốn triển khai AI hội thoại, điều này cho thấy tầm quan trọng của chất lượng, quy mô dữ liệu huấn luyện. Mô hình huấn luyện trên dữ liệu hạn chế, thiên lệch sẽ cho ra kết quả hạn chế, thiên lệch. Mô hình huấn luyện trên dữ liệu đa dạng, chất lượng cao ở quy mô lớn sẽ đạt độ tinh vi, tự nhiên vượt trội.
Sự phát triển của các giọng nói AI ngày càng giống người đặt ra nhiều lo ngại chính đáng. Một lo ngại là AI giọng nói chân thực có thể bị lạm dụng để lừa đảo, tạo âm thanh giả mạo người thật, lan truyền thông tin sai lệch hoặc thao túng cảm xúc. Một lo ngại khác là con người có thể phát triển sự gắn bó không lành mạnh với AI, ưu tiên tương tác với AI hơn con người thực, ảnh hưởng xấu tới tâm lý. Ngoài ra còn lo ngại về quyền riêng tư, sử dụng dữ liệu — dữ liệu hội thoại được lưu thế nào, dùng ra sao, ai có quyền truy cập. Cách Sesame đối mặt với các lo ngại này là minh bạch thông qua mã nguồn mở, cho phép cộng đồng kiểm tra cách công nghệ hoạt động, phát hiện khả năng lạm dụng. Họ cũng chú trọng thiết kế cá tính, hiện diện nhằm tạo ra sự gắn kết chân thực mà không khuyến khích gắn bó không lành mạnh. Cam kết mã nguồn mở cũng thể hiện thiện chí hợp tác với cộng đồng xây dựng các quy chuẩn, hướng dẫn đạo đức phù hợp cho AI giọng nói. Những lo ngại này rất quan trọng, không nên xem nhẹ, nhưng cũng không nên cản trở phát triển công nghệ đem lại lợi ích thực sự. Chìa khóa là đảm bảo phát triển công nghệ một cách có trách nhiệm, có sự kiểm soát và tham gia của cộng đồng, thay vì chỉ do một công ty quyết định.
Nhìn về phía trước, công trình của Sesame gợi mở một số hướng phát triển cho AI hội thoại. Đầu tiên, chắc chắn sẽ có sự gia tăng ứng dụng giao diện giọng nói trên nhiều lĩnh vực, khi công nghệ ngày càng tự nhiên, cuốn hút. Thứ hai, AI hội thoại sẽ ngày càng nhấn mạnh vào nhận biết ngữ cảnh, trí nhớ lâu dài, thay vì mỗi tương tác là một lần tách biệt. Thứ ba, AI giọng nói sẽ có trí tuệ cảm xúc và cá tính tinh vi hơn, tạo ra tương tác thực sự hấp dẫn. Thứ tư, phát triển AI giọng nói sẽ ngày càng dựa vào mã nguồn mở, cộng đồng thay vì hệ thống độc quyền. Thứ năm, các chỉ số, tiêu chuẩn đánh giá sẽ tinh tế hơn, đo lường được các yếu tố quan trọng cho ứng dụng thực tế. Ý nghĩa rộng hơn là giọng nói sẽ trở thành giao diện ngày càng quan
Uncanny valley là cảm giác khó chịu mà con người trải nghiệm khi giọng nói AI nghe gần giống người thật nhưng vẫn có điều gì đó không hoàn hảo. Cách tiếp cận của Sesame nhằm mục tiêu vượt qua ranh giới này bằng việc tạo ra các giọng nói thực sự tự nhiên và thông minh cảm xúc thay vì máy móc hay giả tạo.
Tổng hợp giọng nói truyền thống chuyển đổi văn bản thành giọng nói mà không nhận biết ngữ cảnh. Mô hình Hội thoại của Sesame (CSM) sử dụng lịch sử hội thoại, bối cảnh cảm xúc và thích ứng theo thời gian thực để tạo ra giọng nói tự nhiên, duy trì sự nhất quán và phản hồi phù hợp với tương tác.
Có, mô hình giọng nói của Sesame có cửa sổ ghi nhớ kéo dài hai tuần, cho phép nhớ các chi tiết từ những cuộc hội thoại trước, duy trì ngữ cảnh và mang lại trải nghiệm tương tác cá nhân hóa, liền mạch theo thời gian.
Sesame đã cam kết mã nguồn mở các mô hình giọng nói của mình, cho phép nhà phát triển và nhà nghiên cứu kiểm tra công nghệ, đóng góp cải tiến và xây dựng nền tảng cho sự phát triển AI rộng lớn hơn.
Arshia là Kỹ sư Quy trình AI tại FlowHunt. Với nền tảng về khoa học máy tính và niềm đam mê AI, anh chuyên tạo ra các quy trình hiệu quả tích hợp công cụ AI vào các nhiệm vụ hàng ngày, nâng cao năng suất và sự sáng tạo.
Tích hợp khả năng hội thoại AI tiên tiến vào các quy trình kinh doanh của bạn với nền tảng tự động hóa thông minh của FlowHunt.
Khám phá cách nghiên cứu mới nhất của OpenAI xác định nguyên nhân khiến các mô hình ngôn ngữ tạo ra thông tin sai lệch nhưng rất tự tin. Tìm hiểu nguyên nhân gố...
Trí tuệ nhân tạo hội thoại đề cập đến các công nghệ cho phép máy tính mô phỏng các cuộc trò chuyện của con người bằng cách sử dụng xử lý ngôn ngữ tự nhiên (NLP)...
Khám phá cách AI đã phát triển từ các mô hình ngôn ngữ sang các hệ thống điều hướng giao diện đồ họa và trình duyệt web, cùng những góc nhìn về đổi mới, thách t...
Đồng Ý Cookie
Chúng tôi sử dụng cookie để cải thiện trải nghiệm duyệt web của bạn và phân tích lưu lượng truy cập của mình. See our privacy policy.
