Gemini 3.8 Live Avatar: AI chăm sóc khách hàng có gương mặt nói 97 ngôn ngữ

Google đã gắn một khuôn mặt video thời gian thực, khớp khẩu hình, lên mô hình chuyển giọng nói sang giọng nói của mình và bán nó trước tiên cho các quầy dịch vụ khách hàng và phòng trưng bày. Mọi khung hình đều mang thủy vân SynthID, còn không tài liệu ra mắt nào nêu giá cho khuôn mặt này.

Suốt hai thập kỷ, dịch vụ khách hàng nói chuyện với con người qua một chiếc hộp trống: một menu điện thoại, một bong bóng chat, một giọng nói tổng hợp không có gì phía sau. Ngày 25 tháng 9, Google chính thức phát hành rộng rãi Gemini 3.8 Live cùng Live Avatar trong Gemini Enterprise, và sản phẩm này là nỗ lực trực diện nhằm lấp đầy chiếc hộp ấy bằng một khuôn mặt. Avatar biết nói, cử động môi khớp với lời nói, thể hiện nét mặt và vẫn tiếp tục trò chuyện trong lúc tra cứu thông tin ở hậu trường. Nó hoạt động bằng 97 ngôn ngữ và chuyển đổi giữa các ngôn ngữ ngay giữa cuộc gọi khi khách hàng đổi ngôn ngữ. Google nhắm sản phẩm vào việc giải quyết hồ sơ bảo hiểm, làm thủ tục nhận phòng khách sạn và mua xe hơi chứ không phải các sân khấu trình diễn, và điều đó nói lên khá nhiều về nơi mà công ty cho rằng tiền của AI giọng nói đang nằm.

Bên dưới khuôn mặt là Gemini 3.8 Live, mô hình chuyển giọng nói sang giọng nói gốc mà Google công bố một tuần trước đó, cùng với biến thể Extended Thinking. Chuyển giọng nói sang giọng nói nghĩa là mô hình nghe âm thanh và trả lời bằng âm thanh mà không phải chuyển cuộc hội thoại thành văn bản rồi chuyển ngược lại. Các bot giọng nói đời cũ được xây dựng như một cuộc chạy tiếp sức: một hệ thống chép lại lời người gọi, hệ thống thứ hai quyết định cần nói gì, hệ thống thứ ba đọc to câu trả lời. Mỗi lần chuyển giao lại cộng thêm độ trễ và làm mất ngữ điệu, vì thế những bot ấy hay nói chen vào người khác, bỏ lỡ những lần bị ngắt lời và để lại những khoảng im lặng dài, máy móc. Một mô hình gốc loại bỏ cuộc tiếp sức đó và giữ nhịp điệu lời nói trong một hệ thống duy nhất.

Live Avatar bổ sung một lớp video truyền phát trực tiếp vào vòng lặp đó. Điều tách biệt nó khỏi các kỹ thuật chồng lớp video, nơi khuôn mặt được tạo chuyển động sau khi âm thanh đã có sẵn, là âm thanh và hình ảnh được tạo ra trên cùng một luồng suy luận trực tiếp thay vì theo các bước nối tiếp. Chính sự gắn kết đó giữ độ trễ đủ thấp cho một cuộc trao đổi qua lại tự nhiên, và cũng nhờ nó mà khẩu hình rơi đúng vào từng âm tiết thay vì chạy theo sau. Mô hình còn đọc được hình ảnh camera trực tiếp và nội dung chia sẻ màn hình trong khi nói, đồng thời có thể làm nổi bật các thành phần trên màn hình của khách hàng. Nhờ vậy người gọi có thể vừa mô tả vừa cho thấy vấn đề, còn tác tử có thể chỉ ngược lại vào câu trả lời.

Sản phẩm này không tự nhiên xuất hiện. Google lần đầu giới thiệu bản xem trước của Live Avatar tại Google Cloud Next 2026, còn dòng Live bắt nguồn từ năm 2024, khi Gemini Live ra mắt dưới dạng chế độ giọng nói trên điện thoại và Multimodal Live API mở cho nhà phát triển cùng với Gemini 2.0 vào tháng 12 năm đó. Mỗi phiên bản lại đẩy cùng một ý tưởng đi xa thêm một chút: ít lượt lời mang cảm giác chờ đến lượt hơn, ít quãng dừng làm lộ ra cỗ máy hơn. Bài đăng dành cho người tiêu dùng giới thiệu avatar được đưa lên ngày 24 tháng 9, do nhà khoa học nghiên cứu Shuo-yiin Chang và kỹ sư phần mềm CJ Zheng thay mặt Gemini Audio Team ký tên. Bản phát hành rộng rãi cho doanh nghiệp đến sau đó một ngày trên blog Google Cloud, và chi tiết này cho thấy Google kỳ vọng đối tượng nào sẽ trả tiền cho sản phẩm.

Với một hệ thống dịch vụ khách hàng, khuôn mặt ít quan trọng hơn những gì diễn ra phía sau nó. Gemini 3.8 Live thực hiện các lệnh gọi công cụ và API một cách bất đồng bộ: nó xác nhận yêu cầu, giữ cho cuộc trò chuyện tiếp diễn và ở hậu trường thì truy xuất đơn hàng, kiểm tra một chính sách hay tra cứu hàng tồn kho. Theo Google, mô hình phục hồi sau khi bị ngắt lời mà không đánh mất ngữ cảnh hay giao dịch đang xử lý ở hệ thống phía sau, vốn là lỗi thường khiến một người gọi đang bực bội phải quay lại từ đầu cây menu điện thoại. Sự khác biệt này rất dễ bị đánh giá thấp. Một bot im lặng sáu giây trong lúc chờ cơ sở dữ liệu trả lời sẽ có vẻ như bị hỏng; một bot nói rằng mình đang kiểm tra và tiếp tục trò chuyện thì giống một nhân viên quầy thực thụ.

Ví dụ trình diễn của Google là một hồ sơ bồi thường bảo hiểm. Khách hàng hướng camera điện thoại vào chỗ hư hỏng và kể lại sự việc, tác tử điền hồ sơ bồi thường ngay trong lúc họ nói, còn một nhóm tác tử chạy nền được xây dựng bằng Agent Development Kit của Google kiểm tra hợp đồng bảo hiểm và tập hợp bộ hồ sơ mà chuyên viên giám định sẽ cần. Mã nguồn của nhóm tác tử này được dẫn liên kết từ tài liệu ra mắt như một ví dụ mã nguồn mở, dấu hiệu cho thấy Google muốn các nhà phát triển sao chép kiến trúc không kém gì khuôn mặt. Ví dụ còn lại của công ty bình thường hơn: một vị khách làm thủ tục nhận phòng khách sạn. Cả hai đều mô tả cùng một thiết kế. Avatar là giao diện phía trước của một quy trình làm việc, không phải một cái đầu biết nói đọc theo kịch bản.

Khả năng xử lý ngôn ngữ là trụ cột thứ hai. Ngôn ngữ được nhận diện tự động, và theo Google, avatar có thể chuyển qua lại giữa 97 ngôn ngữ trong cùng một phiên mà không làm giảm độ trung thực của video hay gây trôi hình, trong khi chuyển động môi thích ứng với ngôn ngữ mới thay vì giữ khẩu hình của ngôn ngữ cũ. Việc chuyển đổi diễn ra mà không cần chuyển tiếp cuộc gọi, không phải khởi động lại hệ thống và không có quãng dừng đáng kể. Ở những thị trường mà khách hàng đổi qua lại giữa hai hay ba ngôn ngữ trong một cuộc gọi, vốn là thực tế hằng ngày của các tổng đài hỗ trợ ở Ấn Độ, Nigeria hay Philippines, đó là khác biệt giữa một hệ thống dùng được và một hệ thống buộc người ta chọn ngôn ngữ từ menu trước khi kịp giải thích vì sao mình gọi.

Equal AI, công ty đang xây dựng một trợ lý AI cá nhân tại Ấn Độ, mang lại hình dung rõ ràng nhất về quy mô, dù các con số của họ nói về mô hình giọng nói chứ không phải avatar. Công ty cho biết họ đã xử lý hơn một triệu cuộc gọi trực tiếp mỗi ngày bằng chín ngôn ngữ của Ấn Độ, và giám đốc điều hành Akhilesh Damaraju ghi nhận Gemini 3.8 Live nhờ khả năng xử lý việc bị ngắt lời tốt hơn, các cuộc hội thoại đa ngôn ngữ đáng tin cậy hơn và các lệnh gọi công cụ ổn định hơn. Khối lượng đó sẽ không khả thi về mặt kinh tế nếu dùng nhân viên con người với cùng mức sẵn sàng và cùng độ phủ ca trực. Giả định thiết kế đằng sau một đợt triển khai như vậy không phải là chứng minh khái niệm. Đó là năng lực xử lý, và ở quy mô ấy, mỗi giây cắt bớt khỏi một lượt hội thoại đều cộng dồn thành con số lớn.

Những cái tên khác trong đợt ra mắt chỉ về các đầu khác nhau của thị trường. Cox Automotive đã xây dựng cho Autotrader một avatar hội thoại cho phép người mua mô tả chiếc xe họ muốn bằng lời của chính mình, làm nổi bật các kết quả phù hợp trên màn hình và gọi các công cụ tìm kiếm, so sánh và tài chính; Marianne Johnson, giám đốc sản phẩm của Cox Automotive, coi nó là thứ thay thế cho bộ lọc và menu. Salesforce cho biết nhóm AI Research của họ đang hợp tác với Google để kết hợp Gemini 3.8 Live với Agentforce, nền tảng tác tử dành cho dịch vụ khách hàng của hãng, và Bob Van Osten, phó chủ tịch phụ trách sản phẩm của Agentforce, mô tả sự hợp tác này là hành trình tìm cách mới để đưa một yêu cầu hỗ trợ đi từ lần tiếp xúc đầu tiên đến khi được giải quyết. Specs, công ty tự xây dựng trợ lý AI riêng, thông qua kỹ sư phần mềm Eric Walsh chỉ ra khả năng phát hiện hoạt động giọng nói được cập nhật và độ trễ thấp hơn mà họ đo được trong quá trình thử nghiệm.

Mỗi giây âm thanh và video được tạo ra đều mang thủy vân SynthID. Hệ thống này, được Google DeepMind giới thiệu năm 2023 cho hình ảnh rồi sau đó mở rộng sang văn bản, âm thanh và video, nhúng vào một tín hiệu mà con người không thể nhìn thấy hay nghe thấy nhưng phần mềm có thể phát hiện. Google thiết kế nó để tồn tại qua các phép biến đổi phổ biến như nén và mã hóa lại, nên một đoạn clip xuất ra từ cuộc gọi hỗ trợ rồi đăng lên nơi khác vẫn có thể được kiểm tra nguồn gốc. Đây là cam kết an toàn cụ thể nhất trong đợt ra mắt, và nó áp dụng cho mọi avatar, dù là mẫu có sẵn hay tùy chỉnh. Lớp bảo vệ thứ hai mang tính thủ tục: avatar tùy chỉnh nằm sau một danh sách cho phép dành cho doanh nghiệp và một quy trình xác minh riêng, đó là câu trả lời của Google cho mối lo hiển nhiên rằng chỉ một bức ảnh và một mẫu giọng nói là đủ để nhân bản một người thật.

Thủy vân cũng xuất hiện đúng lúc có lợi cho mảng kinh doanh ở châu Âu. Live Avatar được cung cấp với các điểm cuối (endpoint) tại Hoa Kỳ và Liên minh châu Âu, và Đạo luật AI của EU có các quy định minh bạch, áp dụng từ tháng 8 năm 2026, yêu cầu phải thông báo cho mọi người khi họ đang tương tác với một hệ thống AI và yêu cầu âm thanh, video tổng hợp phải được đánh dấu theo cách máy có thể đọc được. SynthID đáp ứng nghĩa vụ thứ hai. Nghĩa vụ thứ nhất thuộc về bên triển khai avatar, bởi một thủy vân không ai nhìn thấy thì chẳng giúp gì trong việc cho người gọi biết rằng gương mặt thân thiện trên màn hình là do máy tạo ra. Google có thể cung cấp việc đánh dấu; còn lời thông báo phải đến từ ngân hàng, công ty bảo hiểm hay chuỗi khách sạn đưa khuôn mặt ấy ra trước khách hàng của mình.

Điều mà đợt ra mắt giữ kín là giá. Không thông báo nào nêu con số cho lớp avatar; bài đăng trên blog Cloud dẫn tới trang giá chung cho AI tạo sinh của Google và tới hình thức thông lượng được cấp phát (provisioned throughput), trong khi cả dung lượng cấp phát lẫn avatar tùy chỉnh đều phải thông qua nhân viên kinh doanh. Các tổ chức có thể chọn từ một thư viện khuôn mặt mẫu được tuyển chọn, hoặc tự tạo khuôn mặt riêng từ một bức ảnh tham chiếu duy nhất, một mẫu âm thanh và một bộ chỉ dẫn hệ thống, nhưng con đường tùy chỉnh ấy bị kiểm soát quyền truy cập chứ không phải tự phục vụ. Extended Thinking cho mô hình Live vẫn ở giai đoạn xem trước riêng tư, điều này tạm thời giới hạn độ sâu suy luận của nó so với các mô hình Gemini khác của Google. Số liệu về độ trễ và giới hạn phiên đồng thời không được công bố. Hồ sơ hạn chế này nhất quán với cách Google triển khai các bản phát hành cho doanh nghiệp, với giá và dung lượng được đàm phán thay vì niêm yết công khai.

Avatar cũng bước vào một hạng mục vốn đã tồn tại. Những công ty như Synthesia, HeyGen và D-ID đã xây dựng cả mô hình kinh doanh dựa trên người dẫn được tạo bằng AI, chủ yếu phục vụ đào tạo, tiếp thị và video bản địa hóa được kết xuất từ trước chứ không phải trực tiếp. Lời chào hàng của Google khác ở một điểm: khuôn mặt gắn liền với chính mô hình đang lắng nghe, suy luận và gọi công cụ, ngay bên trong bảng điều khiển nơi doanh nghiệp vốn đã xây dựng tác tử của mình. Nó đứng cạnh một họ mô hình âm thanh rộng hơn gồm Gemini 3.5 Transcribe, Gemini 3.5 Live Translate và hai biến thể chuyển văn bản thành giọng nói là Gemini 3.8 Flash TTS và Gemini 3.8 Flash-Lite TTS. Với một công ty đã chạy các tác tử Gemini, thêm một khuôn mặt trở thành một lựa chọn cấu hình chứ không còn là một hợp đồng riêng với nhà cung cấp khác, và chính sự đóng gói ấy là mối đe dọa cạnh tranh mà các công ty chuyên biệt sẽ phải trả lời.

Có những câu hỏi còn bỏ ngỏ mà tài liệu ra mắt không đề cập. Một khuôn mặt tạo ra những kỳ vọng mà giọng nói không tạo ra: người gọi đọc nét mặt, và một avatar mỉm cười trong khi từ chối yêu cầu bồi thường có thể gây ấn tượng tệ hơn một giọng nói trung tính đưa ra cùng câu trả lời. Băng thông cũng là vấn đề, vì một tác tử video truyền phát trực tiếp đòi hỏi nhiều hơn ở kết nối của khách hàng so với một đường dây điện thoại, và nhiều thị trường nơi hỗ trợ đa ngôn ngữ có giá trị nhất cũng là nơi dữ liệu di động đắt đỏ nhất. Không điều gì trong số này đo được từ một bài đăng ra mắt. Nó sẽ lộ ra, hoặc không, trong các chỉ số hài lòng và tỷ lệ hoàn tất của những đợt triển khai lớn đầu tiên.

Gemini 3.8 Live với Live Avatar hiện đã có mặt trong bảng điều khiển Gemini Enterprise và qua Gemini Live API, với Agent Development Kit là con đường dành cho nhà phát triển muốn xây dựng tác tử truyền phát trực tiếp. Extended Thinking chưa có lộ trình công bố nào ngoài nhóm xem trước riêng tư hiện tại. Các doanh nghiệp triển khai sản phẩm sẽ trả lời một câu hỏi mà công nghệ không thể tự trả lời: liệu việc xóa bỏ tín hiệu thị giác vốn đánh dấu một tương tác tự động có cải thiện trải nghiệm cho những người ở đầu bên kia, hay lại xóa đi dấu hiệu trung thực cuối cùng cho thấy tương tác ấy đang diễn ra.

Thẻ: Google, Gemini, customer service, enterprise AI, lip sync, speech recognition