Wan 2.1: Cuộc Cách Mạng Tạo Video AI Mã Nguồn Mở

Wan 2.1 Là Gì?

Wan 2.1 (còn gọi là WanX 2.1) đang tạo ra bước đột phá mới với tư cách là mô hình tạo video AI hoàn toàn mã nguồn mở do Phòng thí nghiệm Tongyi của Alibaba phát triển. Khác với nhiều hệ thống tạo video độc quyền yêu cầu đăng ký đắt đỏ hoặc truy cập API, Wan 2.1 mang lại chất lượng tương đương hoặc vượt trội, đồng thời hoàn toàn miễn phí, dễ tiếp cận cho nhà phát triển, nhà nghiên cứu và chuyên gia sáng tạo.

Điều làm Wan 2.1 thực sự đặc biệt là sự kết hợp giữa tính dễ tiếp cận và hiệu suất mạnh mẽ. Phiên bản nhỏ T2V-1.3B chỉ cần ~8,2 GB bộ nhớ GPU, tương thích với hầu hết GPU phổ thông hiện nay. Trong khi đó, phiên bản lớn 14 tỷ tham số mang lại hiệu suất tiên tiến, vượt trội cả các mô hình mã nguồn mở lẫn thương mại trên các bài kiểm tra chuẩn.

Những Tính Năng Nổi Bật Của Wan 2.1

Hỗ Trợ Đa Nhiệm

Wan 2.1 không chỉ giới hạn ở tạo video từ văn bản. Kiến trúc linh hoạt của nó hỗ trợ:

• Chuyển văn bản thành video (T2V)
• Chuyển ảnh thành video (I2V)
• Chỉnh sửa video từ video gốc
• Tạo ảnh từ văn bản
• Tạo âm thanh từ video

Nhờ sự linh hoạt này, bạn có thể bắt đầu từ một đoạn văn bản, hình ảnh tĩnh, hoặc thậm chí là video có sẵn và biến đổi theo ý tưởng sáng tạo của riêng mình.

Sinh Văn Bản Đa Ngôn Ngữ

Là mô hình video đầu tiên có thể hiển thị văn bản tiếng Anh và tiếng Trung rõ ràng trong video được tạo ra, Wan 2.1 mở ra nhiều khả năng mới cho các nhà sáng tạo nội dung quốc tế. Tính năng này đặc biệt hữu ích khi làm phụ đề hoặc chữ cảnh trong video đa ngôn ngữ.

Video VAE Cách Mạng (Wan-VAE)

Trung tâm của hiệu suất Wan 2.1 là Bộ mã hóa tự động biến phân video nhân quả 3D. Đột phá công nghệ này giúp nén thông tin không-thời gian một cách hiệu quả, cho phép mô hình:

• Nén video lên tới hàng trăm lần về kích thước
• Giữ chuyển động và chi tiết sắc nét
• Hỗ trợ xuất video độ phân giải cao tới 1080p

Hiệu Suất Cao Và Dễ Tiếp Cận

Mô hình 1.3B nhỏ chỉ cần 8,19 GB VRAM và có thể tạo video 5 giây, 480p chỉ trong khoảng 4 phút trên RTX 4090. Dù tiết kiệm tài nguyên, chất lượng hình ảnh vẫn ngang ngửa hoặc vượt nhiều mô hình lớn hơn, cân bằng tối ưu giữa tốc độ và độ trung thực hình ảnh.

Chuẩn Đánh Giá & Chất Lượng Dẫn Đầu Ngành

Trong các bài đánh giá công khai, Wan 14B đạt điểm số tổng thể cao nhất trong bài kiểm tra Wan-Bench, vượt trội đối thủ ở:

• Chất lượng chuyển động
• Độ ổn định
• Độ chính xác bám sát yêu cầu đầu vào

So Sánh Wan 2.1 Với Các Mô Hình Tạo Video Khác

Khác với các hệ thống mã nguồn đóng như Sora của OpenAI hay Gen-2 của Runway, Wan 2.1 hoàn toàn miễn phí và có thể chạy cục bộ. Mô hình này vượt trội các mô hình mã nguồn mở trước đây (như CogVideo, MAKE-A-VIDEO, và Pika) cũng như nhiều giải pháp thương mại về chất lượng trên các bảng đánh giá.

Một khảo sát ngành gần đây ghi nhận rằng “trong số nhiều mô hình AI tạo video, Wan 2.1 và Sora nổi bật” – Wan 2.1 nổi bật nhờ tính mở và hiệu quả, Sora nổi bật nhờ đổi mới độc quyền. Trong các thử nghiệm cộng đồng, người dùng nhận xét khả năng chuyển ảnh thành video của Wan 2.1 vượt trội đối thủ về độ nét và cảm giác điện ảnh.

Công Nghệ Đằng Sau Wan 2.1

Wan 2.1 được xây dựng dựa trên nền tảng diffusion-transformer với VAE không-thời gian mới. Nguyên lý hoạt động như sau:

1. Đầu vào (văn bản và/hoặc hình ảnh/video) được mã hóa thành biểu diễn video tiềm ẩn bởi Wan-VAE
2. Bộ khử nhiễu diffusion-transformer (dựa trên kiến trúc DiT) lặp lại quá trình làm sạch nhiễu lên biểu diễn này
3. Quá trình được hướng dẫn bởi bộ mã hóa văn bản (phiên bản T5 đa ngôn ngữ có tên umT5)
4. Cuối cùng, bộ giải mã Wan-VAE tái tạo lại các khung hình video đầu ra

Hình: Kiến trúc tổng thể của Wan 2.1 (trường hợp chuyển văn bản thành video). Một video (hoặc ảnh) được bộ mã hóa Wan-VAE mã hóa trước thành biểu diễn tiềm ẩn. Biểu diễn này được đưa qua N khối diffusion transformer, các khối này chú ý tới embedding văn bản (từ umT5) thông qua cross-attention. Cuối cùng, bộ giải mã Wan-VAE dựng lại các khung hình video. Thiết kế này – với “bộ mã hóa/giải mã VAE nhân quả 3D bao quanh diffusion transformer” (ar5iv.org) – cho phép nén hiệu quả dữ liệu không-thời gian và hỗ trợ xuất video chất lượng cao.

Kiến trúc sáng tạo này—sở hữu “bộ mã hóa/giải mã VAE nhân quả 3D bao quanh diffusion transformer”—giúp nén hiệu quả dữ liệu không-thời gian và hỗ trợ xuất video chất lượng cao.

Wan-VAE được thiết kế riêng cho video, nén đầu vào theo hệ số ấn tượng (thời gian 4× và không gian 8×) thành biểu diễn tiềm ẩn nhỏ gọn trước khi giải mã về video đầy đủ. Sử dụng tích chập 3D và các lớp nhân quả (giữ trình tự thời gian) đảm bảo chuyển động mạch lạc trong toàn bộ nội dung sinh ra.

Hình: Khung Wan-VAE của Wan 2.1 (bộ mã hóa-giải mã). Bộ mã hóa Wan-VAE (bên trái) áp dụng chuỗi các lớp giảm mẫu (“Down”) lên video đầu vào (dạng [1+T, H, W, 3] khung hình) đến khi đạt biểu diễn tiềm ẩn gọn ([1+T/4, H/8, W/8, C]). Bộ giải mã Wan-VAE (bên phải) tăng mẫu đối xứng (“UP”) biểu diễn này về lại các khung hình video gốc. Khối màu xanh dương biểu thị nén không gian, khối cam là nén không gian+kết hợp thời gian (ar5iv.org). Nhờ nén video tới 256 lần (trên thể tích không-thời gian), Wan-VAE làm cho việc mô hình hóa video độ phân giải cao trở nên khả thi cho mô hình diffusion phía sau.

Cách Chạy Wan 2.1 Trên Máy Tính Cá Nhân

Sẵn sàng thử Wan 2.1? Hãy bắt đầu như sau:

Yêu Cầu Hệ Thống

• Python 3.8+
• PyTorch ≥2.4.0 hỗ trợ CUDA
• GPU NVIDIA (8GB+ VRAM cho mô hình 1.3B, 16-24GB cho mô hình 14B)
• Thư viện bổ sung từ repo

Các Bước Cài Đặt

1. Sao chép repo và cài đặt phụ thuộc:

   git clone https://github.com/Wan-Video/Wan2.1.git
   cd Wan2.1
   pip install -r requirements.txt
   

2. Tải trọng số mô hình:

   pip install "huggingface_hub[cli]"
   huggingface-cli login
   huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B
   

3. Tạo video đầu tiên:

   python generate.py --task t2v-14B --size 1280*720 \
     --ckpt_dir ./Wan2.1-T2V-14B \
     --prompt "A futuristic city skyline at sunset, with flying cars zooming overhead."
   

Mẹo Hiệu Suất

• Với máy có GPU bộ nhớ thấp, hãy thử mô hình t2v-1.3B nhẹ hơn
• Sử dụng tham số --offload_model True --t5_cpu để chuyển tải một phần mô hình sang CPU
• Điều chỉnh tỷ lệ khung hình với tham số --size (ví dụ, 832*480 cho 16:9 480p)
• Wan 2.1 hỗ trợ mở rộng prompt và “chế độ cảm hứng” qua các tùy chọn bổ sung

Tham khảo, một RTX 4090 có thể tạo video 5 giây 480p trong khoảng 4 phút. Hệ thống đa GPU và nhiều tối ưu hiệu suất (FSDP, lượng tử hóa, v.v.) được hỗ trợ cho nhu cầu quy mô lớn.

Vì Sao Wan 2.1 Quan Trọng Cho Tương Lai Video AI

Là một “ông lớn” mã nguồn mở thách thức các gã khổng lồ trong lĩnh vực tạo video AI, Wan 2.1 đánh dấu sự thay đổi lớn về khả năng tiếp cận. Tính miễn phí và mở khiến bất kỳ ai sở hữu GPU tầm trung đều có thể khám phá công nghệ tạo video tiên tiến mà không cần trả phí đăng ký hay API.

Với nhà phát triển, giấy phép mã nguồn mở cho phép tự do tùy chỉnh và cải tiến mô hình. Nhà nghiên cứu có thể mở rộng năng lực, còn chuyên gia sáng tạo có thể nhanh chóng thử nghiệm nội dung video hiệu quả.

Trong bối cảnh các mô hình AI độc quyền ngày càng bị khóa phí hoặc hạn chế, Wan 2.1 chứng minh hiệu suất tiên tiến hoàn toàn có thể được dân chủ hóa và chia sẻ cho cộng đồng rộng lớn.