Mô hình text-video AI | Van Gogh Studio

Giới thiệu: Vượt Qua Màn Ảo Thuật

Chúng ta đang sống trong thời đại của những phép màu kỹ thuật số. Chỉ với vài thao tác gõ phím, chúng ta có thể tạo ra những phong cảnh ngoài hành tinh rộng lớn, hồi sinh các nhân vật lịch sử và dàn dựng những cảnh phim mà trước đây cần đến kinh phí khổng lồ của Hollywood. Các phần mềm tạo video AI đã trở thành cây đũa thần hiện đại của chúng ta. Nhưng đối với những người sáng tạo thực sự tò mò, những nhà phát triển tinh tế và những nhà chiến lược có tầm nhìn xa, bản thân phép thuật thôi là chưa đủ. Chúng ta phải hỏi: Mánh khóe này hoạt động như thế nào?

Điều gì ẩn chứa bên dưới ô nhập liệu đơn giản và nút "Tạo"? Đâu là những bản thiết kế kiến trúc cơ bản cho phép một cỗ máy có thể tạo ra những thước phim chuyển động? Hiểu được điều này không chỉ là một bài tập lý thuyết. Đó là chìa khóa để mở khóa khả năng kiểm soát sáng tạo sâu sắc hơn, dự đoán tương lai của ngành công nghiệp và đưa ra những quyết định sáng suốt về các công cụ mà bạn đầu tư thời gian và tiền bạc vào.

Đây không phải là bài đánh giá sản phẩm hay bảng xếp hạng. Đây là một cuộc thám hiểm vào tận cốt lõi của cỗ máy. Chào mừng bạn đến với cẩm nang toàn diện hơn 5000 từ của chúng tôi về công nghệ đằng sau các mô hình chuyển văn bản thành video AI. Chúng ta sẽ cùng nhau khám phá từ những khái niệm nền tảng đến những nghiên cứu tiên tiến nhất, làm sáng tỏ những thuật ngữ phức tạp và hé lộ những ý tưởng tinh tế tạo nên cuộc cách mạng này.

Hãy chuẩn bị để khám phá:

Đây là khóa học chuyên sâu về kiến trúc tạo video AI. Hãy cùng mở hộp đen ra.

Chương 1: Bước nhảy vọt lượng tử - Tại sao các mô hình khuếch tán lại thắng thế

Để hiểu chúng ta đang ở đâu, trước tiên chúng ta phải hiểu chúng ta đến từ đâu. Trong nhiều năm, mô hình thống trị trong tạo sinh AI là Mạng đối kháng tạo sinh (GAN). Một GAN bao gồm hai mạng nơ-ron—một Bộ tạo và một Bộ phân biệt—bị khóa trong một trò chơi mèo vờn chuột bất tận. Bộ tạo (Generator) tạo ra các hình ảnh giả, và Bộ phân biệt (Discriminator) cố gắng phân biệt chúng với hình ảnh thật. Theo thời gian, Bộ tạo trở nên giỏi đến mức đánh lừa được Bộ phân biệt, khiến cho các tác phẩm của nó trở nên không thể phân biệt được với thực tế.

Mạng GAN đã tạo ra cuộc cách mạng trong việc tạo ra hình ảnh, nhưng chúng luôn gặp khó khăn với video. Vấn đề cốt lõi là sự bất ổn định theo thời gian. Mặc dù GAN có thể tạo ra một khung hình đơn lẻ chân thực, nhưng nó gặp khó khăn rất lớn trong việc đảm bảo rằng khung hình tiếp theo là sự tiếp nối hợp lý và mạch lạc của khung hình đầu tiên. Điều này thường dẫn đến hiện tượng nhấp nháy, biến dạng và hoàn toàn thiếu tính ổn định của đối tượng.

Và rồi xuất hiện Mô hình khuếch tán. Thay vì cố gắng tạo ra một video hoàn hảo trong một bước duy nhất, mô hình khuếch tán áp dụng một phương pháp hoàn toàn khác, có hệ thống hơn, lấy cảm hứng từ nhiệt động lực học.

Giải thích quy trình khuếch tán:

Quy trình tiến (Thêm nhiễu): Hãy tưởng tượng bạn có một đoạn video rõ nét, nguyên vẹn. 1. Quá trình thuận (Học cách khử nhiễu): Đây là nơi điều kỳ diệu xảy ra. Mô hình AI được huấn luyện trên một nhiệm vụ đơn giản nhưng sâu sắc: ở bất kỳ bước nào, hãy nhìn vào video bị nhiễu và dự đoán chính xác loại nhiễu đã được thêm vào. Nó không cố gắng dự đoán video cuối cùng, sạch sẽ. Nó chỉ cố gắng dự đoán nhiễu.
Sau khi mô hình được huấn luyện, quá trình tạo ảnh là quá trình ngược lại. Bạn bắt đầu với một khung hình toàn nhiễu ngẫu nhiên. Bạn đưa khung hình này vào mô hình và nói, "Dựa trên lời nhắc bằng văn bản 'một con mèo đang cưỡi ván trượt', bạn nghĩ loại nhiễu nào có trong ảnh tĩnh này?" Mô hình dự đoán nhiễu, và bạn trừ đi một lượng nhỏ nhiễu được dự đoán đó khỏi hình ảnh. Bạn lặp lại quá trình này hàng trăm lần. Mỗi bước, hình ảnh sẽ bớt nhiễu hơn một chút và khớp hơn một chút với yêu cầu, cho đến khi một video rõ ràng, mạch lạc xuất hiện từ những hình ảnh nhiễu, giống như từ một bức ảnh đang được tráng.

Quá trình khử nhiễu từng bước này đã chứng minh được tính ổn định và hiệu quả hơn nhiều trong việc tạo video so với phương pháp "tất cả hoặc không có gì" của GAN, cung cấp nền tảng ổn định cho cuộc cách mạng hiện tại.

Chương 2: Cuộc Cách mạng Transformer, được tái hiện cho Video (DiT)

Trong vài năm đầu của kỷ nguyên khuếch tán, kiến trúc được sử dụng phổ biến nhất cho mô hình khử nhiễu là U-Net. U-Net là một loại Mạng thần kinh tích chập (CNN) rất tốt trong các tác vụ chuyển đổi hình ảnh sang hình ảnh. Tuy nhiên, vào năm 2022, một bài báo có tiêu đề "Các mô hình khuếch tán có thể mở rộng với Transformer" đã giới thiệu một ý tưởng đột phá: điều gì sẽ xảy ra nếu chúng ta thay thế U-Net bằng một Transformer? Điều này đã khai sinh ra Bộ chuyển đổi khuếch tán (DiT), kiến trúc hiện đang cung cấp sức mạnh cho Sora của OpenAI và nhiều mô hình tiên tiến khác [1].

2.1 Tại sao Transformer là sự phù hợp tự nhiên

Transformer ban đầu được thiết kế cho xử lý ngôn ngữ tự nhiên (NLP). Siêu năng lực của chúng là hiểu được mối quan hệ giữa các phần tử trong một chuỗi (giống như các từ trong một câu). DiT áp dụng logic tương tự này cho dữ liệu hình ảnh.

Thay vì xử lý một hình ảnh như một thực thể duy nhất, DiT trước tiên chia nó thành một loạt các mảng nhỏ hơn, hay còn gọi là "token". Sau đó, nó xử lý các mảng này giống như các từ trong một câu. Điều này cho phép mô hình học không chỉ những gì có trong mỗi mảng, mà còn cả các mối quan hệ phức tạp giữa tất cả các mảng. Đối với video, điều này thậm chí còn mạnh mẽ hơn, vì mô hình có thể xử lý một chuỗi khung hình video như một câu dài gồm các mảng không gian-thời gian, học được mối quan hệ giữa các đối tượng cả trong không gian và theo thời gian [2].

2.2 Sự biến mất của thiên kiến quy nạp

Ưu điểm chính của Transformer so với U-Net là việc nó không có "thiên kiến quy nạp". U-Net, là một mạng nơ-ron tích chập (CNN), có một giả định mặc định rằng các pixel cục bộ có mối liên hệ với nhau chặt chẽ hơn các pixel ở xa. Đây là một giả định hữu ích, nhưng cũng là một hạn chế.

Transformer không có thiên kiến như vậy. Nó không giả định gì cả và học tất cả các mối quan hệ từ đầu. Điều này làm cho nó trở thành một kiến trúc có khả năng mở rộng và linh hoạt hơn. Khi bạn cung cấp cho nó nhiều dữ liệu hơn và tăng kích thước của nó, hiệu suất của nó tiếp tục được cải thiện, dường như không có giới hạn. Khả năng mở rộng này là lý do tại sao các mô hình dựa trên DiT như Sora đã có thể đạt được bước nhảy vọt đáng kể về chất lượng.

Chương 3: Nghệ thuật nén - Hiểu về VAE

Việc chạy một mô hình khuếch tán trên các khung hình video thô, độ phân giải cao sẽ là bất khả thi về mặt tính toán, ngay cả đối với một siêu máy tính. Vài giây video 1080p là một lượng dữ liệu khổng lồ. Để làm cho điều này khả thi, các mô hình hoạt động không phải trong không gian pixel, mà trong một không gian tiềm ẩn được nén.

Công cụ chịu trách nhiệm cho quá trình nén này là Bộ mã hóa tự động biến phân (Variational Autoencoder - VAE).

Một VAE bao gồm hai phần:

Bộ mã hóa: Mạng này nhận một khung hình video độ phân giải đầy đủ và nén nó xuống thành một dạng biểu diễn nhỏ gọn hơn nhiều được gọi là vectơ tiềm ẩn. Vectơ này nắm bắt thông tin thiết yếu của khung hình ở định dạng hiệu quả cao.
Bộ giải mã: Mạng này nhận một vectơ tiềm ẩn và tái tạo nó trở lại thành một khung hình độ phân giải đầy đủ.

Toàn bộ quá trình khuếch tán—việc thêm và bớt nhiễu—diễn ra trong không gian tiềm ẩn đã được nén này. Mô hình DiT không bao giờ nhìn thấy các pixel thực tế; nó chỉ nhìn thấy các vectơ tiềm ẩn. Chỉ ở giai đoạn cuối cùng của quá trình tạo ra, vectơ tiềm ẩn đã được khử nhiễu mới được đưa qua bộ giải mã của VAE lần cuối để tạo ra video mà bạn thấy.

Đối với video, người ta sử dụng VAE không gian-thời gian chuyên dụng. Những phương pháp này được thiết kế không chỉ để nén thông tin không gian (bản thân hình ảnh) mà còn cả thông tin thời gian (hình ảnh thay đổi như thế nào theo thời gian), đảm bảo rằng biểu diễn được nén được tối ưu hóa để tạo ra chuyển động mượt mà, mạch lạc [3].

Chương 4: Mở rộng đến vô cực - Thiên tài của hỗn hợp các chuyên gia (MoE)

Khi các nhà nghiên cứu hướng đến chất lượng cao hơn, họ nhận thấy rằng việc đơn giản là làm cho các mô hình lớn hơn (thêm nhiều tham số) mang lại kết quả tốt hơn. Tuy nhiên, điều này tạo ra một vấn đề mới. Một mô hình khổng lồ duy nhất cực kỳ tốn kém để chạy, bởi vì đối với mỗi đầu vào, toàn bộ mô hình phải được kích hoạt.

Hãy xem xét Hỗn hợp các chuyên gia (MoE), một kỹ thuật thông minh và ngày càng phổ biến để mở rộng quy mô các mô hình một cách hiệu quả [4].

Thay vì tạo ra một mô hình nguyên khối, kiến trúc MoE tạo ra một tập hợp các mô hình con nhỏ hơn, chuyên biệt được gọi là "chuyên gia". Nó cũng huấn luyện một "mạng cổng" nhỏ hoặc "bộ định tuyến".

Cách thức hoạt động của MoE:

Khi một tín hiệu đầu vào (một mảng nhiễu tiềm ẩn) được đưa vào, nó trước tiên được gửi đến mạng điều khiển (gating network).
Nhiệm vụ của mạng điều khiển là quyết định xem một hoặc hai chuyên gia trong số nhiều chuyên gia là phù hợp nhất để xử lý tín hiệu đầu vào cụ thể này.
Sau đó, tín hiệu đầu vào chỉ được gửi đến các chuyên gia đã chọn. Tất cả các chuyên gia khác vẫn ở trạng thái chờ, tiết kiệm được một lượng lớn tài nguyên tính toán.

Hãy tưởng tượng như một công ty lớn. Thay vì để mọi nhân viên tham dự mọi cuộc họp, bạn có một người quản lý (mạng điều khiển) chỉ đạo từng nhiệm vụ chỉ đến bộ phận liên quan (các chuyên gia). Điều này cho phép công ty (mô hình) có tổng số lượng nhân viên (tham số) khổng lồ trong khi vẫn giữ chi phí cho bất kỳ tác vụ nào (suy luận) ở mức tương đối thấp.

Các mô hình như Wan 2.2 của Alibaba và dòng Gemini của Google sử dụng MoE để đạt được quy mô lớn. Ví dụ, Wan 2.2 sử dụng phương pháp Hỗn hợp Chuyên gia, trong đó một số chuyên gia có thể chuyên về tạo bố cục tổng thể của một cảnh, trong khi những người khác chuyên về tinh chỉnh các chi tiết nhỏ, dẫn đến chất lượng cao hơn và hiệu quả hơn [5].

Chương 5: Bản giao hưởng của các kiến trúc

Bây giờ, hãy cùng tổng hợp tất cả lại. Một mô hình chuyển văn bản thành video hiện đại, tiên tiến không phải là một thực thể duy nhất, mà là một bản giao hưởng của các thành phần này hoạt động hài hòa với nhau.

Quy trình tạo điển hình:

Mã hóa lời nhắc: Lời nhắc văn bản của bạn được đưa vào một mô hình ngôn ngữ lớn (như một phiên bản của GPT hoặc T5) để được chuyển đổi thành một biểu diễn số phong phú mà mô hình video có thể hiểu được.
Chuẩn bị không gian tiềm ẩn: Hệ thống tạo ra một tensor nhiễu ngẫu nhiên trong không gian tiềm ẩn. Đây là khung vẽ trống.
Vòng lặp khử nhiễu (Cốt lõi của quá trình tạo):

a. Dữ liệu tiềm ẩn nhiễu hiện tại, cùng với lời nhắc văn bản được mã hóa, được đưa vào Bộ chuyển đổi khuếch tán (DiT).

b. Nếu đó là mô hình MoE, mạng cổng sẽ định tuyến các phần dữ liệu đến các chuyên gia cụ thể trong DiT.

c. DiT dự đoán nhiễu có trong dữ liệu tiềm ẩn.

d. Nhiễu được dự đoán này được trừ đi từ dữ liệu tiềm ẩn, làm cho nó sạch hơn một chút.

e. Vòng lặp này lặp lại một số bước nhất định (ví dụ: 50-200 lần).

Giải mã cuối cùng: Vectơ tiềm ẩn sạch cuối cùng được truyền qua bộ giải mã của VAE không gian-thời gian.
Đầu ra: Bộ giải mã của VAE tái tạo vectơ tiềm ẩn thành các khung hình video cuối cùng, độ phân giải đầy đủ mà bạn thấy.

Quy trình đa giai đoạn tinh tế này là điều cho phép các mô hình này đạt được kết quả đáng kinh ngạc. Hệ thống VAE giúp tối ưu hiệu quả, quy trình khuếch tán giúp hệ thống ổn định, và kiến trúc Transformer giúp hệ thống có khả năng mở rộng và mạnh mẽ.

Sự khác biệt về kiến trúc và tác động của chúng

Những đặc điểm độc đáo của các mô hình như Sora, Kling và Veo bắt nguồn từ cách chúng triển khai và ưu tiên các thành phần này.

Sức mạnh của Sora trong mô phỏng thế giới có lẽ đến từ một Diffusion Transformer cực kỳ lớn và được huấn luyện tốt, cho phép nó học được các mối quan hệ không gian-thời gian phức tạp.

Kết luận: Từ Phép thuật đến Phương pháp

Điều từng là phép thuật, giờ đây, hy vọng, đã trở thành phương pháp. Việc tạo ra video AI không phải là một nghệ thuật không thể hiểu nổi mà là một kỳ tích kỹ thuật xuất sắc, được xây dựng dựa trên một loạt các ý tưởng thông minh và mạnh mẽ. Bằng cách hiểu vai trò của quá trình Khuếch tán, Bộ chuyển đổi, VAE và Sự kết hợp của các chuyên gia, bạn không còn chỉ là người sử dụng các công cụ này nữa; bạn là một người sáng tạo am hiểu.

Giờ đây, bạn được trang bị để nhìn vượt qua những chiêu trò tiếp thị và hiểu được những lựa chọn kiến trúc cơ bản định hình điểm mạnh và điểm yếu của một mô hình. Bạn có thể đánh giá cao hơn lý do tại sao một số mô hình vượt trội về vật lý trong khi những mô hình khác lại vượt trội về ánh sáng, và tại sao một số là mã nguồn mở trong khi những mô hình khác vẫn bị khóa trên đám mây.

Kiến thức này là sức mạnh. Đó là sức mạnh để chọn đúng công cụ, để khai thác tối đa khả năng của nó và để dự đoán bước tiến vượt bậc tiếp theo trong lĩnh vực phi thường này. Lần tới khi bạn gõ một lệnh và xem một thế giới hiện ra trên màn hình, bạn sẽ thấy không chỉ sự kỳ diệu, mà còn cả cỗ máy tuyệt vời đằng sau nó.

Và nếu bạn muốn sử dụng sức mạnh của tất cả những cỗ máy tuyệt vời này—từ Sora được hỗ trợ bởi DiT đến Wan được điều khiển bởi MoE—thông qua một giao diện thống nhất duy nhất, bước tiếp theo rất rõ ràng.

Trải nghiệm sức mạnh kết hợp của các kiến trúc mô hình AI tiên tiến nhất thế giới. Hãy thử Van Gogh Studio ngay hôm nay.

Tài liệu tham khảo

[1] Peebles, W., & Xie, S. (2022). Scalable Diffusion Models with Transformers. arXiv preprint arXiv:2212.09748.

[2] Weng, L. (2024). Diffusion Models for Video Generation. Lil'Log

[3] Chen, J., et al. (2021). Học lưu lượng truy cập dưới dạng video: Một phương pháp VAE không gian-thời gian để điền dữ liệu lưu lượng truy cập. Trong Hội nghị quốc tế về mạng nơ-ron nhân tạo.

[4] Hugging Face. (2023). Giải thích về hỗn hợp các chuyên gia

[5] SiliconFlow. (2026). Hướng dẫn tối ưu - Các mô hình chuyển văn bản thành video mã nguồn mở hàng đầu năm 2026