NVIDIA đã tiết lộ cách DLSS 5 “điền vào” hình ảnh, dựa chỉ trên khung 2D và vector chuyển động.

Cách hoạt động của DLSS 5: giải thích từ nhân viên Nvidia

Trong một cuộc phỏng vấn gần đây, Jacob Freeman của Nvidia đã làm rõ nguyên tắc hoạt động của công nghệ thu phóng hình ảnh mới — DLSS 5, sử dụng trí tuệ nhân tạo.

Những gì được đưa vào hệ thống
* Khung 2‑D – hình ảnh được vẽ bình thường.
* Vector chuyển động – thông tin về cách các đối tượng di chuyển giữa các khung hình.

Không có dữ liệu ba chiều nào được sử dụng: mô hình không đọc cấu trúc cảnh, độ sâu, vật liệu hoặc bản đồ pháp tuyến. Điều này có nghĩa là DLSS 5 hoàn toàn dựa vào thông tin 2‑D và chuyển động.

Cách nó “hiểu” cảnh
* Ngữ nghĩa – AI nhận diện các đối tượng như tóc, vải, da và điều kiện ánh sáng.
* Đối với việc này chỉ cần một khung hình; mô hình không xét đến tính kim loại, độ mịn hoặc các đặc tính vật liệu khác.

Do đó đôi khi kết quả có thể trông “khó dự đoán”:
- nhân vật xuất hiện tóc ở nơi không có;
- thay đổi nét mặt.

Không có bất kỳ sự thay đổi nào trong cấu trúc cơ bản – đây chỉ là một diễn giải trực quan của AI.

Giới hạn và khả năng cho nhà phát triển
* Nhà phát triển có thể điều chỉnh cường độ hiệu ứng, cân chỉnh màu sắc, tương phản, bão hòa, gam.
* Có thể sử dụng mặt nạ để loại trừ các đối tượng nhất định khỏi xử lý.
* Tuy nhiên họ không thể thay đổi trực tiếp sửa đổi nét mặt hoặc gỡ bỏ hiệu ứng “mặt trang điểm” – cách duy nhất là giảm cường độ, áp dụng mặt nạ hoặc tắt hoàn toàn thuật toán.

Kết quả cuối cùng là khuôn mặt được tạo ra bởi AI, nhưng vẻ ngoài của nó chỉ có thể được điều chỉnh gián tiếp.