Khó khăn trong việc lưu trữ trên mạng ngày càng tăng: Wayback Machine và Wikimedia đang thiếu không gian ổ cứng.

Khủng hoảng lưu trữ dữ liệu: cách tăng giá của các thiết bị lưu trữ làm chậm lại những dự án lưu trữ lớn nhất

Các thiết bị lưu trữ ngày càng trở nên đắt đỏ và hiếm hơn, điều này làm phức tạp công việc của những tổ chức lưu giữ hàng ngày khối lượng thông tin khổng lồ từ internet.

1. Tại sao giá tăng
* Đĩa cứng (HDD) hiện nay có giá gấp ba lần mức trước.

* Sự gia tăng nhu cầu từ các tập đoàn lớn và nhà cung cấp dịch vụ đám mây đã khiến các nhà sản xuất giảm nguồn cung, dẫn đến thiếu hụt.

2. Cách điều này ảnh hưởng tới Internet Archive
Chỉ sốGiá trịDung lượng lưu trữ~210 PBítCông suất dữ liệu hàng ngày (Wayback Machine)~100 TB
* Trí tuệ nhân tạo đã tăng tải: các mô hình được huấn luyện trên những bộ dữ liệu khổng lồ, thường lấy từ các kho lưu trữ.

* Các thiết bị lưu trữ lý tưởng – HDD 28–30 TB – hiếm khi có mặt tại thị trường hoặc bán với giá cao hơn thực tế.

* Tổ chức buộc phải tìm nhà tài trợ và chỉ nhận được lời khuyên từ cộng đồng.

3. Vấn đề Wikimedia
* Trên nền tảng có hơn 65 triệu bài viết — điều này đòi hỏi nguồn lực tính toán lớn và ngân sách phân bổ cẩn thận.

* Khó khăn phát sinh khi:

* Mua sắm bộ nhớ và ổ đĩa;

* Giao hàng máy chủ;

* Lập kế hoạch cho các đơn đặt hàng trong tương lai.

4. Việc làm phức tạp hơn của quá trình lưu trữ
* Các mô hình ngôn ngữ lớn của AI sử dụng những bộ dữ liệu khổng lồ, đôi khi được khai thác bất hợp pháp.

* Chủ sở hữu trang web chặn truy cập vào tài nguyên của họ mà không phân biệt “kẻ xấu” và “dịch vụ tốt nhất”, thu thập dữ liệu cho mục đích giáo dục.

* Kết quả:

* Những người hâm mộ nhỏ gọn buộc phải giảm hoặc tạm dừng công việc;

* Chờ đợi sự ổn định của giá thiết bị lưu trữ.

Kết luận
Sự tăng giá và thiếu hụt HDD tạo ra những rào cản nghiêm trọng cho các kho lưu trữ phi lợi nhuận. Nếu không có nguồn tài trợ mới và công nghệ dễ tiếp cận hơn, việc bảo tồn lịch sử internet có thể trở nên gần như không khả thi.