Với sự phát triển mạnh mẽ của ngành công nghiệp IoT và AI, quy mô và số lượng dữ liệu mà các doanh nghiệp phải xử lý đang tăng lên đáng kể. Điều này dẫn đến sự xuất hiện các nhu cầu về hệ thống máy tính hiệu suất cao (HPC) để xử lý, lưu trữ và thực hiện các phép tính phức tạp của một lượng lớn dữ liệu ở tốc độ rất cao nhằm phân tích dữ liệu trong thời gian thực và ra quyết định cho nhiều chiến lược kinh doanh khác nhau. HPC trở thành một công cụ hữu ích cho mọi lĩnh vực: từ khảo sát địa vật lý để tìm các điểm khoan cho các công ty dầu khí, phân tích thời tiết và phân tích gen, đến các phòng thí nghiệm nghiên cứu hiệu suất cao của trường học và chính phủ. Trong những năm gần đây, nhờ vào tiến bộ công nghệ nhanh chóng, ngành công nghiệp HPC có quy trình phân tích nhanh hơn và kết quả chính xác hơn, có tác động mang tính cách mạng trên toàn thế giới.
Tuy nhiên, việc phân tích nhanh hơn và chính xác hơn đòi hỏi bộ nhớ phải hỗ trợ nhiều hiệu suất và dung lượng hơn để xử lý các yêu cầu truy cập dữ liệu thường xuyên từ nhiều máy chủ phân tích và lưu trữ dữ liệu đã phân tích được tích lũy nhanh chóng và dày đặt. Các mô hình Lưu trữ truyền thống đã không thể đáp ứng các loại yêu cầu ngày càng tăng theo cấp số nhân này.
Với những yêu cầu sử dụng đó, một trong những nhà sản xuất thiết bị lưu trữ hàng đầu là Infortrend đã cung cấp nền tảng lưu trữ thế hệ tiếp theo với thiết kế dễ dàng triển khai / quản lý để tối ưu và phục vụ cho các nhu cầu mang tính cách mạng của HPC. Giải pháp lưu trữ Infortrend HPC này có hiệu suất, dung lượng và băng thông lớn để lưu trữ lượng dữ liệu bùng nổ bigdata và xử lý các yêu cầu từ nhiều máy chủ phân tích HPC.
Tổng quan về giải pháp
Hiệu suất cao và công suất cao
Máy tính hiệu suất cao, như tên của ứng dụng đã chỉ ra, yêu cầu hệ thống lưu trữ cung cấp đủ hiệu suất để duy trì các hành vi phân tích chuyên sâu và đa dạng từ nhiều máy chủ HPC. Dung lượng và khả năng mở rộng cũng là mối quan tâm quan trọng vì dữ liệu thô chưa được phân tích trở nên lớn hơn và xuất hiện nhiều dữ liệu được nghiên cứu / xử lý hơn sau khi quá trình phân tích được thực hiện. Dữ liệu tổng thể cuối cùng đạt đến cấp PB và yêu cầu dung lượng lưu trữ lớn để lưu trữ.
EonStor CS là giải pháp lưu trữ chia sẻ quy mô lớn cho phép các doanh nghiệp giải quyết khối lượng dữ liệu tuyệt đối thông qua dung lượng có thể mở rộng và hiệu suất tăng tuyến tính. Bên cạnh đó, dung lượng lớn và khả năng hiệu suất được xây dựng theo kiến trúc namespace duy nhất, cho phép nhiều máy chủ HPC phân tích, chia sẻ dữ liệu đã phân tích với nhau theo cùng một đường dẫn tệp và thực hiện phân tích thực tế
Tính khả dụng cao
Một ứng dụng HPC hoạt động như một hành vi phân tích dài hạn, không ngừng nghỉ từ nhiều máy chủ. Nếu bất kỳ phần nào của hệ thống lưu trữ bị lỗi, toàn bộ quá trình phân tích sẽ bị gián đoạn và gây ra sự chậm trễ trong các dịch vụ kinh doanh.
Bằng cách bao gồm bảo vệ dữ liệu nhiều lớp khỏi đĩa cứng và lỗi nút, giải pháp tính sẵn sàng cao của EonStor CS đảm bảo rằng các quá trình phân tích không bị gián đoạn.
Khả năng mở rộng tốt
Khi quy mô của một công ty / tổ chức nghiên cứu HPC phát triển, cần có nhiều hiệu suất và dung lượng hơn từ trang web lưu trữ để xử lý số lượng quy trình phân tích tăng lên và khối lượng dữ liệu được phân tích để sao lưu. Như đã đề cập trước đây, hầu hết thời gian tất cả các máy chủ HPC sẽ sử dụng cùng một đường dẫn tệp để truy cập dữ liệu (đó là “kiến trúc không gian tên duy nhất single namespace”). Toàn bộ trung tâm HPC có thể được thu nhỏ ở mức khả năng mở rộng tối đa của cụm lưu trữ; do đó, để tránh các giới hạn ứng dụng, bộ lưu trữ phải cung cấp giải pháp mở rộng dài hạn.
Với cả giải pháp mở rộng quy mô và mở rộng quy mô, EonStor CS cung cấp một giải pháp có thể mở rộng liền mạch để giúp chứng minh các khoản đầu tư của bạn trong tương lai.
Quản lý trực quan và triển khai theo cụm cluster
Cấu trúc liên kết của ứng dụng HPC thường bao gồm một lượng lớn các nodes lưu trữ. Trong một kiến trúc phức tạp như vậy, điều quan trọng là phải cung cấp một cách đơn giản để xây dựng / quản lý toàn bộ cụm lưu trữ nhằm giảm bớt gánh nặng quản lý.
EonOne, phần mềm quản lý dựa trên web của Infortrend, cho phép quản trị viên dễ dàng triển khai và quản lý cụm EonStor CS với giao diện đồ họa thân thiện với người dùng và trình hướng dẫn thiết lập từng bước.
Giải pháp toàn diện EonStor CS
Giải pháp toàn diện EonStor CS là sự lựa chọn tối ưu cho các ngành khác nhau của HPC, chẳng hạn như Dầu khí, phân tích gen và phân tích trong phòng thí nghiệm.
Hiệu suất cao và công suất cao
EonStor CS là một hệ thống lưu trữ NAS quy mô lớn. Bằng cách thêm nhiều đơn vị CS (nút), bạn sẽ có được một hệ thống cụm dung lượng / hiệu suất cao với tốc độ Đọc / Ghi lên đến hơn 100 GBps cho các ứng dụng phân tích hiệu suất cao và hơn 100PB dung lượng để lưu trữ dữ liệu đã phân tích. Hiệu suất và dung lượng tổng thể có thể được cung cấp trong một không gian tên duy nhất, cho phép nhiều máy chủ HPC phân tích và chia sẻ dữ liệu trong cùng một thư mục / đường dẫn để giảm độ phức tạp khi truy cập dữ liệu. Nó cũng hỗ trợ chức năng Tự động cân bằng phân phối dữ liệu đồng đều trên tất cả các nút trong hệ thống. Khi một số lượng lớn người dùng truy cập dữ liệu đồng thời, hệ thống chia sẻ khối lượng công việc thông qua xử lý song song, giải quyết vấn đề giới hạn hiệu suất của một nút duy nhất và cải thiện hiệu quả hiệu quả truy cập.
Tính khả dụng cao
Với khả năng bảo vệ dữ liệu nhiều lớp khỏi đĩa cứng và lỗi nút, giải pháp tính sẵn sàng cao của EonStor CS đảm bảo rằng các quá trình phân tích không bị gián đoạn. Nếu bất kỳ phần tử nào bị lỗi, dữ liệu sẽ không bị mất và hiệu suất phân tích cũng không bị ảnh hưởng.
Nếu đĩa cứng bị hỏng, công nghệ RAID độc quyền của Infortrend đảm bảo rằng hệ thống chạy bình thường ở cùng mức hiệu suất. Về mặt bảo vệ nút, các chức năng bảo vệ Mã bản sao Replica và Mã xóa Erasure Code giúp tránh thời gian chết từ một nút bị lỗi. Nếu một nút bị lỗi được phát hiện, CS bắt đầu chức năng tự phục hồi để khôi phục dữ liệu từ một nút bị lỗi.
Khả năng mở rộng cao
EonStor CS hỗ trợ hai giải pháp mở rộng công suất: khả năng mở rộng theo chiều ngang (scale-out) và khả năng mở rộng theo chiều dọc (scale-up). Việc mở rộng theo quy mô cho phép bạn thêm nhiều thiết bị hơn (lên đến 144 nút) để tăng cả dung lượng và hiệu suất. Hiệu suất toàn bộ cụm có thể đạt hơn 100 GBps (Đọc / Ghi) và hơn 100PB dung lượng. Lợi ích của việc sử dụng scale-out là bạn có thể tăng cả hiệu suất và công suất cùng một lúc. EonStor CS cũng hỗ trợ khả năng mở rộng quy mô, cho phép bạn thêm tối đa 120 đĩa để tăng không gian lưu trữ.
Cuối cùng, việc thêm nút (mở rộng quy mô) và JBOD (mở rộng quy mô) vào cụm không yêu cầu thời gian ngừng hoạt động để duy trì tính khả dụng của dịch vụ.
Quản lý trực quan và chia sẻ tệp dễ dàng
EonOne – Phần mềm quản lý lưu trữ trực quan
EonOne là một công cụ quản lý lưu trữ bổ sung tốt với EonStor CS. EonOne cũng cung cấp một trình hướng dẫn thiết lập để giúp quản trị viên người dùng dễ dàng thiết lập bộ nhớ và mạng. Giao diện thân thiện với người dùng giúp dễ dàng quản lý thông tin đăng nhập người dùng và các thư mục chia sẻ. Hơn nữa, thật dễ dàng và nhanh chóng để triển khai cụm EonStor CS thông qua EonOne: với Hướng dẫn triển khai từng bước, chỉ mất 5 phút để hoàn thành thiết lập và 30 phút cho trạng thái sẵn sàng cho cụm.
Giải pháp tiêu chuẩn
Lĩnh vực Dầu khí: Phân tích cấu trúc địa chất
Trước khi triển khai giàn khoan, quá trình phân tích cần được thực hiện để cho các công ty dầu khí biết nơi khoan dầu và cấu trúc địa chất ở một khu vực nhất định như thế nào. Quá trình phân tích bắt đầu với việc nhập dữ liệu sóng địa chấn vào lưu trữ từ các thiết bị thăm dò địa chấn. Sau đó, nhiều máy chủ phân tích dữ liệu địa chấn phân tích dữ liệu địa chấn thô và sau đó, các nhà nghiên cứu sử dụng các máy trạm đồ họa để xây dựng mô hình cấu trúc địa chất 3D. Toàn bộ quy trình bao gồm nhiều loại yêu cầu truy cập dữ liệu: từ thông lượng dữ liệu kích thước lớn (hàng chục GB / s) đến dữ liệu kích thước khối nhỏ (IOP) Đọc và Ghi, cũng như dung lượng lớn để lưu trữ dữ liệu được phân tích ở cấp PB, điều này đặt ra một thách thức to lớn đối với việc lưu trữ.
Trong cấu trúc liên kết sau, cụm lưu trữ trực tuyến với các mô hình EonStor CS 4024G cung cấp thông lượng hơn 100GB / giây với 144 nút, 40Gb / giây RDMA cho giao tiếp nội bộ nút đến nút để loại bỏ độ trễ cho trao đổi dữ liệu nội bộ và RAID / Node bảo vệ để ngăn chặn tác động đến hiệu suất do lỗi đĩa / nút. Nhờ tất cả các ưu điểm trên, các hành vi phân tích dữ liệu địa chấn phức tạp và chuyên sâu được thực hiện với sự ổn định của hệ thống được đảm bảo.
Sau khi quá trình phân tích kết thúc, một lượng lớn dữ liệu được lưu giữ trong một cụm lưu trữ sao lưu (lưu trữ) thông qua tính năng di chuyển thư mục với mô hình EonStor CS 2060, 4U 60-bay, tiết kiệm chi phí và mật độ cao. Mỗi nút CS 2060 có thể kết nối thêm một JBOD 4U 60-bay; công suất hơn 100PB có thể được cung cấp thông qua mô hình CS 2060.
Case Study tiêu biểu
Đài Bắc, Đài Loan, tháng 6 năm 2021, Infortrend đã cung cấp cho Academia Sinica giải pháp lưu trữ hợp nhất SAN / NAS doanh nghiệp EonStor GS 3000 Gen2 nhằm cung cấp cơ sở hạ tầng hiệu suất cao để tiến hành nghiên cứu HPC.
Academia Sinica, cơ sở giáo dục ưu việt nhất của Đài Loan, được thành lập vào năm 1928 để thực hiện nghiên cứu học thuật trong các lĩnh vực khác nhau, bao gồm toán học, vật lý và khoa học đời sống. Dữ liệu nghiên cứu cho các dự án khoa học này đòi hỏi dung lượng lưu trữ lớn và hiệu suất lưu trữ cao để xử lý khối lượng công việc HPC. Môi trường lưu trữ hiện tại không còn đủ khả năng để đáp ứng nhu cầu ngày càng tăng của cơ quan nghiên cứu vì nó có hiệu suất kém, không phù hợp để thực hiện phân tích HPC trơn tru, không cung cấp đủ dung lượng cho dữ liệu nghiên cứu đang phát triển nhanh chóng và không dễ quản lý. Hơn nữa, phòng máy chủ CNTT có không gian tủ rack hạn chế để lắp đặt hệ thống lưu trữ mới. Do đó, tổ chức đang tìm kiếm một giải pháp lưu trữ có khả năng giải quyết thành công những thách thức nói trên.
Academia Sinica đã chọn bộ lưu trữ SAN / NAS EonStor GS 3000 thống nhất của Infortrend để cung cấp cơ sở cho hệ thống dự đoán số cho nhu cầu nghiên cứu. Bộ phần mềm nghiên cứu mô phỏng mô hình máy tính và dự đoán các dữ liệu thu thập được. Các mô hình quan sát dựa trên một lượng lớn các quan sát mới từ các cảm biến trường và phụ thuộc nhiều vào các tài nguyên máy tính được cung cấp. GS 3000 Gen2 (60pcs x 12TB NL-SAS được tải đầy đủ) hoàn toàn phù hợp cho ứng dụng khắt khe này bằng cách cung cấp tốc độ ghi 4.000MB / s để nhập dữ liệu nghiên cứu và tốc độ đọc 8.000MB / s để thực hiện nghiên cứu tính toán hiệu suất cao. Nhân viên CNTT dễ dàng cài đặt GS trong không gian rack hạn chế và kết nối với mạng thông qua giao diện máy chủ 4 * 16Gb FC. Để loại bỏ gánh nặng quản lý, GS cung cấp GUI EonOne dựa trên trình duyệt trực quan.
“Yêu cầu về dung lượng dữ liệu của các nhà nghiên cứu tăng rất nhanh. Và Infortrend cung cấp mức giá / hiệu suất tốt nhất để mở rộng quy mô, ”chuyên gia CNTT của Academia Sinica cho biết.
Tham khảo:
→ Infortrend EonStor CS 4000 Scale-out NAS
→ Infortrend EonStor CS 3000 Scale-out NAS
→ Các hệ thống lưu trữ của Infortrend
