Skip to content

Lỗi bộ điều khiển RAID phần cứng: Nhập cấu hình nước ngoài mà không xóa ổ đĩa của bạn

Số điện thoại khẩn cấp khác nhau tùy theo quốc gia. Trang này sử dụng 911, số điện thoại dành cho Hoa Kỳ và Canada. Nhiều quốc gia khác sử dụng 112, 999 hoặc số khác. Tìm số cho quốc gia của bạn.

Khi thẻ điều khiển RAID phần cứng của máy chủ doanh nghiệp, chẳng hạn như Dell PowerEdge PERC (H730P, H740P, H755, H840), Mảng thông minh HPE ProLiant (P408i-a, P440ar, E208i, MR416i) hoặc Broadcom / LSI / Avago MegaRAID (SAS 9361-8i, 9460-16i, 9560-16i), bo mạch PCIe bị hỏng, siêu tụ điện BBU/CacheVault bị hỏng hoặc điện áp bảng nối đa năng giảm đột ngột và bạn chỉ cài đặt một thẻ RAID thay thế để thấy tiện ích BIOS trước khi khởi động tạm dừng với lời nhắc đáng sợ "Foreign configuration(s) found on adapter. Press any key to continue or 'C' to load the configuration utility", một lần nhấn phím sai có thể phá hủy hàng terabyte cơ sở dữ liệu sản xuất và máy ảo trong vòng chưa đầy hai giây. Trong kiến ​​trúc RAID phần cứng, hình dạng sọc của mảng (cấp độ RAID, thứ tự ổ đĩa, 64 KB / 256 KB kích thước sọc và ranh giới LBA của Khối hợp lý) được lưu trữ cả trong chip NVRAM trên bo mạch của thẻ điều khiển và trong một khu vực dành riêng ẩn trên mọi đĩa SAS/SATA/NVMe vật lý được gọi là Định dạng dữ liệu đĩa (DDF / COD, Cấu hình trên đĩa) vùng siêu dữ liệu. Khi một thẻ RAID thay thế hoàn toàn mới (hoặc một thẻ hiện có sau sự cố mất điện tạm thời ở bảng nối đa năng) khởi động và thấy các ổ đĩa có trên đĩa DDF số sê-ri siêu dữ liệu không khớp với NVRAM trống của thẻ, nó gắn cờ các ổ đĩa đó là "Foreign". Nếu quản trị viên hoảng sợ nhấp vào "Tạo đĩa ảo mới" hoặc "Khởi tạo" nghĩ rằng nó "gắn kết" các ổ đĩa hoặc nhấp vào "Xóa cấu hình nước ngoài" khi họ định nhập nó, bộ điều khiển sẽ ghi đè siêu dữ liệu trên đĩa và loại bỏ các tiêu đề Đĩa ảo. Biết sự khác biệt chính xác giữa Import Foreign Configuration và Clear Foreign Configuration, cách gắn nhãn số khoang ổ đĩa vật lý trước khi chạm vào một caddie và cách xử lý Bộ nhớ đệm ghi lại bị ghim/bẩn (BBU / CacheVault) và Việc thả ra nhiều ổ đĩa "Punctured Stripe" sẽ đưa mảng của bạn trực tuyến trở lại mà không bị mất dữ liệu. Nếu lỗi máy chủ xảy ra do cháy điện trong phòng máy chủ, sự cố thoát nhiệt lithium-ion của UPS hoặc vỡ ống nước, hãy sơ tán khỏi phòng và gọi cho địa phương của bạn. số khẩn cấp (911 ở Hoa Kỳ và Canada, 999 ở Vương quốc Anh, 112 trên toàn Liên minh Châu Âu) ngay lập tức. Để biết các trường hợp khẩn cấp liên quan đến mảng lưu trữ, máy ảo và SSD, hãy xem hướng dẫn của chúng tôi về Mảng RAID NAS bị xuống cấp, lỗi nhiều ổ đĩa và khôi phục ZFS/Btrfs, Lỗi chuỗi ảnh chụp nhanh máy ảo VMDk, VHDX và QCOW2và Chế độ chỉ đọc đột ngột của SSD NVMe và cứu hộ khối dự phòng.

Làm điều này ngay bây giờ

  1. KHÔNG BAO GIỜ nhấp vào "Khởi tạo", "Khởi tạo nhanh" hoặc "Tạo đĩa ảo mới" trên các ổ đĩa chứa dữ liệu hiện có. Trong thuật ngữ Dell PERC, Broadcom MegaRAID và HPE Smart Array, Initialize KHÔNG có nghĩa là "bật và gắn đĩa" (giống như đôi khi nó có nghĩa trong các tiện ích đĩa macOS/Windows cũ). Trong phần sụn RAID phần cứng, Initialize có nghĩa FORMAT AND ZERO OUT THE VIRTUAL DISK METADATA AND PARITY BLOCKS. Ngay cả "Khởi tạo nhanh" trong 3 giây cũng ghi đè lên megabyte đầu tiên và cuối cùng của ổ đĩa logic, xóa sạch bảng phân vùng GPT, VMware VMFS tiêu đề, Windows NTFS Khu vực khởi động Bảng Tệp Chính hoặc Linux LVM2 / XFS siêu khối.
  2. Lấy bút đánh dấu vĩnh viễn ngay bây giờ và viết Số vị trí / ngăn vật lý chính xác (Bay 0, Bay 1, Bay 2...) trên mỗi caddy ổ đĩa TRƯỚC KHI kéo một đĩa đơn. Trong khi SNIA hiện đại DDF siêu dữ liệu lưu trữ các thẻ trình tự ổ đĩa trên mỗi đĩa, các bản sửa đổi chương trình cơ sở cũ hơn, các bảng nối đa năng hoặc các bản tạo lại khẩn cấp thủ công (No-Init Recovery) tin tưởng 100 phần trăm vào việc mỗi đĩa quay về chính xác bản gốc của nó Enclosure:Slot số vịnh. Không bao giờ lấy bốn ổ đĩa ra khỏi máy chủ và xếp chúng mà không có nhãn trên bàn.
  3. Không bao giờ rút ổ đĩa đang hoạt động tốt hoặc ổ đĩa "Đang xây dựng lại" ra và lắp lại trong khi máy chủ đang bật nguồn để "kiểm tra xem nó có quay trở lại hay không." Ngay khi bạn kéo một caddie SAS/SATA trực tiếp ra khỏi bảng nối đa năng trao đổi nóng trong hơn 5 giây, bộ điều khiển RAID sẽ đánh dấu dấu thời gian của ổ đĩa đó là Failed / Offline hoặc Foreign. Nếu một ổ đĩa đã chết trong mảng RAID 5 và bạn ngẫu nhiên rút ổ đĩa thứ hai ra để xem số bộ phận của nó trong khi máy chủ đang chạy, bạn vừa giết chết ổ đĩa thứ hai trong mắt bộ điều khiển và làm hỏng toàn bộ ổ đĩa RAID 5.
  4. Hiểu được quy luật quan trọng của Import so với Clear: Khi thay thế một card RAID đã chết (hoặc sau khi tất cả các ổ đĩa cùng lúc bị ngắt kết nối ngoại tuyến), bạn muốn IMPORT. Khi lắp một ổ đĩa dự phòng đã qua sử dụng vào một máy chủ đang hoạt động tốt, bạn muốn CLEAR.
  5. Trường hợp A (Thẻ RAID bị hỏng và bạn đã lắp thẻ thay thế, HOẶC trục trặc về nguồn/bảng nối đa năng khiến toàn bộ mảng của bạn bị hỏng Foreign): Cấu hình thực sự tồn tại trên các đĩa (Configuration on Disk). Bạn phải chọn Import Foreign Configuration vì vậy thẻ thay thế sẽ đọc bố cục mảng từ đĩa vào NVRAM của nó.
  6. Kịch bản B (Máy chủ của bạn đang chạy tốt, 1 ổ đĩa bị hỏng và bạn trượt một ổ đĩa thay thế đã qua sử dụng được lấy từ một máy chủ cũ đã ngừng hoạt động vào Vịnh 4): Ổ đĩa thay thế đã qua sử dụng đó có siêu dữ liệu RAID cũ từ máy chủ đã ngừng hoạt động trên đó (Foreign). Nếu bạn bấm vào Import, bạn sẽ nhập mảng ghost của máy chủ cũ đã ngừng hoạt động. Trong Kịch bản B, bạn chọn Clear Foreign Configuration trên đĩa thay thế duy nhất đó để nó trở thành Unconfigured Good và bắt đầu xây dựng lại như một phụ tùng nóng.
  7. Nếu hai hoặc nhiều ổ đĩa không hoạt động trong RAID 5 (hoặc ba ổ đĩa trong RAID 6), KHÔNG buộc các ổ đĩa trực tuyến và chạy "Xây dựng lại" trước khi sao chép mọi ổ đĩa bằng ddrescue. Khi nhiều ổ đĩa bị loại khỏi một mảng do các thành phần xấu (UREs, Lỗi đọc không thể phục hồi), việc buộc ổ đĩa bị mất cũ nhất trở lại trực tuyến sẽ tạo ra "Không đồng bộ hóa dữ liệu cũ" hoặc "Sọc RAID bị thủng" làm hỏng cơ sở dữ liệu vĩnh viễn. Tắt nguồn máy chủ, gắn ổ đĩa vào HBA không RAID (IT-Mode SAS), sao chép từng bit ổ đĩa sang các tệp hình ảnh và trước tiên xây dựng lại mảng hầu như trong phần mềm chỉ đọc.

Danger

** "Bộ nhớ đệm được ghim/bẩn" (CacheVault / BBU) Bẫy tham nhũng dữ liệu khi hoán đổi thẻ RAID đã chết.** Bộ điều khiển RAID doanh nghiệp sử dụng 1 GB đến 8 GB DDR4/DDR3 tích hợp RAM bộ nhớ đệm ghi lại được hỗ trợ bởi siêu tụ điện (CacheVault) hoặc Bộ dự phòng pin Lithium-Ion (BBU). Nếu máy chủ của bạn gặp sự cố giữa cơ sở dữ liệu nặng hoặc VMware ghi do chip logic PCIe của thẻ RAID bị hỏng, có thể có vài gigabyte siêu dữ liệu hệ thống tệp chưa được cam kết nằm bên trong mô-đun flash CacheVault có thể tháo rời hoặc RAM bo mạch con của thẻ chết (Dirty / Pinned Cache) chưa bao giờ được đưa vào ổ cứng. Khi thay thế thẻ Dell PERC hoặc LSI MegaRAID đã chết có Bộ nhớ đệm ghi lại hoạt động, hãy kiểm tra hướng dẫn sử dụng dịch vụ phần cứng của bạn để xem mô-đun flash CacheVault / bo mạch con NVRAM có thể tháo rời và có thể chuyển sang thẻ thay thế (hoặc xóa bộ nhớ đệm được bảo toàn trước khi nhập) để ngăn chặn NTFS / VMFS / ext4 tham nhũng tạp chí

Cây quyết định: Thay thế bộ điều khiển RAID phần cứng và phân loại cấu hình nước ngoài

flowchart TD
    A["Trường hợp khẩn cấp về RAID phần cứng: Thẻ điều khiển đã chết HOẶC Báo cáo BIOS 'Tìm thấy cấu hình nước ngoài'"] --> B{"Tại sao cảnh báo 'Cấu hình nước ngoài' lại xuất hiện?"}
    B -->|"Trường hợp 1: Đã thay thế Card RAID chết (hoặc chuyển tất cả ổ đĩa sang khung máy chủ thay thế)"| C["Tất cả các ổ đĩa vật lý đều hoạt động tốt và giữ siêu dữ liệu mảng thực của bạn ('Cấu hình trên đĩa')"]
    B -->|"Trường hợp 2: Trục trặc bảng nối đa năng/PSU khiến nhiều ổ đĩa trong máy chủ hiện tại đồng thời rơi xuống 'Ngoại quốc'"| D["Tắt nguồn máy chủ -> Gắn lại cáp bảng nối đa năng SAS & Ổ đĩa (Trong các khe được đánh số chính xác) -> Khởi động vào BIOS bộ điều khiển"]
    B -->|"Trường hợp 3: Bạn Vừa Đưa 1 Đĩa Thay Thế Đã Sử Dụng Vào Mảng Đang Chạy & 1 Đĩa Đó Báo 'Ngoại Ngoại'"| E["KHÔNG NHẬP: 1 đĩa đã sử dụng đó chứa siêu dữ liệu cũ từ máy chủ khác; chọn 'XÓA Cấu hình nước ngoài' để nó trở thành Phụ tùng nóng"]
    B -->|"Trường hợp 4: Nhiều ổ đĩa nhấp chuột vật lý/Không thành công do lỗi phương tiện (RAID 5 với hơn 2 ổ đĩa bị lỗi)"| F["DỪNG: KHÔNG ép buộc trực tuyến hoặc xây dựng lại; Đính kèm ổ đĩa vào HBA chế độ CNTT, sao chép tất cả các đĩa thông qua ddrescue và tái tạo hầu như"]
    C --> G["Nhập BIOS Bộ điều khiển (Thiết lập hệ thống iDRAC / Ctrl+R / F2) -> Mở 'Xem / Xem trước cấu hình nước ngoài'"]
    D --> G
    G --> H{"Kiểm tra màn hình xem trước nước ngoài: TẤT CẢ các ổ đĩa thành viên của Đĩa ảo có hiện diện và 'Trực tuyến' không?"}
    H -->|"Có: Tất cả các ổ đĩa (hoặc N-1 trong RAID 5 / N-2 trong RAID 6) đều có mặt"| I["Thực thi 'NHẬP CẤU HÌNH NƯỚC NGOÀI' (KHÔNG BAO GIỜ nhấp vào Xóa hoặc Khởi tạo); Đĩa ảo ngay lập tức được gắn kết nguyên vẹn"]
    H -->|"Không: Quá nhiều ổ đĩa vẫn hiển thị 'Thiếu' trong Bản xem trước"| J["HỦY NHẬP: Không nhập bộ sọc chưa hoàn chỉnh; tắt và chẩn đoán ổ đĩa/cáp vật lý nào không quay được"]

Tham khảo theo từng nhà cung cấp: Cách Dell PERC, Broadcom/LSI MegaRAID và HPE Smart Array xử lý Siêu dữ liệu nước ngoài

Mỗi nhà cung cấp máy chủ doanh nghiệp lớn đều sử dụng thuật ngữ hơi khác nhau trong thiết lập UEFI HII, Quản lý ngoài băng tần (iDRAC / iLO / XClarity) và công cụ CLI (perccli / storcli / ssacli). Xem lại bảng so sánh nhà cung cấp chính xác này trước khi nhấn một phím:

Tính năng/Hành động Dell PowerEdge PERC (H730, H740P, H755, H840, dựa trên LSI) Broadcom / LSI / Avago MegaRAID (9361, 9460, 9560) Mảng thông minh HPE ProLiant (P408i, P440ar, E208i, dựa trên Microchip/Adaptec)
Nơi siêu dữ liệu mảng tồn tại trên mỗi đĩa SNIA DDF (Định dạng dữ liệu đĩa) được lưu trữ trong 64 MB đến 512 MB cuối cùng ở cuối mỗi đĩa SAS/SATA/NVMe vật lý. SNIA DDF (Định dạng dữ liệu đĩa) được lưu trữ trong các khu vực cuối cùng ở cuối mỗi đĩa vật lý. RIS (Khu vực thông tin dự trữ) siêu dữ liệu được lưu trữ trên ổ đĩa vật lý (trước đây ở cuối ổ đĩa trên Smart Array P-loạt).
Bạn có thể đổi thẻ chết bằng mẫu mới hơn một chút không? CÓ: Bất kỳ PERC dựa trên LSI nào (H330, H730, H740P, H755) có thể đọc và nhập DDF Cấu hình nước ngoài của PERC dựa trên LSI khác (miễn là thẻ mới hỗ trợ cùng cấp độ RAID và số lượng ổ đĩa). CÓ: Tương thích chuyển tiếp trên tất cả MegaRAID SAS 2108 / 2208 / 3108 / 3508 / 3916 Bộ điều khiển Tri-Mode thông qua tiêu chuẩn DDF Nhập khẩu nước ngoài. CÓ: Bộ điều khiển HPE Smart Array tự động đọc dữ liệu trên đĩa RIS siêu dữ liệu khi khởi động mà không cần nhấp chuột "Nhập nước ngoài" thủ công trong hầu hết các trường hợp (hoặc lời nhắc Press F1 to keep configuration on drives vs F2 to erase).
** Lệnh / Menu chính xác để giải cứu mảng ** F2 System Setup -> Device Settings -> PERC -> Foreign Configuration Management -> Preview -> Import Foreign Configuration (hoặc qua iDRAC Storage -> Controllers -> Import Foreign Config). Ctrl+R / UEFI HII -> Foreign View -> Import (hoặc qua CLI: storcli /c0/fall show preview theo sau là storcli /c0/fall import). Tại dấu nhắc POST: 1789 - Slot X Drive Array Disk Drive(s) Respond... Press F1 to continue with logical drives enabled (KHÔNG BAO GIỜ nhấn F2 tại dấu nhắc HPE POST, như F2 chấp nhận mất dữ liệu/xóa cấu hình).
Nút chết người xóa sạch mọi thứ Nhấp vào Clear Foreign Configuration (xóa DDF siêu dữ liệu từ đĩa) HOẶC Initialize Virtual Disk (số 0 trong ổ đĩa logic). Đang chạy storcli /c0/fall del (xóa cấu hình nước ngoài) HOẶC storcli /c0/v0 start init. Nhấn F2 trong quá trình POST khi ổ đĩa tạm thời bị thiếu ("1785 - Drive Array Not Configured") hoặc nhấp vào Re-create Logical Drive với Khởi tạo.

Playbook 1: "Nhập cấu hình nước ngoài" an toàn từng bước trên Dell PERC & LSI MegaRAID

Khi máy chủ Dell PowerEdge hoặc Supermicro/Lenovo MegaRAID của bạn tạm dừng khi khởi động với "Foreign configuration(s) found on adapter", hãy làm theo danh sách kiểm tra phẫu thuật 3 bước chính xác này:

Bước 1: Trước tiên hãy kiểm tra đèn LED của ổ đĩa vật lý và trạng thái quay vòng

Trước khi vào menu BIOS, hãy đi tới phía trước khung máy chủ (hoặc mở Dell iDRAC -> Storage -> Physical Disks) và đếm số đèn LED của khoang ổ đĩa: - Tại sao mảng trở thành Foreign ngay từ đầu? - Nếu bạn vừa thay thế thẻ PERC/MegaRAID đã chết (hoặc chuyển tất cả ổ đĩa vào khung máy chủ dự phòng), bạn sẽ thấy Foreign trên tất cả ổ đĩa là 100 phần trăm bình thường và được mong đợi. - Tuy nhiên, nếu bạn không đổi thẻ RAID và máy chủ đột nhiên khởi động lại vào "Foreign configuration found", điều đó có nghĩa là nhiều ổ đĩa bị ngắt kết nối đồng thời, thường là do SAS Mini-SAS HD bị lỏng (SFF-8643 / SFF-8654) cáp bảng nối đa năng, đường ray bảng nối đa năng của nguồn điện bị lỗi hoặc hai ổ đĩa cũ chạm vào các thành phần xấu cùng một lúc. - Nếu đèn LED của khoang ổ đĩa tối hoàn toàn (không quay lên): Tắt nguồn máy chủ, tháo hộp đựng ổ đĩa đó, đợi 30 giây, gắn lại hộp đựng chắc chắn và kiểm tra cáp nguồn/cáp dữ liệu bảng nối đa năng SAS rồi bật lại nguồn để phát hiện tất cả các ổ đĩa vật lý trước khi bạn xem trước quá trình nhập.

Bước 2: Mở màn hình "Xem trước cấu hình nước ngoài" (Không bao giờ nhập một cách mù quáng)

  1. Khởi động máy chủ và nhấn F2 (Thiết lập hệ thống) trên Dell PowerEdge 13G / 14G / 15G / 16G máy chủ (hoặc Ctrl+R trở lên cũ hơn 11G / 12G máy chủ BIOS).
  2. Điều hướng đến Device Settings -> [Your Dell PERC / MegaRAID Controller] -> Main Menu -> Configuration Management -> Manage Foreign Configuration -> Preview Foreign Configuration.
  3. Ngoài ra, nếu bạn có thể khởi động USB cứu hộ Linux trực tiếp hoặc kết nối qua SSH/OS, hãy kiểm tra bản xem trước một cách an toàn từ dòng lệnh bằng cách sử dụng perccli hoặc storcli:
    # Show all detected Foreign Configurations and whether Virtual Disks are complete:
    perccli /c0/fall show all
    # Or on standard Broadcom MegaRAID:
    storcli /c0/fall show preview
    
  4. Đọc kỹ màn hình xem trước:
  5. Nhìn vào Đĩa ảo (VD 0) trạng thái bên trong Bản xem trước nước ngoài: Nó có ghi Optimal (có tất cả các ổ đĩa) hoặc Degraded (ví dụ: 5 trong số 6 ổ đĩa có trong RAID 5 hoặc 6 trong số 8 ổ đĩa có trong RAID 6)?
  6. Quy tắc: Nếu Bản xem trước nước ngoài hiển thị Đĩa ảo sẽ được nhập dưới dạng Optimal hoặc Degraded (Có thể gắn được), bạn có thể chuyển sang Bước 3 một cách an toàn.
  7. Điều kiện dừng: Nếu Bản xem trước nước ngoài nói Offline / Incomplete vì hai ổ đĩa vẫn bị thiếu trong RAID 5 (hoặc ba từ RAID 6), DỪNG: KHÔNG nhấp vào Nhập. Việc nhập trong khi thiếu quá nhiều ổ đĩa sẽ nhập một mảng bị hỏng, không thể đếm được hoặc khiến các ổ bị thiếu không đồng bộ hóa. Tắt nguồn máy chủ và tìm hiểu lý do tại sao các đĩa vật lý bị thiếu không hoạt động trên bảng nối đa năng trước tiên.

Bước 3: Thực hiện Import Foreign Configuration

  1. Khi màn hình Xem trước xác nhận Đĩa ảo đã hoàn tất (hoặc đã xuống cấp có thể gắn kết), hãy nhấp vào Import Foreign Configuration và xác nhận lời nhắc (hoặc chạy perccli /c0/fall import / storcli /c0/fall import).
  2. Trong vòng 3 đến 5 giây, bộ điều khiển sẽ đọc DDF siêu dữ liệu từ các đĩa vật lý, ghi bản đồ sọc vào NVRAM của bộ điều khiển, chuyển các ổ đĩa từ Foreign quay lại Online và mang Đĩa ảo Optimal (hoặc Degraded, sẵn sàng để sao lưu ngay lập tức).
  3. Khởi động lại máy chủ; hệ điều hành của bạn (VMware ESXi, Windows Server, Proxmox / Linux) sẽ khởi động trực tiếp từ ổ đĩa nguyên vẹn mà không bị mất một byte nào.

Playbook 2: Điều gì sẽ xảy ra nếu ai đó ĐÃ nhấp vào "Xóa cấu hình nước ngoài" (hoặc cả siêu dữ liệu NVRAM + DDF đều bị xóa)?

Điều gì sẽ xảy ra nếu một kỹ thuật viên cấp dưới hoảng sợ vào lúc 2 giờ sáng, nhìn thấy "Foreign configuration found", đã nhấp vào Clear Foreign Configuration (lau DDF Siêu dữ liệu RAID khỏi ổ đĩa nên giờ đây mọi ổ đĩa đều thông báo Unconfigured Good), và toàn bộ Đĩa ảo của bạn đã biến mất?

** ĐỪNG bỏ cuộc; dữ liệu của bạn vẫn nguyên vẹn 100 phần trăm trên đĩa.** nhấp chuột Clear Foreign Configuration chỉ xóa đi phần nhỏ DDF khu vực cấu hình ở cuối đĩa; nó không chạm vào các sọc dữ liệu người dùng (LBA 0 đến cuối phân vùng của bạn).

Tuy nhiên, một bước đi sai lầm trong quá trình khôi phục sẽ phá hủy mọi thứ. Đây là giao thức khôi phục dữ liệu chuyên nghiệp chính xác khi cấu hình RAID phần cứng đã bị xóa:

Phương pháp 1 (An toàn nhất - Không có rủi ro 100% đối với đĩa gốc): Xây dựng lại hầu như thông qua HBA + chỉ đọc R-Studio / UFS Explorer / mdadm

Các kỹ sư khôi phục dữ liệu chuyên nghiệp không bao giờ thử nghiệm "Tạo lại mảng" trên các đĩa sản xuất trực tiếp bên trong BIOS bộ điều khiển RAID nếu họ không chắc chắn 100% về thứ tự ổ đĩa chính xác, kích thước sọc (64 KB, 128 KB, 256 KB) và phép quay chẵn lẻ (Left Asymmetric vs Left Symmetric). 1. Tắt nguồn máy chủ và tháo các ổ đĩa được đánh số. 2. Kết nối các ổ đĩa với máy trạm được trang bị Bộ điều hợp bus máy chủ SAS không phải RAID (HBA, chẳng hạn như LSI 9207-8i / 9300-8i lóe lên IT-Mode Phần sụn chuyển tiếp mục tiêu khởi tạo) để hệ điều hành nhìn thấy trực tiếp từng đĩa thô riêng lẻ mà không bị BIOS RAID can thiệp. 3. Mở UFS Explorer RAID Recovery hoặc R-Studio Technician: - Cả hai công cụ đều được tích hợp sẵn Dell PERC, LSI MegaRAID và HPE Smart Array Heuristic Stripe-Order Detectors để quét các cung thô, tự động phát hiện thứ tự ổ đĩa chính xác, 64 KB / 256 KB kích thước khối sọc, xoay chẵn lẻ và DDF bắt đầu bù đắp trong bộ nhớ chỉ đọc và cho phép bạn ** sao chép tất cả .vhdx, .vmdk, Cơ sở dữ liệu SQL và các tệp trực tiếp từ mảng ảo hóa vào NAS** dự phòng mà không cần ghi một byte nào vào ổ đĩa SAS gốc.

Phương pháp 2 (Thủ thuật phần cứng "Tạo lại đĩa ảo KHÔNG KHỞI ĐẦU" - Chỉ khi biết 100% tham số)

Nếu bạn không có một IT-Mode HBA và bạn biết chắc chắn 100% cấu hình chính xác trước đó của mảng Dell PERC / LSI MegaRAID (từ một tệp đã xuất iDRAC TSR [Báo cáo hỗ trợ kỹ thuật] nhật ký hoặc bảng xây dựng: thứ tự khoang Đĩa vật lý chính xác, cấp độ RAID, Kích thước phần tử sọc chính xác [ví dụ: 64 KB trên PERC H730 hoặc 256 KB trên H740P] và Chính sách Đọc/Ghi): 1. Trong tiện ích MegaRAID / PERC BIOS, hãy mở Create New Virtual Disk. 2. Chọn cùng một Cấp độ RAID, cùng một Ổ đĩa vật lý theo cùng một trình tự và cùng một Kích thước sọc (64 KB / 256 KB). 3. BỐI CẢNH SỐNG HAY CHẾT: Dưới Initialization hộp thả xuống, đảm bảo nó được đặt thành NO INITIALIZATION (Để lại như No / None; KHÔNG BAO GIỜ chọn Fast Initialize hoặc Full Initialize). 4. Khi bạn tạo Đĩa ảo trên bộ điều khiển LSI/PERC với Initialization = No, bộ điều khiển viết một mã hoàn toàn mới DDF tiêu đề siêu dữ liệu vào các khu vực dành riêng ở cuối đĩa trong khi giữ nguyên 100% khối dữ liệu người dùng cơ bản. 5. Khởi động vào ** USB Live Linux chỉ đọc (SystemRescue)** đầu tiên và chạy lsblk -f hoặc fdisk -l: nếu bạn NTFS, VMFShoặc XFS các phân vùng ngay lập tức xuất hiện với nhãn hệ thống tệp còn nguyên vẹn, hình dạng sọc phù hợp. (Lưu ý: không bắt đầu Kiểm tra tính nhất quán của chẵn lẻ ở chế độ nền cho đến khi bạn đã sao lưu tất cả dữ liệu quan trọng, vì nếu bạn đoán sai kích thước sọc hoặc thứ tự ổ đĩa, Kiểm tra tính nhất quán sẽ ghi đè các khối dữ liệu tốt có tính chẵn lẻ kém.)

Playbook 3: Xử lý "Lỗi nhiều ổ đĩa" trong RAID 5/RAID 6 và Bẫy "Sọc thủng"

Điều gì sẽ xảy ra nếu mảng RAID 5 6 ổ của bạn hoàn toàn Offline / Dead vì Ổ 2 bị lỗi ba tháng trước (và không ai nhận ra vì cảnh báo qua email chưa được định cấu hình) và Ổ 4 bắt đầu gây ra Lỗi Phương tiện (Bad Blocks / Sense Code 03/11/00) sáng nay?

Warning

Tại sao bạn KHÔNG BAO GIỜ phải chạy một cách mù quáng Force Online + Rebuild khi hai ổ đĩa thoát khỏi RAID 5 vào các thời điểm khác nhau: 1. Thảm họa tham nhũng "Ổ đĩa cũ": Giả sử Ổ 2 ngừng hoạt động vào ngày 1 tháng 1 và máy chủ tiếp tục chạy ở chế độ Đã xuống cấp trong 90 ngày (ghi hàng triệu giao dịch SQL mới và các thay đổi VM đối với Ổ đĩa 0, 1, 3, 4 và 5). Vào ngày 1 tháng 4, Drive 4 gặp phải một khu vực xấu và ngừng hoạt động ngoại tuyến, làm hỏng mảng. Nếu bạn truy cập PERC BIOS và nhấp vào "Buộc trực tuyến" trên Ổ 2 (đã ngừng hoạt động kể từ tháng 1) thay vì Ổ 4 hoặc nếu bạn cố gắng xây dựng lại bằng cách sử dụng tính chẵn lẻ cũ 90 ngày của Drive 2, bạn sẽ khôi phục và làm hỏng mọi khối hệ thống tệp được sửa đổi trong 90 ngày qua, biến ổ đĩa NTFS/VMFS của bạn thành pho mát Thụy Sĩ không thể đếm được. 2. ** "Sọc RAID bị thủng" (Bad Block Propagating During Rebuild) Bẫy:** Khi một ổ đĩa còn sót lại trong RAID 5 đã xuống cấp gặp phải Lỗi đọc không thể phục hồi (URE) trong quá trình xây dựng lại, bộ điều khiển Dell PERC và LSI MegaRAID thực hiện thao tác "Punctured Stripe": để quá trình xây dựng lại không bị hủy bỏ hoàn toàn, bộ điều khiển cố tình ghi một "điểm đánh dấu lỗi ECC không thể sửa chữa" tổng hợp (puncture) vào ổ đĩa thay thế hoàn toàn mới tại LBA chính xác đó để hệ điều hành biết dữ liệu bị mất ở đó. Khi một mảng RAID bị thủng, mọi hoạt động xây dựng lại trong tương lai sẽ lan truyền vết thủng và chạy chkdsk có thể làm hỏng âm lượng.

Giải pháp 4 bước an toàn cho mảng RAID bị rơi nhiều ổ:

  1. Xuất TTY / Nhật ký sự kiện của Bộ điều khiển (perccli /c0 show termlog hoặc iDRAC TSR) ĐẦU TIÊN:
  2. Trước khi chạm vào bất kỳ trạng thái ổ đĩa nào, hãy đọc nhật ký thiết bị đầu cuối chương trình cơ sở bên trong của bộ điều khiển (termlog). Xem dấu thời gian chính xác khi mỗi ổ đĩa chuyển từ Online ĐẾN Failed hoặc Foreign.
  3. Quy tắc chính: Ổ đĩa ngoại tuyến LAST (gần đây nhất, ví dụ: 10 phút trước hôm nay) có 99,999% dữ liệu cập nhật và là ổ đĩa duy nhất có thể buộc trở lại trực tuyến (hoặc sao chép) một cách an toàn để gắn ổ đĩa. Ổ đĩa đã chết vài tuần hoặc vài tháng trước (Stale Drive) phải ở ngoài mảng.
  4. Sao chép ổ đĩa bị lỗi "Đã đánh rơi gần đây nhất" vào một đĩa trống khỏe mạnh bằng cách sử dụng ddrescue (Thông qua HBA Chế độ CNTT):
  5. Bởi vì ổ đĩa bị rớt 10 phút trước thường bị rớt do một số thành phần xấu không thể đọc được (UREs), buộc ổ đĩa bị lỗi vật lý đó trực tuyến bên trong thẻ RAID và cố gắng xây dựng lại RAID trong 14 giờ sẽ khiến các đầu đọc của nó bị hỏng và chết hoàn toàn sau 20 phút.
  6. Thay vào đó, hãy gắn ổ đĩa bị lỗi đó (và tất cả các ổ đĩa thành viên còn sót lại) vào một ổ đĩa không phải RAID. IT-Mode SAS HBA và sử dụng GNU ddrescue (ddrescue -d -r1 /dev/sdX drive4_clone.img drive4.map) để ghi hình 99,9999% các khu vực có thể đọc được của nó vào một ổ đĩa hoặc tệp hình ảnh khỏe mạnh, bỏ qua 3 hoặc 4 khu vực xấu một cách trơn tru mà không làm hỏng cụm đầu.
  7. Gắn mảng nhân bản ở chế độ chỉ đọc và sao chép dữ liệu quan trọng trước khi xây dựng lại:
  8. Sau khi ổ đĩa bị lỗi được sao chép (hoặc nếu buộc ổ đĩa bị rơi gần đây nhất trực tuyến trong BIOS bộ điều khiển), gắn ổ đĩa hệ điều hành ở chế độ Chỉ đọc (mount -o ro,norecovery) và sơ tán các cơ sở dữ liệu quan trọng nhất của bạn, .vhdx/.vmdk các tập tin và chia sẻ tài khoản sang NAS bên ngoài ngay lập tức.
  9. Cách xóa "Mảng bị thủng" sau khi sao lưu dữ liệu của bạn:
  10. Sau khi Đĩa ảo Dell PERC hoặc LSI MegaRAID bị Sọc thủng (được biểu thị trong nhật ký bộ điều khiển bằng Patrol Read can't fix bad block hoặc Strip is punctured), không có số lần hoán đổi ổ đĩa hoặc chạy kiểm tra tính nhất quán nào sẽ xóa cờ thủng khỏi Đĩa ảo.
  11. Sau khi sao lưu 100 phần trăm tệp/VM khỏi mảng bị thủng: bạn phải Xóa Đĩa ảo, Khởi tạo toàn bộ Đĩa ảo hoàn toàn mới trên các ổ đĩa hoạt động tốt, tạo lại kho dữ liệu/phân vùng và khôi phục dữ liệu của bạn từ bản sao lưu.

Số khẩn cấp khu vực và các quy trình của cơ quan

Quốc gia / Khu vực Số sự cố khẩn cấp và mạng Các tiêu chuẩn phục hồi dữ liệu và hỗ trợ quan trọng của máy chủ OEM dành cho máy chủ doanh nghiệp
Hoa Kỳ 911 (Phòng máy chủ có nguy cơ cháy/điện/halon); CISA (1-844-SAY-CISA) đối với sự cố ngừng lưu trữ của cơ sở hạ tầng quan trọng/bệnh viện Nhiệm vụ quan trọng của Dell ProSupport (Mỹ): 1-800-945-3355 (yêu cầu PERC / Kỹ sư nâng cấp cấp cao về lưu trữ; tải lên iDRAC TSR log trước khi chạm vào Cấu hình nước ngoài)
Nhiệm vụ quan trọng của HPE Pointnext (Mỹ): 1-800-633-3600
Hỗ trợ doanh nghiệp Broadcom / LSI: 1-800-867-5016
NIST SP 800-88 / SP 800-209 hướng dẫn phục hồi và bảo mật lưu trữ doanh nghiệp.
Canada 911 (Trường hợp khẩn cấp); Trung tâm An ninh mạng Canada (1-833-CYBER-88) Hỗ trợ Dell Pro Canada: 1-800-847-4096
Hỗ trợ doanh nghiệp HPE Canada: 1-800-633-3600.
Vương quốc Anh 999 hoặc 112 (Trường hợp khẩn cấp); NCSC (ncsc.gov.uk) Hỗ trợ Dell Pro tại Vương quốc Anh: 0800 587 1456 hoặc +44 844 444 3844
Hỗ trợ doanh nghiệp HPE Vương quốc Anh: 0800 316 1440 hoặc +44 207 660 4401.
Liên minh Châu Âu 112 (Số khẩn cấp toàn Châu Âu) ENISA (Cơ quan an ninh mạng của Liên minh Châu Âu) & ISO/IEC 27031 Nguyên tắc về sự sẵn sàng của công nghệ thông tin và truyền thông để đảm bảo tính liên tục trong kinh doanh (IRBC).
Úc và New Zealand 000 (AU) / 111 (NZ); ASD ACSC (1300 292 371) Dell ProHỗ trợ Úc: 1800 812 393 / New Zealand: 0800 441 567
Hỗ trợ doanh nghiệp HPE Úc: 13 11 47.

Tip

Trước khi gọi Dell ProSupport, HPE Pointnext hoặc phòng thí nghiệm phục hồi dữ liệu RAID chuyên nghiệp, hãy xuất Gói chẩn đoán ngoài băng tần của bạn (iDRAC TSR / HPE iLO AHS): Ngay cả khi máy chủ của bạn từ chối khởi động hệ điều hành vì Đĩa ảo bị Foreign hoặc Offline, bạn có thể đăng nhập vào cổng quản lý dựa trên web của máy chủ (Dell iDRAC hoặc HPE iLO) từ bất kỳ máy tính xách tay nào trên mạng: - Trên Dell PowerEdge (iDRAC 8 / 9 / 10): Đi đến Maintenance -> SupportAssist -> Start a Collection, kiểm tra Storage Logs (TTY / TermLog) và nhấp vào Xuất cục bộ. Cái đó .zip tập tin chứa RAIDControllerLog.txt hiển thị chính xác mili giây mỗi ổ đĩa bị loại bỏ, chính xác DDF GUID siêu dữ liệu, kích thước sọc chính xác (64 KB vs 256 KB) và có sọc nào bị thủng không. - Trên HPE ProLiant (iLO 5 / 6): Đi đến Information -> Active Health System Log và tải xuống .ahs bó.

Câu hỏi thường gặp

Sự khác biệt chính xác giữa "Nhập cấu hình nước ngoài" và "Xóa cấu hình nước ngoài" trong Dell PERC / MegaRAID là gì?

Hãy nghĩ về `Foreign` gắn cờ với tư cách là bộ điều khiển RAID hỏi: "Cấu hình RAID được ghi trên các ổ cứng này không khớp với bộ nhớ trong của thẻ của tôi; cái nào là sự thật?" `Import Foreign Configuration` nói với bộ điều khiển: "Các ổ cứng là sự thật. Sao chép cấu hình RAID TỪ ổ cứng VÀO thẻ điều khiển và gắn ổ đĩa của tôi mà không xóa bất cứ thứ gì." Sử dụng `Import` bất cứ khi nào bạn thay thế một thẻ RAID đã chết, di chuyển tất cả các ổ đĩa của bạn sang một máy chủ mới hoặc gặp trục trặc về nguồn/bảng nối đa năng khiến mảng hiện tại của bạn bị ngoại tuyến. `Clear Foreign Configuration` nói với bộ điều khiển: "Xóa siêu dữ liệu RAID khỏi các ổ đĩa ngoài đó và biến chúng thành trống `Unconfigured Good` đĩa." Sử dụng `Clear` CHỈ khi bạn trượt một ổ đĩa dự phòng đã qua sử dụng (được kéo từ một máy chủ cũ đã ngừng hoạt động) vào một máy chủ đang chạy tốt và muốn xóa siêu dữ liệu cũ của ổ đĩa dự phòng đó để nó có thể được xây dựng lại thành một ổ đĩa dự phòng nóng.

Tôi có thể rút tất cả các ổ SAS/SATA của mình ra khỏi Dell PowerEdge R740 đã chết (với bo mạch chủ đã chết) và cắm chúng vào Dell PowerEdge R730 hoặc R750 dự phòng để khởi động máy chủ của tôi ngay lập tức không?

Đúng. Điều này được gọi là Chuyển vùng đĩa hoặc Di chuyển mảng và SNIA `DDF` Siêu dữ liệu (Định dạng dữ liệu đĩa) làm cho siêu dữ liệu này trở nên đáng tin cậy trên Dell PERC (`H330`, `H730`, `H740P`, `H755`) và bộ điều khiển Broadcom MegaRAID, miễn là bạn tuân theo ba quy tắc: (1) Dán nhãn cho mỗi caddy ổ đĩa bằng số khoang chính xác của nó (`Bay 0` bởi vì `Bay N`) và chèn chúng vào máy chủ thay thế theo đúng thứ tự; (2) Xác minh rằng chương trình cơ sở của bộ điều khiển RAID của máy chủ thay thế có cùng phiên bản chính hoặc mới hơn và hỗ trợ cấp độ RAID được sử dụng; và (3) Khi khởi động trên máy chủ thay thế, hãy nhập PERC BIOS, xem trước Cấu hình nước ngoài và chọn `Import Foreign Configuration`.

Tại sao HPE Smart Array hiển thị "1785 - Mảng ổ đĩa 0 không được định cấu hình" tại POST và tại sao lại nhấn F2 gây tử vong?

Về Doanh nghiệp Hewlett Packard (`HPE`) Máy chủ ProLiant sử dụng bộ điều khiển Smart Array, nếu cáp nguồn bảng nối đa năng SAS bị lỏng hoặc kệ ổ đĩa mất quá nhiều thời gian để quay khi khởi động, bộ điều khiển sẽ hiển thị thông báo POST chẳng hạn như `1785 - Drive Array Not Configured` hoặc `1789 - Disk Drive(s) Respond` theo sau là các tùy chọn như `Press F1 to continue` hoặc `Press F2 to accept data loss and re-enable logical drive`. Không bao giờ nhấn `F2` mà không đọc kỹ lời nhắc chính xác: trên một số thế hệ chương trình cơ sở Smart Array, hãy nhấn `F2` khi ổ đĩa tạm thời bị thiếu, hãy yêu cầu bộ điều khiển chấp nhận mất vĩnh viễn ổ đĩa bị thiếu hoặc khởi tạo lại siêu dữ liệu ổ đĩa logic. Thay vào đó, hãy tắt nguồn ngay lập tức, sửa lại cáp SAS bị lỏng hoặc nguồn điện bên ngoài để tất cả các ổ đĩa quay cùng nhau và khởi động lại.

Can I take a single drive out of a Hardware RAID 5 or RAID 10 array, plug it into a USB-to-SATA dock on my Windows PC, and copy my files off it?

For RAID 5, RAID 6, RAID 0, or RAID 10 (with 4+ drives): No. In striped arrays, every individual file larger than the stripe size (`64 KB` ĐẾN `256 KB`) is sliced into tiny 64-kilobyte ribbons across all drives simultaneously, interleaved with XOR parity blocks. Plugging a single RAID 5 drive into a Windows PC will show an unreadable partition, and if you accidentally click Windows Disk Management's "Initialize Disk (`MBR/GPT`)" popup on that single drive, you will overwrite the first sectors of Stripe 0. (The only exception is a 2-drive RAID 1 Mirror: in a simple 2-drive RAID 1 mirror, each disk contains a complete linear copy of the volume and can be mounted read-only on a non-RAID SATA/SAS port, though you must still never boot it writable outside the mirror if you plan to put it back into the RAID card.)

My RAID 5 rebuild is stuck at 47% and the server is barely responsive. Should I reboot the server or cancel the rebuild?

First, do not hard-power-off the server if the drive activity LEDs are still blinking. When a hardware RAID 5 or RAID 6 rebuild slows down to a crawl (for example, dropping from 150 MB/sec to 0.5 MB/sec at 47 percent), it almost always means one of the surviving source drives has hit a patch of weak/degrading magnetic sectors and is spending 8 seconds per sector performing internal ERC (`Error Recovery Control`) read retries. While you still have access to the mounted volume over the network (even if it is slow), immediately copy your most critical database backups, financial files, and VM configs off the server to a separate NAS or USB drive right now, because if that struggling source drive gives up completely before reaching 100 percent, the rebuild will abort and the volume may go offline.

Hướng dẫn liên quan

Nguồn và hướng dẫn chính thức

  • Storage Networking Industry Association (SNIA): Common RAID Disk Data Format (DDF) Technical Specification (Version 2.0), standardizing on-disk configuration metadata (COD) and Foreign Configuration import across enterprise RAID controllers.
  • Tài liệu Kỹ thuật Doanh nghiệp của Dell Technologies: Bộ điều khiển RAID Dell PowerEdge (PERC 9 / 10 / 11 / 12) Hướng dẫn sử dụng: Quản lý cấu hình nước ngoài, Cache bảo tồn (Pinned Cache), and Resolving Punctured RAID Stripes (SLN156890 / 000139251).
  • Broadcom Inc. (formerly LSI / Avago): MegaRAID SAS Software User Guide and StorCLI Reference Manual (/cX/fall show preview và /cX/fall import Foreign Configuration Commands).
  • Hewlett Packard Enterprise (HPE): HPE Smart Array SR Gen10 / Gen11 User Guide and Troubleshooting Guide (Reserved Information Sector RIS Metadata and POST Error Codes 1785 ĐẾN 1799).
  • National Institute of Standards and Technology (NIST): Special Publication 800-209 (Security Guidelines for Storage Infrastructure) and SP 800-88 Rev. 1 (Guidelines for Media Sanitization).