Người chấm và máy chấm: độ đồng thuận của chuẩn

Chương này hỏi: chuẩn tham chiếu của đo giấc ngủ — bản ghi đa ký giấc ngủ (polysomnography, PSG) do người chấm tay — ổn định đến đâu, và máy chấm có theo kịp người chấm không? Câu trả lời ngắn: người chấm có kinh nghiệm đồng thuận khá tốt ở mức cả đêm, nhưng rất kém ở giai đoạn N1. Kappa riêng cho N1 chỉ 0,24 trong một phân tích gộp và 0,31 giữa chín trung tâm quốc tế. Thuật toán chấm tự động và băng đầu ghi điện não ở vùng trán đạt mức gần với bất đồng giữa người chấm, trong phòng thí nghiệm và trên các mẫu nhỏ. Phần lớn các con số về máy chấm đến từ nghiên cứu có hãng tài trợ, có nhân viên hãng đứng tên, hoặc từ hồ sơ hãng nộp cho cơ quan quản lý.

Vì sao cần đo độ đồng thuận của chính chuẩn#

Chương trước đã đặt khung đo lường cho cả tập: độ nhạy, độ đặc hiệu theo epoch, kappa, độ lệch trung bình, giới hạn đồng thuận và hệ số tương quan nội lớp (intraclass correlation coefficient, ICC). Chương này áp khung đó vào chính chuẩn tham chiếu. Nếu hai người chấm giỏi chỉ khớp nhau ở mức nào đó, thì một thiết bị khớp với một người chấm ở mức tương đương đã chạm trần đo được SL.

Khi đọc các con số dưới đây, cần phân biệt hai loại chỉ số. Phần trăm đồng thuận là tỉ lệ epoch mà hai bên gán cùng giai đoạn, không hiệu chỉnh cho phần trùng do ngẫu nhiên. Kappa đã trừ phần ngẫu nhiên, nên luôn thấp hơn phần trăm đồng thuận trên cùng dữ liệu. Ngoài ra, chuẩn so sánh có thể là một người chấm khác, ý kiến đa số của nhiều người, hay đồng thuận của một nhóm chuyên gia. Mỗi lựa chọn cho một con số khác.

Độ đồng thuận giữa người chấm#

Khi chuyển sang quy tắc chấm mới#

Nghiên cứu liên phòng thí nghiệm SIESTA gồm bản ghi của 72 người: 56 người khoẻ và 16 người có rối loạn giấc ngủ. Mỗi bản ghi được chấm theo cả quy tắc Rechtschaffen và Kales (R&K) lẫn quy tắc năm 2007 của Viện Hàn lâm Y học Giấc ngủ Hoa Kỳ (American Academy of Sleep Medicine, AASM). Đồng thuận tổng giữa người chấm theo AASM là 82,0% (kappa Cohen 0,76), cao hơn theo R&K là 80,6% (kappa 0,68) (Danker-Hopfe và cs., 2009).

Ngoại lệ là N2: đồng thuận cho N2 lại giảm khi chuyển sang AASM. Tác giả quy điều này cho quy tắc mới coi vi thức tỉnh vỏ não là sự kiện kết thúc N2. Tóm tắt không cho kappa từng giai đoạn. Nhiều tác giả trùng với nhóm của Moser 2009, một nghiên cứu cùng cơ sở dữ liệu do công ty Siesta Group tài trợ; mục tài trợ của chính bài này chúng tôi chưa kiểm được.

Chương trình độ tin cậy của AASM#

Chương trình độ tin cậy giữa người chấm của AASM (AASM inter-scorer reliability program) cho một bức tranh ở quy mô lớn. Hơn 2.500 người chấm, đa số có từ 3 năm kinh nghiệm trở lên, chấm 9 đoạn bản ghi gồm 1.800 epoch. Tổng cộng có hơn 3,2 triệu quyết định chấm (Rosenberg và Van Hout, 2013). Chuẩn so sánh là giai đoạn được đa số chọn cho từng epoch.

Đồng thuận trung bình với lựa chọn đa số là 82,6%. Theo từng giai đoạn, đồng thuận cao nhất ở giấc ngủ cử động mắt nhanh (rapid eye movement, REM); N2 và thức gần ngang mức đó. N3 chỉ đạt 67,4%, và thấp nhất là N1 với 63,0% (Rosenberg và Van Hout, 2013). Bất đồng tập trung ở các epoch chuyển giai đoạn và ở ranh giới N2/N3.

Phân tích gộp và nghiên cứu liên trung tâm#

Phân tích gộp của một nhóm tác giả Hàn Quốc chọn 11 nghiên cứu từ 101 bài được sàng lọc. Kappa Cohen cho chấm giai đoạn bằng tay trên toàn bộ đêm là 0,76, mức "đáng kể" (Lee và cs., 2022). Kappa theo từng giai đoạn thấp hơn: thức 0,70; N1 0,24; N2 0,57; N3 0,57 và REM 0,69. N1 chỉ ở mức "đồng thuận yếu". Kappa tổng cao hơn kappa của hầu hết giai đoạn riêng vì N2 chiếm phần lớn đêm.

Nhóm SAGIC (Sleep Apnea Global Interdisciplinary Consortium) cho chín trung tâm quốc tế chấm cùng 15 PSG, mỗi trung tâm một kỹ thuật viên có kinh nghiệm. Các trung tâm ở Mỹ, Đài Loan, Úc, Iceland, Đức, Pháp và Brazil. Kappa theo giai đoạn là: thức 0,78; giấc ngủ không cử động mắt nhanh (non-rapid eye movement, NREM) 0,77; N1 0,31 (0,30–0,32); N2 0,60; N3 0,67; REM 0,78 (Magalang và cs., 2013).

Cũng trong SAGIC, ICC giữa các trung tâm cho chỉ số ngưng thở–giảm thở (apnea–hypopnea index, AHI) là 0,95 (0,91–0,98). Với chỉ số vi thức tỉnh, ICC chỉ 0,68 (0,50–0,85) (Magalang và cs., 2013). ICC cao cho AHI nói rằng các trung tâm xếp bệnh nhân theo thứ tự rất giống nhau. Nó không nói các trung tâm cho cùng một giá trị AHI, và tóm tắt không cho độ lệch tuyệt đối.

Một người chấm so với đồng thuận của nhóm#

Một bộ dữ liệu khác đặt từng người chấm vào vị trí của "thiết bị được thẩm định". Bộ này gồm 70 PSG của phụ nữ, mỗi bản ghi được 6 người chấm ở 3 địa điểm tại Mỹ chấm (Stephansen và cs., 2018). So với đồng thuận của cả 6 người, độ chính xác của từng người chấm chỉ từ 74% đến 85%. So với đồng thuận của 5 người còn lại, để người được đánh giá không tự góp vào chuẩn của mình, con số là 69–80%. Nghiên cứu chủ yếu do Jazz Pharmaceuticals tài trợ.

N1: ba con số, ba chỉ số khác nhau#

Ba con số cho N1 đo ba thứ khác nhau. Phần trăm đồng thuận không hiệu chỉnh cho phần trùng do ngẫu nhiên. Nó cũng được tính so với ý kiến đa số, mà chính người chấm góp phần tạo ra. Vì vậy nó luôn cao hơn kappa. Không thể ghép "63,0%" với "kappa 0,24" như hai mức khác nhau của cùng một chỉ số.

Theo suy luận của chúng tôi SL, N1 khó chấm vì nó là giai đoạn chuyển tiếp ngắn giữa thức và N2. Ranh giới giữa nhịp trội vùng chẩm, sóng chậm hơn của N1 và những dấu hiệu đầu tiên của N2 phụ thuộc vào đánh giá thị giác. Hệ quả thực tế: mọi thiết bị báo cáo riêng "giấc ngủ nông" hay N1 đang được so với một chuẩn mà chính người chấm cũng chỉ đồng thuận yếu.

Chấm tự động và thuật toán học máy#

Chấm tự động không mới, nhưng thế hệ thuật toán dựa trên học sâu (deep learning) đã thay đổi cách thẩm định. Câu hỏi đúng không phải "thuật toán có khớp 100% với một người chấm không", mà là "thuật toán có nằm trong khoảng bất đồng giữa các người chấm không" SL.

Mạng nơ-ron so với nhiều người chấm#

Trên chính bộ 70 PSG nói ở trên, mạng nơ-ron phân giai đoạn của Stephansen và cộng sự đạt độ chính xác 87% theo epoch so với đồng thuận của 6 người chấm. Con số này cao hơn độ chính xác của từng người chấm riêng lẻ, 74–85% (Stephansen và cs., 2018). Thuật toán được huấn luyện trên nhiều thuần tập, gồm 2.167 PSG của 1.086 người ở một thuần tập và 617 người ở thuần tập khác.

Bài báo còn nêu một con số 95%, nhưng đó là kết quả trên một bản ghi duy nhất 150 epoch của chương trình độ tin cậy AASM, không đại diện. Cùng nghiên cứu dùng biến đổi giai đoạn giấc ngủ do mạng nơ-ron tính ra để phát hiện ngủ rũ loại 1. So với chẩn đoán lâm sàng, độ nhạy là 91% và độ đặc hiệu 96% ở dữ liệu kiểm tra; ở mẫu lặp lại là 93% và 91%. Nguồn tài trợ chủ yếu là Jazz Pharmaceuticals, hãng dược có thuốc cho chứng ngủ rũ.

Hai hệ thống chấm tự động trong phòng thí nghiệm lâm sàng#

Hệ thống chấm tự động YST (Winnipeg) được so với trung bình của 10 kỹ thuật viên ở 5 trung tâm học thuật tại Mỹ, trên 70 PSG (Malhotra và cs., 2013). Mỗi bản ghi được 2 kỹ thuật viên ở mỗi trung tâm chấm có máy tính hỗ trợ. ICC lớn hơn 0,8 cho tổng thời gian ngủ (total sleep time, TST), N2 và vi thức tỉnh trong NREM. Các biến khác có ICC thấp hơn, nhưng tương đương ICC giữa các trung tâm chấm tay. Nghiên cứu được Philips Respironics Foundation tài trợ một phần. Một đồng tác giả là chủ một công ty nghiên cứu–phát triển gắn với hệ thống chấm tự động này. Tóm tắt không cho kappa theo epoch.

Hệ thống Somnolyzer, chấm theo AASM 2007, được so với kỹ thuật viên có chứng chỉ ở 4 phòng thí nghiệm trên 97 PSG (Punjabi và cs., 2015). Hệ số tương quan AHI giữa chấm tự động và chấm tay trung bình là 0,93 (khoảng tin cậy 95%, viết tắt KTC 95%: 0,91–0,96). Con số này tương đương tương quan giữa các phòng thí nghiệm chấm tay, 0,92 (0,90–0,93). Somnolyzer đồng thuận cao với chấm tay ở chỉ số vi thức tỉnh, TST và hiệu quả giấc ngủ. Nhưng nó khác chấm tay ở tỉ lệ phần trăm N1, N2 và N3; tóm tắt không cho số.

Bài Somnolyzer cần đọc với hai lưu ý. Thứ nhất, tương quan không phải đồng thuận: tóm tắt Somnolyzer không cho độ lệch AHI. Thứ hai, một đồng tác giả của bài Somnolyzer là người phát triển hệ thống. Nghiên cứu ghi tài trợ của Viện Tim, Phổi và Máu Quốc gia Hoa Kỳ (NHLBI); trên trang đọc được, chúng tôi không thấy ghi tài trợ của Philips.

Hồ sơ 510(k): số liệu do hãng nộp#

Một nguồn số liệu khác là hồ sơ nộp cho Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ (Food and Drug Administration, FDA) theo thủ tục 510(k). Thủ tục này cho phép lưu hành một thiết bị khi chứng minh được nó "tương đương đáng kể" (substantially equivalent) với một thiết bị đã được phép. Đó không phải chứng minh độ chính xác lâm sàng độc lập. Số liệu trong tóm tắt 510(k) do chính hãng nộp NGÀNH.

EnsoSleep (EnsoData) được FDA cho phép lưu hành theo thư ngày 27/3/2017, mã sản phẩm OLZ (FDA, 2017). Hồ sơ là một nghiên cứu cắt ngang hồi cứu trên 72 PSG lâm sàng, chọn từ kho 823 PSG. Chuẩn so sánh là ý kiến đa số 2/3 của ba kỹ thuật viên đa ký giấc ngủ có đăng ký (registered polysomnographic technologist, RPSGT). Thiết bị đối chiếu là Sleep Profiler.

Hồ sơ dùng ba chỉ số. Đồng thuận dương (positive agreement, PA) là tỉ lệ epoch chuẩn chấm giai đoạn X mà thiết bị cũng chấm X. Đồng thuận âm (negative agreement, NA) là tỉ lệ epoch chuẩn chấm "không phải X" mà thiết bị cũng chấm "không phải X". Đồng thuận tổng (overall agreement, OA) gộp cả hai.

Con số dễ bị trích nhất là "đồng thuận tổng 91%". Nhưng nó được tính theo kiểu nhị phân cho từng giai đoạn (X hay không phải X), nên bị đồng thuận âm kéo lên. Con số tương ứng với độ chính xác năm lớp của các nghiên cứu khác là đồng thuận dương 78% (FDA, 2017).

Với phát hiện vi thức tỉnh, trên 7.686 sự kiện, đồng thuận dương là 66% (61–71%), đồng thuận âm 90%, đồng thuận tổng 87%. Với sự kiện rối loạn hô hấp khi ngủ, trên 4.705 sự kiện, đồng thuận dương là 67% (58–75%). Khi phân loại từng bệnh nhân có hay không có ngưng thở tắc nghẽn khi ngủ (obstructive sleep apnea, OSA) ở ngưỡng AHI ≥ 15, đồng thuận âm là 98% (94–100%). Đồng thuận dương theo các phân nhóm dao động 79–95%, với khoảng tin cậy rộng (cận dưới tới 56%) vì chỉ có 72 bệnh nhân (FDA, 2017).

Điện não vùng trán và băng đầu#

Một hướng khác là bỏ bớt điện cực: ghi điện não đồ (electroencephalography, EEG) chỉ ở vùng trán, nơi không có tóc, bằng một thiết bị tự gắn. Ưu điểm là có thể đo nhiều đêm tại nhà. Cái giá là mất các đạo trình trung tâm và chẩm mà quy tắc AASM dùng để nhận diện nhịp trội vùng chẩm và các dấu hiệu của N2.

Sleep Profiler#

Sleep Profiler (Advanced Brain Monitoring) phân giai đoạn từ một tín hiệu EEG trán. Theo hồ sơ FDA 510(k) năm 2016, thiết bị được đo đồng thời với PSG ở 43 người có ít nhất 4 giờ ghi (FDA, 2016). Chuẩn là đa số có trọng số của 3 người chấm. Đồng thuận dương là: thức 0,73; N1 0,25; N2 0,77; N3 0,76; REM 0,74. Đồng thuận âm cao (0,84–0,97), dễ bị hiểu nhầm là "độ chính xác". Hồ sơ không nêu nơi đo, và số liệu do hãng nộp NGÀNH.

Băng đầu Dreem#

Băng đầu Dreem (Dreem Headband) dùng điện cực EEG khô. Arnal và cộng sự so nó với PSG đo đồng thời trong một đêm, tại phòng thí nghiệm của Viện Nghiên cứu Y sinh Quân đội Pháp (Institut de recherche biomédicale des armées, IRBA) (Arnal và cs., 2020). Mẫu cuối là 25 người khoẻ; 31 người được tuyển, 33 đêm được ghi và 8 đêm bị loại. Năm kỹ thuật viên từ 3 trung tâm chấm PSG. Chuẩn cho Dreem là đồng thuận của 4 người chấm xếp hạng cao nhất. Nhiều tác giả là nhân viên Dreem, thuộc nhóm khoa học và nhóm thuật toán của hãng.

Chấm tự động của Dreem đạt độ chính xác tổng 83,5 ± 6,4% (F1 83,8 ± 6,3) theo epoch, năm lớp giai đoạn. Kappa Cohen, được bài báo trình bày dạng phần trăm, là 74,8 ± 10,4%. Độ chính xác của từng kỹ thuật viên so với đồng thuận của những người còn lại là 86,4 ± 8,0%. Như vậy Dreem chỉ thấp hơn người chấm khoảng 3 điểm phần trăm (Arnal và cs., 2020).

Bài báo có số không thống nhất. Phần Kết quả ghi độ chính xác của Dreem là 83,8 ± 6,8% và của người chấm là 86,4 ± 7,4%, khác với tóm tắt và Bảng 4. Chúng tôi dùng số của tóm tắt.

Dreem chính xác nhất với REM, N2 và N3, kém với thức và rất kém với N1 (Arnal và cs., 2020). Người chấm cũng chỉ đạt 54,2% cho N1. Ở phần so sánh tín hiệu EEG theo phổ công suất, trung bình khoảng 2,1% cửa sổ tín hiệu bị loại vì tín hiệu băng đầu không dùng được. Phần đó không phải phân tích chấm giai đoạn.

Đọc chung hai nghiên cứu điện não vùng trán#

Hai nguồn cùng cho một mô hình: EEG trán bắt tốt N2, N3 và REM, nhưng N1 là điểm yếu, như ở người chấm. Sleep Profiler có đồng thuận dương 0,25 cho N1; Dreem đạt 47,7% so với 54,2% của người chấm. Hai con số không cùng chỉ số nên không so trực tiếp được. Theo suy luận của chúng tôi SL, cả hai đều chưa trả lời câu hỏi mà thiết bị tự gắn được thiết kế để trả lời: độ chính xác khi người dùng tự đeo ở nhà, nhiều đêm. Dreem được đo trong phòng thí nghiệm có kỹ thuật viên, ở người khoẻ; Sleep Profiler không công bố nơi đo trong hồ sơ.

Các thiết bị đeo tiêu dùng không dùng EEG được trình bày ở chương về thiết bị đeo và cảm biến không chạm. Tổng quan ngắn ở Tập 7 (Thang đo, thiết bị đeo và tự báo cáo) đặt các thiết bị này trong bối cảnh lâm sàng.

Tóm tắt bằng chứng#

Điều chưa biết#

• Chúng tôi chưa tìm được nghiên cứu thẩm định băng đầu Dreem hay thiết bị EEG trán khác trong điều kiện tự dùng tại nhà, ngoài phòng thí nghiệm.
• Nghiên cứu tiếp theo của nhóm SAGIC về đồng thuận chấm đo ngưng thở tại nhà giữa các trung tâm đã được xác định nhưng chúng tôi chưa đọc được.
• Bài gốc về thuật toán chấm tự động U-Sleep chúng tôi chưa mở được. Vì vậy chương chưa có dữ liệu về thuật toán chấm tự động độc lập với hãng ở quy mô lớn.
• Chúng tôi chưa tìm được nghiên cứu nào ở Việt Nam về độ tin cậy chấm PSG giữa người chấm hay giữa các trung tâm. Nguồn châu Á chúng tôi tìm được là phân tích gộp của nhóm Hàn Quốc và một trung tâm Đài Loan trong SAGIC.
• Mục tài trợ của nghiên cứu SIESTA về độ tin cậy giữa người chấm chưa kiểm được. Hồ sơ 510(k) của Sleep Profiler không nêu nơi đo.
• Kappa theo từng giai đoạn cho các hệ thống YST và Somnolyzer không có trong tóm tắt mà chúng tôi đọc được.