Làm sạch dữ liệu khảo sát là kiểm từng biến, từng phiếu để phát hiện lỗi nhập, câu bỏ trống, câu trả lời mâu thuẫn và giá trị lạ, rồi quyết định giữ, sửa theo phiếu gốc hay loại, theo những quy tắc bạn đặt ra trước khi nhìn kết quả, và ghi lại từng quyết định. Tối nay bạn có thể làm ngay hai việc: lưu một bản tệp gốc không bao giờ chỉnh sửa, và chạy bảng tần số cho mọi biến để tìm những mã không có trong sổ mã hoá.
Bước này đứng ngay sau nhập liệu và trước mọi bảng trong chương kết quả. Nó không làm số liệu "đẹp" hơn; nó làm số liệu đúng hơn. Ranh giới giữa làm sạch và gian lận rất rõ: làm sạch dựa vào phiếu gốc và quy tắc định trước, còn xoá phiếu vì chúng làm kết quả xấu đi là sửa dữ liệu. Phần dưới đi theo năm bước, có nhật ký quyết định để chép.
Năm bước làm sạch theo thứ tự
Làm theo đúng thứ tự này, vì bước trước thường làm lộ lỗi của bước sau.
- Khoá bản gốc. Lưu tệp vừa nhập xong thành một bản có tên kèm ngày, không mở để sửa nữa. Mọi thao tác làm trên bản sao. Nếu sau này phát hiện quyết định sai, bạn quay về được.
- Kiểm phạm vi giá trị. Chạy bảng tần số cho mọi biến phân loại và xem nhỏ nhất, lớn nhất của biến liên tục. Câu Likert một đến năm mà có số 6 hay 55 là lỗi gõ. Mã nào không có trong sổ mã hoá đều phải tra lại phiếu giấy.
- Kiểm logic giữa các câu. Người chọn "không làm thêm" mà ghi số giờ làm thêm, người hai mươi tuổi khai ba mươi năm kinh nghiệm canh tác, người chọn "không có con" mà trả lời phần câu hỏi về con. Mỗi mâu thuẫn tra lại phiếu gốc trước khi quyết định.
- Xử lý phiếu thiếu. Phân biệt thiếu rải rác vài câu với bỏ dở nguyên phần. Áp quy tắc đã đặt (xem mục sau), không quyết định từng phiếu theo cảm giác.
- Rà phiếu trả lời một kiểu và giá trị lạ. Phiếu chọn cùng một mức cho mọi câu, kể cả câu đảo chiều; giá trị cao bất thường nhưng có thể có thật. Đánh dấu, kiểm, rồi quyết định theo quy tắc.
Sau năm bước, chạy lại bảng tần số một lần nữa trên bản đã làm sạch và so số phiếu với số ghi trong nhật ký: số phiếu ban đầu trừ số phiếu loại phải bằng số phiếu còn lại. Nghe hiển nhiên, nhưng sai lệch một hai phiếu giữa chương phương pháp và chương kết quả là thứ hội đồng hay bắt.
Đặt quy tắc loại phiếu trước khi nhìn kết quả
Quy tắc loại phiếu phải được viết ra trước khi bạn chạy bất kỳ bảng kết quả nào liên quan đến câu hỏi nghiên cứu. Lý do đơn giản: nếu bạn đã thấy kết quả, mọi quyết định giữ hay bỏ đều có nguy cơ nghiêng về phía làm kết quả khớp với điều mình mong. Đặt trước thì bạn không phải tự nghi ngờ mình, và khi hội đồng hỏi, bạn chỉ cần đọc lại quy tắc.
Một bộ quy tắc mẫu cho đề tài giả định của bạn có thể là: phiếu bỏ trống từ một phần ba số câu của phần nội dung chính trở lên thì loại khỏi phân tích; phiếu thiếu rải rác dưới mức đó thì giữ, câu thiếu để trống và mỗi bảng ghi rõ số người trả lời; phiếu chọn cùng một mức cho toàn bộ thang đo, kể cả các câu đảo chiều, thì đánh dấu và loại nếu có thêm dấu hiệu khác như bỏ trống phần thông tin cá nhân; phiếu không đúng đối tượng theo câu sàng lọc thì loại. Các ngưỡng này là ví dụ tự đặt; bạn chọn ngưỡng của mình, trao đổi với người hướng dẫn và giữ nguyên trong suốt quá trình.
Không có quy định chung nào về "phiếu thiếu bao nhiêu thì loại" cho mọi khoá luận. Nếu khoa bạn có hướng dẫn riêng về xử lý số liệu, theo hướng dẫn đó. Điều bắt buộc ở mọi nơi là sự trung thực: chương phương pháp phải nói bạn đã phát bao nhiêu phiếu, thu bao nhiêu, loại bao nhiêu và vì sao.
Nhật ký quyết định làm sạch: khung chép dùng ngay
Đề tài giả định: "Mức độ áp dụng quy trình bón phân cân đối của hộ trồng lúa ở một hợp tác xã" (ngành nông nghiệp). Mỗi quyết định một dòng, viết ngay lúc làm, không viết lại từ trí nhớ.
| Ngày | Mã phiếu | Biến | Vấn đề | Kiểm lại thế nào | Quyết định | Theo quy tắc |
|---|---|---|---|---|---|---|
| Ngày 1 | P037 | Diện tích lúa | Ghi 50 (đơn vị sào), các hộ khác 2 đến 12 | Tra phiếu giấy: ghi 5,0; lỗi gõ dấu phẩy | Sửa thành 5 theo phiếu gốc | Lỗi nhập: sửa theo phiếu |
| Ngày 1 | P052 | Số vụ trong năm | Ghi 4 | Phiếu giấy cũng ghi 4; hỏi cán bộ hợp tác xã: vùng này cấy hai vụ | Để trống ô này, giữ phiếu | Giá trị không thể có: để trống |
| Ngày 2 | P061 đến P074 | Phần C (thực hành bón phân) | Bỏ trống toàn bộ phần C | Cùng một buổi phát phiếu, người phát ghi chú trời mưa phải dừng sớm | Loại khỏi phân tích phần C | Thiếu từ một phần ba trở lên: loại |
| Ngày 2 | P088 | Thang đo thái độ | Chọn mức 5 cho cả mười câu, kể cả hai câu đảo chiều | Phần thông tin hộ đầy đủ, không dấu hiệu khác | Giữ, đánh dấu để phân tích độ nhạy | Một kiểu nhưng không có dấu hiệu thứ hai: giữ |
Cột cuối là cột quan trọng nhất: mỗi quyết định phải truy được về một quy tắc. Khi gặp ca mà quy tắc chưa lường, thêm quy tắc mới, ghi ngày thêm, và áp lại cho toàn bộ phiếu, không chỉ cho phiếu vừa gặp.
Tình huống: một phần ba số phiếu thiếu phần quan trọng nhất
Minh, sinh viên năm tư ngành nông nghiệp, phát phiếu cho các hộ trồng lúa ở một hợp tác xã. Nhập xong mới thấy gần một phần ba số phiếu bỏ trống phần C về thực hành bón phân, đúng phần trả lời câu hỏi nghiên cứu chính. Minh hoảng, định bỏ hết những phiếu đó và phát thêm cho đủ. Cách xử lý từng bước:
- Trước hết tìm xem phiếu thiếu có rơi vào một nhóm nào không. Ở đây chúng tập trung trong một buổi phát phiếu bị dừng giữa chừng; nếu chúng tập trung ở hộ lớn tuổi hay hộ ít học, chuyện đó tự nó là một phát hiện về cách hỏi.
- Giữ những phiếu thiếu cho các phân tích không cần phần C, ví dụ mô tả đặc điểm hộ. Ghi rõ số người trả lời ở từng bảng.
- Nếu còn thời gian và được người hướng dẫn đồng ý, quay lại địa bàn hỏi bổ sung phần C cho đúng những hộ đó, ghi rõ ngày hỏi bổ sung trong nhật ký. Phát thêm phiếu mới cho người khác cũng được, nhưng phải ghi là đợt thu thứ hai.
- Tuyệt đối không tự điền phần C theo "cảm giác hộ này chắc cũng giống hộ bên cạnh", không chép câu trả lời từ phiếu khác. Đó là bịa dữ liệu, dù với ý tốt.
- Trong chương phương pháp, viết một đoạn ngắn: số phiếu phát, số thu, số thiếu phần C, lý do, cách đã xử lý. Trong phần hạn chế, nói khả năng kết quả lệch nếu hộ thiếu phiếu khác với hộ đủ phiếu.
Kết quả cuối cùng có ít phiếu hơn kế hoạch, nhưng mỗi con số trong chương bốn đều truy ngược được về phiếu giấy. Hội đồng tin một mẫu nhỏ trung thực hơn một mẫu đủ mà không giải thích được.
Lỗi người hướng dẫn hay gạch và vì sao
Sửa thẳng trên tệp duy nhất. Mất bản gốc thì không ai, kể cả bạn, kiểm lại được bạn đã làm gì. Người hướng dẫn gạch vì về sau mọi thắc mắc về số liệu đều không có câu trả lời.
Loại giá trị lạ chỉ vì nó lạ. Một hộ có diện tích gấp năm lần các hộ khác có thể là lỗi gõ, cũng có thể là hộ thuê thêm ruộng. Lạ mà có thật thì phải giữ, và nếu nó kéo lệch trung bình thì bạn trình bày thêm trung vị chứ không xoá trường hợp đó khỏi dữ liệu.
Thay ô trống bằng trung bình của cả mẫu cho đủ số. Cách này làm độ phân tán nhỏ đi giả tạo và có thể làm kết quả nghiêng. Có những kỹ thuật thay thế giá trị thiếu đúng phương pháp, nhưng chúng vượt quá mức một khoá luận thông thường và cần người hướng dẫn đồng ý; mặc định an toàn là để trống và báo số người trả lời.
Loại phiếu sau khi thấy kết quả không như mong đợi. Đây không còn là làm sạch mà là chọn lọc dữ liệu cho khớp giả thuyết, một dạng gian lận số liệu. Nó làm kết luận sai về thực tế và người đọc sau tin nhầm. Cách đúng: quy tắc định trước, áp đều cho mọi phiếu, báo cáo trung thực cả kết quả không như mong đợi.
Chương phương pháp nói thu 200 phiếu, các bảng chương bốn có n = 183, 176, 190 mà không giải thích. Người đọc không biết số chênh đi đâu. Một câu chú thích dưới bảng về số người trả lời câu đó là đủ.
Không cần làm, và việc trong tuần này
Không cần đạt một tệp số liệu "không có ô trống nào"; dữ liệu khảo sát thật luôn có chỗ thiếu, và một tệp hoàn hảo đôi khi lại khiến hội đồng nghi. Không cần dùng kỹ thuật thay thế giá trị thiếu phức tạp nếu đề tài của bạn chỉ yêu cầu mô tả và so sánh đơn giản. Không cần nhập lại toàn bộ phiếu để kiểm; thay vào đó, rút ngẫu nhiên khoảng một phần mười số phiếu, nhập lại hoặc đối chiếu từng ô với tệp, nếu sai nhiều thì mới kiểm toàn bộ.
Việc trong tuần: hôm nay khoá bản gốc và chạy bảng tần số; ngày mai viết bộ quy tắc loại phiếu, gửi người hướng dẫn xem trước khi áp dụng; hai ngày tiếp theo đi lần lượt năm bước, mỗi quyết định ghi một dòng nhật ký; cuối tuần viết nháp đoạn mô tả quá trình làm sạch cho chương phương pháp. Nếu đề tài có dữ liệu nhạy cảm hoặc trường có quy định về lưu giữ phiếu gốc, xem hướng dẫn của khoa và giữ phiếu giấy ở nơi an toàn đến khi được phép huỷ.
Câu hỏi thường gặp
Phiếu thiếu bao nhiêu câu thì nên loại khỏi phân tích?
Không có một con số chung cho mọi khoá luận. Bạn tự đặt ngưỡng dựa vào cấu trúc phiếu, ví dụ thiếu từ một phần ba số câu của phần nội dung chính, trao đổi với người hướng dẫn và áp dụng đều cho mọi phiếu. Điều quan trọng là quy tắc được viết ra trước khi xem kết quả và được nêu trong chương phương pháp.
Giá trị ngoại lai có được xoá khỏi dữ liệu không?
Chỉ khi kiểm lại phiếu gốc và chắc chắn đó là lỗi nhập hoặc giá trị không thể có thật, khi đó sửa theo phiếu hoặc để trống ô đó. Nếu giá trị lạ nhưng có thật, phải giữ. Bạn có thể trình bày thêm trung vị hoặc kết quả khi có và không có trường hợp đó để người đọc tự đánh giá, và ghi rõ đã làm gì.
Phiếu trả lời cùng một mức cho mọi câu có phải là phiếu rác?
Chưa chắc. Có người thật sự đồng ý với mọi câu. Dấu hiệu đáng ngờ hơn là khi họ chọn cùng mức cho cả các câu đảo chiều, vốn được viết theo nghĩa ngược lại. Hãy đặt quy tắc kết hợp nhiều dấu hiệu, đánh dấu những phiếu này và cân nhắc chạy thử kết quả khi có và không có chúng.
Làm sạch dữ liệu khác gì với sửa số liệu cho đẹp?
Làm sạch dựa vào phiếu gốc và quy tắc định trước, áp dụng đều cho mọi phiếu, ghi lại từng quyết định. Sửa cho đẹp là thay đổi, thêm bớt hoặc chọn lọc dữ liệu vì muốn kết quả khớp với kỳ vọng. Việc sau là gian lận số liệu, làm sai lệch hiểu biết về thực tế, và khi bị phát hiện sẽ bị xử lý theo quy chế liêm chính của trường.
Có cần ghi quá trình làm sạch dữ liệu vào luận văn không?
Có, ở mức tóm tắt. Chương phương pháp nên nêu số phiếu phát ra, số thu về, số bị loại và lý do, cách xử lý câu bỏ trống. Nhật ký chi tiết không cần đưa hết vào bài, nhưng nên giữ lại để trả lời khi người hướng dẫn hoặc hội đồng hỏi. Một số trường yêu cầu nộp kèm dữ liệu, hãy xem quy định của trường bạn.
Nên kiểm lỗi nhập liệu bằng cách nào khi có vài trăm phiếu?
Rút ngẫu nhiên một phần nhỏ số phiếu, khoảng một phần mười là con số nhiều người dùng, rồi đối chiếu từng ô với tệp số liệu. Nếu tỷ lệ sai thấp, sửa những lỗi tìm thấy và kết hợp với kiểm phạm vi giá trị cho toàn bộ tệp. Nếu sai nhiều, nên kiểm lại toàn bộ hoặc nhờ bạn đọc to phiếu để đối chiếu.