Ở khoá luận, luận văn định tính, độ tin cậy của phân tích được xây bằng những việc làm cụ thể và ghi lại được: giữ nhật ký quyết định, nhờ người khác mã hoá thử để kiểm sổ mã, đối chiếu nhiều nguồn dữ liệu, kiểm lại cách hiểu với người tham gia khi phù hợp, và viết rõ vị trí của chính mình với đề tài. Việc làm được ngay: mở một bảng hai cột "đã làm gì – bằng chứng ở đâu" và điền những việc bạn đã thật sự làm từ đầu tới giờ.
Phần này xuất hiện trong chương phương pháp, thường thành một mục riêng, và là chỗ hội đồng hay hỏi nhất với đề tài định tính: "Làm sao biết đó không phải là ý em?". Cần nói trước một chuyện thuật ngữ: trong nghiên cứu định lượng, độ tin cậy và độ giá trị là hai khái niệm tách biệt; trong định tính, nhiều sách dùng một khái niệm rộng hơn, dịch là "tính đáng tin cậy" hay "độ tin cậy", gồm nhiều tiêu chí. Cách gọi và cách chia tiêu chí khác nhau theo giáo trình và theo khoa, nên theo cách gọi khoa bạn dùng.
Các tiêu chí hay gặp và việc làm tương ứng
Bảng dưới đây gom các tiêu chí thường được nhắc trong giáo trình phương pháp định tính, ở mức nguyên lý. Tên tiếng Việt chỉ là một cách dịch; khoa bạn có thể dùng tên khác.
| Tiêu chí (một cách gọi) | Câu hỏi nó trả lời | Việc làm được ở khoá luận | Bằng chứng để trong hồ sơ |
|---|---|---|---|
| Tính tin được | Kết quả có phản ánh đúng điều người tham gia trải nghiệm không | Đối chiếu nhiều nguồn, kiểm lại với người tham gia, nêu trường hợp lệch | Bảng đối chiếu, ghi chép buổi kiểm lại |
| Tính chuyển giao | Người đọc có đủ thông tin để tự xét kết quả áp được vào bối cảnh khác không | Mô tả kỹ bối cảnh và người tham gia, đã ẩn danh | Mục mô tả bối cảnh, bảng đặc điểm người tham gia |
| Tính ổn định của quy trình | Quy trình có được ghi lại để người khác theo dõi không | Nhật ký quyết định, sổ mã có ngày sửa | Nhật ký, các phiên bản sổ mã |
| Tính xác nhận | Kết quả có bắt nguồn từ dữ liệu chứ không từ định kiến của người nghiên cứu không | Giữ đường đi từ chủ đề về dữ liệu, tự phản tỉnh | Ghi nhớ phân tích, đoạn tự phản tỉnh |
Không cần làm đủ mọi kỹ thuật cho mọi tiêu chí. Chọn những việc hợp đề tài và làm được trong thời gian của bạn, làm thật, ghi lại. Một chương phương pháp liệt kê đủ tên bốn tiêu chí mà không nói đã làm gì cụ thể dễ bị hỏi vặn hơn một chương chỉ nêu ba việc nhưng mô tả rõ từng việc.
Năm việc làm được, mô tả từng việc
Nhật ký quyết định. Mỗi lần đổi tên mã, gộp, tách mã, đổi định nghĩa chủ đề, loại hay giữ một trường hợp: ghi ngày, việc, lý do. Ba dòng mỗi lần là đủ. Đây là việc rẻ nhất và hữu ích nhất.
Mã hoá thử bởi người thứ hai. Nhờ một người khác dùng sổ mã của bạn mã hoá một hai bản đã ẩn danh, rồi so sánh và bàn chỗ khác. Mục đích là làm rõ sổ mã. Có cách tiếp cận yêu cầu tính hệ số đồng ý, có cách coi là không cần; hỏi người hướng dẫn trước khi tính.
Đối chiếu nhiều nguồn. Nếu bạn có cả phỏng vấn, quan sát và tài liệu, xem các nguồn có cùng chỉ một hướng không, chỗ nào khác. Nhiều sách gọi là "tam giác hoá". Khác nhau không phải là thất bại; đó là chỗ cần giải thích.
Kiểm lại với người tham gia. Gửi hoặc đọc cho một số người tham gia bản tóm tắt chủ đề, hỏi có phản ánh trải nghiệm của họ không. Không phải để họ "duyệt" diễn giải của bạn; ý kiến khác của họ được ghi lại và cân nhắc, không bắt buộc phải theo. Chỉ làm khi đã có trong cam kết với người tham gia và an toàn cho họ.
Tự phản tỉnh. Viết rõ bạn là ai với đề tài: quan hệ với người tham gia, kinh nghiệm, điều mình mong thấy, và đã làm gì để không để điều đó dẫn dắt phân tích. Mục dưới đi kỹ hơn.
Tình huống: anh Phong nghiên cứu chính phân xưởng của mình
Anh Phong là kỹ sư, học viên cao học, làm đề tài giả định "Cách tổ trưởng ca xử lý sự cố dừng máy ở một nhà máy chế biến". Anh phỏng vấn chín tổ trưởng, quan sát bốn ca, đọc sổ giao ca. Ở buổi sinh hoạt chuyên môn của khoa, một giảng viên hỏi: "Anh là cấp trên trực tiếp của mấy người này, sao biết họ nói thật với anh, và sao biết anh không đọc dữ liệu theo cách nhìn của quản lý?" Anh Phong lúng túng, vì chương phương pháp chỉ có một câu "đảm bảo tính khách quan".
Câu hỏi đó chính đáng. Anh Phong làm lại mục độ tin cậy với ba việc. Một, đối chiếu: so điều tổ trưởng kể với ghi chép quan sát ca và sổ giao ca; ghi lại hai chỗ lời kể khác sổ và cách anh xử lý. Hai, nhờ một bạn học không làm trong ngành mã hoá thử hai bản đã ẩn danh; người đó đặt mã "đỡ cho cấp trên" ở chỗ anh Phong đã mã là "chủ động báo cáo", và hai người bàn đến khi định nghĩa rõ. Ba, viết đoạn tự phản tỉnh, nói thẳng quan hệ quản lý, nhắc rằng việc xin phép đơn vị và bảo vệ người tham gia đã được trình bày ở phần đạo đức, và kể việc anh đã ghi những chỗ mình phản ứng mạnh vào ghi nhớ.
Điều anh Phong không làm: không viết "do là người trong cuộc nên hiểu sâu sắc hơn" như một điểm mạnh không có mặt trái. Vị trí người trong cuộc vừa giúp tiếp cận, vừa có giới hạn. Bước tiếp theo của anh là đưa bảng đối chiếu nguồn vào phụ lục theo hướng dẫn của khoa.
Khung đoạn tự phản tỉnh, có câu mẫu
Đoạn tự phản tỉnh trong chương phương pháp thường dài nửa trang đến một trang. Khung năm ý, mỗi ý một hai câu:
- Mình là ai với đề tài: "Người nghiên cứu là kỹ sư, làm việc tại đơn vị được nghiên cứu sáu năm, là cấp trên trực tiếp của ba trong chín người tham gia."
- Điều này giúp gì: "Vị trí này giúp tiếp cận ca làm việc và hiểu thuật ngữ kỹ thuật mà người ngoài cần thời gian để nắm."
- Điều này có thể làm lệch ở đâu: "Người tham gia có thể ngại kể những cách xử lý trái quy trình; người nghiên cứu có thể đọc dữ liệu theo góc nhìn quản lý."
- Đã làm gì để giảm lệch: "Phỏng vấn cấp dưới trực tiếp được thực hiện ngoài giờ, ngoài khu vực làm việc, nhấn mạnh việc không ảnh hưởng đánh giá công việc; dữ liệu được đối chiếu với sổ giao ca; một người ngoài ngành mã hoá thử hai bản."
- Điều còn lại: "Dù vậy, khả năng người tham gia điều chỉnh lời kể vẫn còn; điều này được nêu trong phần hạn chế."
Đoạn này không phải lời xin lỗi và không phải lời tự khen. Nó cho người đọc thông tin để tự đánh giá kết quả. Việc xin phép đơn vị và bảo vệ cấp dưới khi tham gia nghiên cứu là chuyện đạo đức, thuộc phần riêng; ở đây chỉ nhắc lại ngắn nếu liên quan tới độ tin cậy của dữ liệu.
Lỗi hay bị gạch trong mục độ tin cậy
Dùng thước đo định lượng cho dữ liệu định tính. Viết "đảm bảo độ tin cậy và độ giá trị của thang đo" trong một luận văn chỉ có phỏng vấn sâu là dấu hiệu chép mẫu từ đề tài khác. Dùng khái niệm hợp phương pháp, và nói rõ khoa bạn gọi thế nào.
Tuyên bố khách quan tuyệt đối. Phân tích định tính không loại bỏ được người nghiên cứu. Câu "kết quả hoàn toàn khách quan" khiến hội đồng hỏi thêm. Thay bằng mô tả việc đã làm để giữ phân tích bám dữ liệu.
Kể tên kỹ thuật không làm. Ghi "đã kiểm lại với người tham gia" trong khi chỉ gọi điện hỏi một người là phóng đại. Ghi đúng: đã gửi bản tóm tắt cho mấy người, bao nhiêu người phản hồi, phản hồi nói gì.
Chỉ báo con số đồng ý mã hoá đẹp. Nếu có tính hệ số đồng ý, báo cả cách tính, trên bao nhiêu đoạn, và những gì đã sửa sau khi so sánh. Tính đi tính lại đến khi con số đạt ngưỡng mong muốn mà không báo các lần trước là làm đẹp kết quả.
Việc làm tuần này, và khi nào hỏi
Mở bảng hai cột "đã làm gì – bằng chứng ở đâu". Điền thật, kể cả việc làm chưa trọn. Nhìn bảng, chọn thêm một hai việc còn làm được trong thời gian còn lại: thường là nhật ký quyết định (bắt đầu từ hôm nay, kèm ghi chú những quyết định trước đó mà bạn còn nhớ, ghi rõ là ghi lại sau) và mã hoá thử bởi người thứ hai. Viết nháp đoạn tự phản tỉnh theo khung năm ý.
Không cần làm kiểm lại với người tham gia nếu điều đó không có trong cam kết ban đầu, hoặc có thể gây phiền, gây rủi ro cho họ, ví dụ khi họ là người đang làm ở nơi có quan hệ quyền lực nhạy cảm. Khi đó, nói rõ lý do không làm trong luận văn, và dùng các cách khác.
Hỏi người hướng dẫn về cách gọi tên các tiêu chí khoa bạn quen dùng, có cần tính hệ số đồng ý mã hoá không, và mục độ tin cậy nên đặt ở đâu trong chương phương pháp. Những chuyện này khác nhau giữa các khoa, và theo đúng thói quen của hội đồng giúp buổi bảo vệ bớt câu hỏi vòng vo.
Câu hỏi thường gặp
Độ tin cậy trong định tính có giống độ tin cậy trong định lượng không?
Không giống. Trong định lượng, độ tin cậy nói về tính ổn định của phép đo, tách biệt với độ giá trị. Trong định tính, nhiều sách dùng một khái niệm rộng hơn về việc kết quả có đáng tin không, gồm nhiều tiêu chí. Dùng thuật ngữ nào thì định nghĩa rõ trong chương phương pháp.
Có bắt buộc phải kiểm lại với người tham gia không?
Không có quy định chung bắt buộc. Đây là một trong nhiều cách tăng độ tin cậy, phù hợp với một số đề tài, không phù hợp với đề tài khác. Nếu làm, cần có trong cam kết với người tham gia; nếu không làm, giải thích ngắn lý do và nêu các cách bạn đã dùng thay thế.
Nghiên cứu người quen hoặc nơi mình làm thì kết quả có bị coi là không tin được không?
Không tự động bị coi như vậy. Nhiều nghiên cứu định tính được làm bởi người trong cuộc. Điều cần là nói rõ vị trí của mình, chỉ ra lệch có thể xảy ra ở đâu, và mô tả những việc đã làm để giảm lệch, như đối chiếu nguồn và nhờ người ngoài mã hoá thử.
Đoạn tự phản tỉnh nên viết ở ngôi nào?
Tuỳ quy ước của khoa. Có nơi chấp nhận ngôi thứ nhất trong đoạn này vì nó nói về chính người nghiên cứu, có nơi muốn giữ ngôi thứ ba như "người nghiên cứu". Xem các luận văn định tính đã bảo vệ ở thư viện trường và hỏi người hướng dẫn.
Đối chiếu nhiều nguồn thấy mâu thuẫn thì xử lý thế nào?
Ghi lại mâu thuẫn, tìm hiểu vì sao các nguồn khác nhau, và trình bày cả hai trong kết quả. Ví dụ lời kể khác sổ ghi chép có thể vì sổ chỉ ghi theo mẫu. Mâu thuẫn được giải thích làm kết quả phong phú hơn; chọn một nguồn rồi bỏ nguồn kia mà không nói là chọn lọc dữ liệu.