Một số vấn đề về phương pháp nghiên cứu định lượng trong giáo dục ngoại ngữ và ngôn ngữ học

ứng dụng

Các loại hình NC định lượng• Thí ngiệm (Experiments)

– Nghiên cứu mối quan hệ nhân quả giữa các yếu tố – Người nghiên cứu chủ động trong thiết kế sự tương tác giữa các yếu tố – Chọn mẫu ngẫu nhiên vào các nhóm thực nghiệm và nhóm đối chứng– So sánh kết quả của biến/yếu tố lên hai nhóm

• Bán thí nghiệm – Nghiên cứu mối quan hệ giữa các yếu tố/ biến– Không chọn mẫu ngẫu nhiên vào các nhóm

• Điều tra/ Không tác động lên khách thể nghiên cứu – Nghiên cứu mối quan hệ giữa các yếu tố đang tồn tại– Không cần chọn mẫu ngẫu nhiên vào các nhóm nghiên cứu– Điều tra có thể Tại một thời điểm Lâu dài Chứng minh được mối liên hệ nhưng không phải mối quan hệ nhân quả

2

1. Đặt câu hỏi nghiên cứu trong nghiên cứu định lượng

• Câu hỏi dạng mô tả

• Câu hỏi dạng liên hệ/mối tương quan

• Câu hỏi về mối quan hệ nhân quả

3

Các câu hỏi dạng mô tả• Môn học nào sinh viên yêu thích hơn? • Sinh viên ở các nhóm khác nhau lựa chọn môn học như thế nào?• Sinh viên ở các năm khác nhau lựa chọn môn học có khác nhau không? • Nhu cầu của giáo viên về phát triển chuyên môn là gì? • Trình độ chuyên môn của giáo viên ở mức nào?

4

Câu hỏi về mối liên hệ

• Có mối liên hệ nào giữa trình độ của giáo viên và mức sinh viên đánh giá họ?

• Có mối liên hệ nào giữa trình độ của giáo viên và tiến bộ của sinh viên?

5

Câu hỏi dạng mối quan hệ nhân quả

• Ảnh hưởng của việc bồi dưỡng chuyên môn lên nhận thức của giáo viên về môn học là như thế nào?

• Dự án dạy học theo chiến thuật có ảnh hưởng như thế nào tới trình độ môn nói của sinh viên?

6

Câu hỏi dạng giải thích• Tại sao nhiều học sinh nam bỏ học hơn học

sinh nữ? – Giới tính của sinh viên có ảnh hưởng như thế nào

tới tỉ lệ bỏ học? – Thái độ của cha mẹ về trường học có ảnh hưởng

như thế nào tới tỉ lệ bỏ học của con cái?

7

Hoạt động trên lớp 1

Học viên cung cấp ví dụ cho từng loại câu hỏi

• Dạng mô tả• Dạng mối liên hệ/ tương quan• Dạng giải thích mối quan hệ nhân

quả

8

2. Thiết kế nghiên cứu định lượng

Cần lưu tâm tới • Nguồn dữ liệu

– Ai là người thích hợp để cung cấp số liệu– Đặc điểm của khách thể nghiên cứu

• Phương pháp lấy số liệu

9

Tạo dựng mối liên hệ giữa loại số liệu cần thu thập, người cung cấp

thông tin, và phương pháp thu thập thông tin

Loại dữ liệu/ Biến cần thu thập dữ liệu

Nguồn Phương pháp

10

Công cụ thu thập số liệu

• Phát triển/ thẩm định chất lượng của công cụ

11

Thu thập và quản lý dữ liệu

• Thực hiện thu thập dữ liệu một cách tường minh, có sự cho phép của các đối tượng liên quan, có các biện pháp đảm bảo tính chính xác của dữ liệu

• Nhập dữ liệu• Làm sạch dữ liệu

12

Phân tích dữ liệu

• Dữ liệu dạng mô tả• Dữ liệu để nghiên cứu mối tương quan• Dữ liệu để nghiên cứu mối quan hệ nhân

quả

13

Viết các chương của luận văn và chương thảo luận

14

3. Xây dựng phiếu điều tra

16

Các bước xây dựng phiếu điều tra1. Xây dựng bảng đặc tả kỹ thuật, mời chuyên gia thẩm định, chỉnh sửa

bảng đặc tả kỹ thuật

2. Viết câu hỏi tương ứng với bảng đặc tả kỹ thuật trên1. Quyết định nội dung câu hỏi

2. Quyết định hình thức câu trả lời cho từng câu hỏi

3. Chọn từ ngữ phù hợp

4. Mời chuyên gia góp ý và sửa các câu hỏi nếu cần thiết

3. Chuẩn bị hình thức bộ câu hỏi1. Trình tự phải hợp lý

2. Số lượng câu hỏi/ trang.

3. Mời chuyên gia góp ý và sửa hình thức phiếu điều tra

4. Thử nghiệm bộ câu hỏi

5. Chỉnh sửa nếu cần thiết

17

Questionnaire designXây dựng bảng đặc tả kỹ thuật

Biến cần điều tra Số liệuGiới tính Nam/nữDân tộc Dạng mởTrình độ đào tạo Cấp 1-3, ĐH, SĐH...Điểm đọc Theo số từ 1-10, một số

thập nhân

18

Questionnaire designBảng đặc tả kỹ thuật

Gồm tất cả các biến cần điều tra, và biểu hiện của biến đó, cũng như phương pháp lấy dữ liệu

Liên quan trực tiếp tới câu hỏi nghiên cứu

19

Xác định lại chính xác mục tiêu thiết kế phiếu điều tra

Phiếu điều tra để trả lời câu hỏi NC nào, đáp ứng mục đích nào?

Có giả thiết NC nào không?

20

Questionnaire designLàm rõ mối quan hệ giữa câu hỏi NC, thông tin cần thu thập và người cung cấp thông tin, loại câu hỏi

Câu hỏi NC Thông tin cần thu thập/ các biến

Người cung cấp thông tin

Phương pháp/loại câu hỏi

21

Làm rõ khái niệm cần điều tra

Bắt đầu bằng những khái niệm rộng, chung chung

Thái độ Sự thông minh Giới tính Động cơ

22

Questionnaire designLàm rõ khái niệm cần điều tra

Càng ngày càng làm rõ hơn…

Thái độ với trường học• Thái độ của học sinh với trường học • Thái độ của cha mẹ với trường học

Tiến bộ của học sinh• Điểm số • Đánh giá về hạnh kiểm

23

Questionnaire design

Khái niệm tiềm ẩn

Không nhìn thấy được

1

2

6

3

4

5

Có thể quan sát được

Các đặc tả

Khái niệm tiềm ẩn và các đặc tả

24

Questionnaire designLàm rõ khái niệm cần điều tra

Step 1: Định nghĩa khái niệm cần điều tra sao cho có phạm vi nhỏ vừa phải, có thể đo được

Step 2: Viết câu hỏi tương ứng với các đặc tả .Step 3: Kiểm tra giả thiết rằng các câu hỏi có thực sự

liên quan tới khái niệm tiềm ẩn cần đoStep 4: Chỉnh lại các câu hỏi

(Barrett, 2002)

25

Questionnaire designLàm rõ khái niệm cần điều tra

Tìm các định nghĩa, khung cấu trúc khác nhau về khái niệm cần điều tra từ cơ sở lý luận

Quyết định lấy một Xác định các chiều/nội dung/ thành

phần chính của khái niệm cần điều tra

26

Questionnaire designCác vấn đề cần quan tâm khi viết câu hỏi trong phiếu điều tra Liệu người cung cấp dữ liệu có thể cung

cấp dữ liệu để trả lời câu hỏi không? Họ có kiến thức và đủ trí nhớ không?

Liệu họ có sẵn sàng cung cấp thông tin? Bạn đã xin phép người quản lý họ/họ?

27

Questionnaire designViết câu hỏi

Hãy dùng từ đơn giản, không dùng từ kỹ thuật chuyen ngành

Tránh từ đa nghĩa, tính từ khó hiểu, trừu tượng Tránh việc đưa ra câu hỏi có sẵn định kiến

28

Questionnaire designViết câu hỏi

Không hỏi 2 ý trong 1 câu hỏi Không đòi hỏi trí nhớ quá dài hạn từ

người trả lời

29

Questionnaire designViết câu hỏi

Không sử dụng thành ngữ và các câu nói nổi tiếng

Không sử dụng những từ ngữ mang tính ảnh hưởng tâm lý với người trả lời (Theo bạn giáo viên có nên được cho nhiều quyền lực tới vậy không?

Câu hỏi về thái độ cần làm cho người trả lời phải suy nghĩ về các mức độ

30

Questionnaire designChọn loại câu hỏi nào?

Số lượng người trả lời là bao nhiêu Lượng và loại dữ liệu cần thu thập Đặc điểm đối tượng cung cấp số liệu Lượng thời gian cần để xử lý và giải thích số liệu Kiến thức của bạn về vấn đề (số lựa chọn trong câu trả

lời) Phương pháp phân tích số liệu

31

Questionnaire designHướng dẫn cho bảng hỏi điều tra

Hướng dẫn chung ở đầu bảng hỏi Hướng dẫn cho từng phần Hướng dẫn trong từng câu hỏi

32

Questionnaire designGeneral Instruction

Reason(s) for the questionnaire A statement about anonymity The sample design - to indicate how the

respondent was chosen How to return the questionnaire - if it is mailed A contact person What will happen to the results Thanks

33

Questionnaire designQuestion instructions

How to answer the questions Make sure that the instructions and the

questions correspond

34

Questionnaire designTrình tự câu hỏi

1. Bắt đầu bằng câu dễ và không mang tính đe doạ

2. Không bắt đầu với câu hỏi mở

3. Sắp xếp câu hỏi từ chung chung tới cụ thể

4. Nhóm câu hỏi thành từng mục/chủ đề

5. Dùng các câu hỏi lọc để đảm bảo người trả lời đang trả lời các câu hỏi liên quan trực tiếp tới họ

6. Câu hỏi về thái độ cần đi theo trình tự ngẫu nhiên

7. Phiếu điều tra ngắn gọn tốt hơn dài dòng

35

Questionnaire designMời chuyên gia góp ý và sửa bảng hỏi về:

Độ liên quan với câu hỏi NC và bảng đặc tả kỹ thuật

Từ ngữ Hình thức

36

Questionnaire designThử nghiệm bảng hỏi

– Người trả lời có hiểu không?

– Họ có khó khăn gì không?

– Có câu hỏi nhạy cảm không?

– Thứ tự câu hỏi có phù hợp không?

– Câu trả lời của họ có hiểu được không?

– Do the respondents understand the questions?

37

Questionnaire designThử nghiệm bộ câu hỏi như thế nào?

Step 1: Giải thích về bộ câu hỏi cho người trả lời

Step 2: Lưu lại, ghi chép về quá trình người trả lời trả lời bộ câu hỏi xem họ có khó khăn gì không

38

Questionnaire design

Step 3: Nhắc lại về bộ câu hỏi với người trả lời sau khi họ hoàn thành

Họ có khó khăn gì không? Vì sao? Câu hỏi nào dễ? Tại sao? Có gợi ý nào để câu hỏi tốt hơn? Step 4: Chỉnh sửa bộ câu hỏi nếu cần thiết

39

Questionnaire designThử nghiệm với nhóm nhỏ cần

Thử nghiệm cả quá trình thu thập số liệu Thử nghiệm bộ câu hỏi Thử nghiệm phương pháp, quy trình quản lý việc thu

thập số liệu Tìm tỉ lệ dữ liệu bị mất Thử nghiệm việc phân tích số liệu

40

Questionnaire designPhân tích

Tần xuất của mỗi câu trả lời Những câu hỏi không được trả lời ở mức cao/thấp mà

chỉ ở mức trung bình thường không có nhiều thông tin Độ tin cậy của bảng hỏi (Reliability) Quyết định giữ hoặc bỏ câu hỏi

41

Questionnaire design

Chỉnh sửa và chuẩn bị bản cuối

Phần 3

Các yếu tố cần điều tra/các biến và việc nhập số liệu

43

Các loại biến/yếu tố cần điều tra• Biến số dạng phân loại (dạng thứ tự và dạng

tên) (ordinal and nominal) • Biến số dạng liên tục (interval and ratio)• Chuyển biến số dạng liên tục thành biến số

dạng phân loại khi cần thiết

44

Categorical data • Nominal - numbers are used only as labels for

different objects within a set (e.g. gender) • Ordinal - numbers are used to reflect the rank

order of objects within a set according to a specific criterion – Summated-rating or Likert scale items: strongly

agree, agree, disagree, strongly disagree– Ranking of athletics or swimmers in Olympics– Grouping students into mastery levels

45

Summary of categorical variables Example of Questions

• In general summary of categorical variables addresses the questions: – (How many categories), and – How many cases in each category or What are the proportions

of cases in each of the categories? • For data file vnsample.sav the possible questions are:

– (For variable psex) What are the proportions of female and male students in the study?

– (For variable pethnic) What are the ethnicities of students involved? How many students in each of the ethnic category?

46

Các chỉ số mô tả: trung bình và điểm giữa

• Mean: giá trị trung bình (average, expected value)

• Median: giá trị giữa của dãy số liệu, trên đó có 50% trường hợp và dưới đó cũng có 50% trường hợp

47

Variance (phương sai) và Standard deviation (độ lệch chuẩn): phạm vi rộng của dữ liệu

2

variance1

i

i

xn

standard deviation= variance

Where µ is the mean, and n is the number of observations.

48

Skewness (độ xiên, đối xứng) và kurtosis (độ nhọn)

• Bình thường các giá trị này = 0 • Giá trị Skewness dương thể hiện độ xiên

về phía giá trị thấp • Giá trị Kurtosis dương diễn tả độ nhọn của

dữ liệu trên biểu đồ •

Độ tin cậy và độ giá trị

50

Questionnaire designĐộ tin cậy – độ giá trị

Độ giá trị cao Độ tin cậy caoĐộ tin cậy thấp

(A) (B) (C)

51

Questionnaire designValidity

Validity is the ability of an instrument to measure what is designed to measure (Smith, 1991)

Validity refers to the extent to which an empirical measure adequately reflects the real meaning of the concept under consideration (Babbie, 1990: 33)

Validity is based in the ACCURACY of the interpretation

52

Questionnaire designReliability

Reliability is concerned with how much error is included in the evidence.

If there is no error in the measurement, the same measurement should be consistent over time and context.

Reliability is based in the ACCURACY of the data

53

Questionnaire designValidity types

Face Content Criterion

– Predictive

– Concurrent

Construct– Convergent

– Discriminant

54

Questionnaire designFace Validity

Description  The instrument should be designed to look like they are measuring what they claim to measure

Testing Through judgments that require application of common sense.

Who Experts in the field or stakeholders (i.e. those who are going to use the assessment information)

Part 5

Data analysis