2.3. Đánh giá tác động: các phương pháp và ứng dụng trong ... · lớn để nghe...

[ ]Tháng 07 năm 2014 / Khóa học Tam Đảo 2013 / © AFD 269

(Nội dung gỡ băng)

ngày 1, sáng thứ hai ngày 22 tháng 7

Giới thiệu giảng viên và học viên (xem phần lý lịch giảng viên và danh sách học viên ở cuối chương)

[Laure pasquier-Doumer]

Chúng tôi sẽ đề cập vấn đề đánh giá tác động trong trường hợp đặc thù là tài chính vi mô. Mục tiêu của lớp chuyên đề này là giúp các bạn làm quen với những bước đánh giá tác động, nắm bắt được cuộc tranh luận hiện nay về tài chính vi mô trong mối quan hệ với nguy cơ nghèo đói.

Khuôn khổ lý thuyết của lớp chuyên đề này bao gồm các nội dung sau:

- hôm nay, chúng tôi sẽ đề cập các thách thức của đánh giá tác động và những khó khăn về mặt phương pháp luận của nó, đặc biệt là việc tìm kiếm giá trị đối chứng và lựa chọn nhóm đối chứng. Kết thúc ngày hôm nay, chúng tôi sẽ giới thiệu các phương pháp đánh giá định lượng chính – phương pháp thực nghiệm và bán thực nghiệm;

- thứ ba ngày 23 tháng 7. Chúng tôi sẽ phân tích vấn đề lựa chọn phương pháp đánh giá trên cơ sở các công cụ kinh tế lượng vi mô khác nhau để đánh giá tác động của một dự án, ngoài ra cũng phải tính đến địa bàn thực hiện cũng như những điều kiện ràng buộc của dự án. Các phương pháp định lượng mà chúng tôi trình bày là phương

2.3. Đánh giá tác động: các phương pháp và ứng dụng trong lĩnh vực tài chính vi mô

Florent Bédécarrats – Ủy ban trao đổi nghiên cứu và thông tin về các hệ thống tiết kiệm-tín dụng, Axel Demenet – IRD-DIAL,

Christophe Jalil Nordman – IRD-DIAL, Laure Pasquier-Doumer – IRD-DIAL, François Roubaud – IRD-DIAL, Phùng Đức Tùng – Viện

Nghiên cứu phát triển Mê Kông, Bertrand Savoye – AFD

[ ] Tháng 07 năm 2014 / Khóa học Tam Đảo 2013 / © AFD270

pháp ghép cặp và các phương pháp khai thác dữ liệu thời gian tuyến tính. Các vấn đề về khái niệm, thể chế và phương pháp luận liên quan đến đánh giá tác động sẽ được minh họa qua ví dụ của chương trình 135 về xóa đói giảm nghèo, nội dung này được trình bày vào cuối buổi sáng, sau đó chúng ta sẽ chuyển sang hội trường lớn để nghe bài giảng từ Paris truyền qua video-conference về những đặc thù của việc đánh giá tác động các chương trình tài chính vi mô;

- nội dung buổi sáng thứ tư sẽ là những khó khăn của một nghiên cứu đánh giá tác động trong lĩnh vực tài chính vi mô, tiếp theo đó là vấn đề chuyển từ câu hỏi nghiên cứu sang dạng bảng hỏi điều tra;

- hai ngày cuối cùng sẽ dành cho bài tập thực hành. Lớp học chia thành hai nhóm : nhóm thứ nhất làm bài thực hành với phần mềm Stata – ứng dụng các phương pháp ghép cặp, khác biệt kép, biến công cụ, phân tích kết quả và đánh giá ba phương pháp này – ; nhóm hai, dựa trên dữ liệu và thông tin từ hai đánh giá tác động (Al Amana và Adéfi), sẽ xác định các tiêu chí dựa theo đó để xây dựng đánh giá và phân tích các tác động được trông chờ của chương trình và chuỗi nguyên nhân-kết quả giữa các sản phẩm của chương trình và tác động của chúng – xác định các vấn đề đặt ra, lựa chọn phương pháp, bảng hỏi, phân tích kết quả, hạn chế và triển vọng, thảo luận để xây dựng khung đánh giá tác động.

Kết quả của mỗi nhóm sẽ được trình bày trước lớp, sau đó chuẩn bị báo cáo thu hoạch để trình bày vào thứ Bảy ngày 27 tháng 7.

2.3.1. Các thách thức của đánh giá tác động: từ đánh giá nhu cầu tới phân tích chi phí-lợi nhuận. Cần trả lời những câu hỏi nào khi thực hiện đánh giá?

Từ đầu những năm 2000, đánh giá tác động là một vấn đề trọng tâm của chính sách công: các mục tiêu phát triển thiên niên kỷ (MDGs) và tài liệu chiến lược về giảm nghèo (DSRP) đều coi đánh giá tác động – cùng với việc giám sát – là một nội dung chính thức.

Các nguyên tắc mới của viện trợ phát triển (ODA) – tiêu chí lựa chọn, hỗ trợ ngân sách, tiếp quản dự án, v.v... – cũng đều dựa trên kết quả nghiên cứu đánh giá tác động (xem thêm Tuyên bố, OECD, 2005). Hơn nữa, trên quan điểm nghiên cứu và phương pháp luận, nhiều công cụ mới cũng đã được phát triển phục vụ cho công tác đánh giá.

Đánh giá chính sách còn quan trọng hơn nữa ở các nước đang phát triển, vì ở các nước này nguồn lực còn hạn chế trong khi nhu cầu lại rất lớn. Vấn đề là dù nhu cầu ngày càng tăng nhưng những đánh giá tác động vẫn chưa được coi là nội dung chính trong việc thực hiện các chính sách phát triển. Văn hóa đánh giá tác động một cách chặt chẽ vẫn còn trong giai đoạn chập chững. Lý do là bởi người ta cho rằng đánh giá tác động quá tốn kém, phức tạp và đôi khi không chính xác. Tuy nhiên:

- chi phí đánh giá nhìn chung chỉ chiếm một phần rất nhỏ trong tổng chi phí thực hiện dự án, trong khi đó, việc thực hiện đánh giá giúp tránh lãng phí nguồn lực khi đầu tư vào các dự án không hiệu quả;

- khó khăn về kỹ thuật thực tế không phải là nhỏ, nhưng có thể giải quyết được một


phần nếu xây dựng được một kế hoạch chặt chẽ ngay từ đầu và được sự ủng hộ từ phía các cơ quan lãnh đạo;

- thực hiện đánh giá tác động sẽ giúp cải thiện, thiết kế xây dựng dự án hiệu quả hơn, hoặc hủy bỏ các chương trình xây dựng không hiệu quả (không thực sự hướng tới đối tượng mục tiêu, lãng phí nguồn lực, v.v...). Kiến thức tổng hợp được từ các nghiên cứu đánh giá tác động sẽ là một nguồn tài sản chung, có thể huy động khi xây dựng các chương trình và dự án mới.

Cần phân biệt hai cách tiếp cận trong đánh giá định lượng các chính sách:

- « vi mô » và ex post – phương pháp chủ động – : đánh giá tác động dựa trên dữ liệu vi mô và các phương pháp thực nghiệm hoặc bán thực nghiệm; có thể áp dụng để đánh giá các chương trình mục tiêu như chương trình an sinh xã hội (safety nets), chương trình hòa nhập xã hội, v.v.

- « vĩ mô » và ex ante – phương pháp quy chuẩn – : mô hình mô phỏng trên cơ sở phân tích giá trị đối chứng (EGC) dựa trên các nhóm hộ gia đình đại diện, có thể áp dụng vào các chính sách thương mại, chính sách thuế, các chương trình cải cách cơ cấu, v.v...

Bây giờ chúng ta sẽ tập trung vào nhóm phương pháp đánh giá tác động thứ nhất.

Đánh giá tác động là một trong các bước cần thực hiện của một nghiên cứu đánh giá tác động hoàn chỉnh bao gồm ba mảng: đánh giá nhu cầu (đâu là đối tượng mục tiêu? đánh giá bản chất vấn đề cần giải quyết? chương trình được thực hiện trong khuôn khổ nào? các nhu cầu khác là gì?); đánh giá tiến trình thực hiện (các dịch vụ có được cung cấp?

các dịch vụ có đến được với đối tượng mục tiêu hay không? khách hàng có hài lòng hay không? các vấn đề gặp phải trong quá trình thực hiện?) ; một đánh giá tác động xác định liệu chương trình có những tác động mong đợi tới các cá nhân, hộ gia đình, cơ quan thể chế, tức là các đối tượng thụ hưởng chương trình hay không, hoặc nếu có tác động thì đó có phải là tác động của chương trình hay không.

Ngoài hai câu hỏi chính này, cũng nên tự hỏi là chương trình tác động tới đối tượng thụ hưởng như thế nào, chương trình có mang lại những lợi ích mong đợi không, những tác động đó liệu có thể xảy ra nếu không có chương trình, các nguồn lực có được sử dụng hiệu quả hay không, v.v.

Kết quả phân tích chi phí-lợi ích là kết quả của ba bước phân tích này: đánh giá chi phí trong tương quan với lợi ích của chương trình và việc sử dụng hay không sử dụng nguồn vốn cam kết.

Minh họa từ chương trình Sky triển khai tại Campuchia

Tài chính vi mô bao gồm cả tiết kiệm vi mô, bảo hiểm vi mô và tín dụng vi mô; Sky là một chương trình bảo hiểm vi mô.

Đây là một chương trình bảo hiểm y tế vi mô được GRET – Tổ chức nghề nghiệp đoàn kết và hợp tác quốc tế – và Bộ y tế Campuchia bắt đầu thực hiện vào năm 1998. Chương trình đặt mục tiêu đảm bảo an toàn kinh tế cho các hộ gia đình nông thôn thông qua hỗ trợ họ tiếp cận với các dịch vụ chăm sóc y tế phù hợp và có chất lượng, thành lập một cơ quan địa phương để tiếp quản chương trình này sau khi GRET rút đi.


Bối cảnh chung của chương trình trong những năm 2000:

- thiếu chính sách bảo hiểm y tế, tuy nhiên người nghèo được miễn viện phí khi khám chữa bệnh ở các cơ sở y tế công;

- hệ thống y tế công không đủ ngân sách hoạt động, cán bộ nhân viên y tế thiếu hụt và được trả lương thấp; chịu sự cạnh tranh từ các cơ sở y tế tư nhân hoạt động thiếu kiểm soát;

- hệ thống cung cấp dịch vụ y tế công được tăng cường dần thông qua chính sách ký hợp đồng contracting của các trạm y tế với các tổ chức phi chính phủ NGO;

- chính sách bảo hiểm y tế cũng dần được phát triển từ năm 2003 (quỹ hỗ trợ người nghèo; bảo hiểm y tế tự nguyện cho khu vực phi chính thức và chế độ bảo hiểm xã hội bắt buộc đối với khu vực chính thức).

Đặc điểm của chương trình:

- Đóng bảo hiểm gia đình (sổ bảo hiểm có dán ảnh) hàng tháng với mức 4,5 USD/người/năm đối với khu vực nông thôn và 19 USD/người/năm ở Phnom Penh.

- Đóng phí bảo hiểm hàng tháng.- Được sử dụng miễn phí tất cả các dịch vụ y

tế ở các trung tâm y tế, bệnh viện công của huyện và tỉnh; hỗ trợ chi phí vận chuyển và mai táng.

- Thanh toán cho các trung tâm y tế và bệnh viện huyện theo đầu bệnh nhân.

- Hoàn bảo hiểm theo gói cho các bệnh viện tỉnh.

Bây giờ chúng ta sẽ cùng thực hiện đánh giá nhu cầu và đánh giá tiến trình tác động.

Theo các bạn, ai là đối tượng mục tiêu của chương trình này?

Lê nguyễn Duy Oanh

Tôi nghĩ đối tượng của chương trình này là người nghèo nông thôn; nhu cầu cần thỏa mãn ở đây là nhu cầu cải thiện sức khỏe của những người có khó khăn về kinh tế.

bùi thị hương trầm

Tôi nghĩ ở đây là toàn bộ các hộ gia đình ở nông thôn.

phạm Minh tiến

Chương trình này nhằm hoàn thiện công cụ bảo hiểm tại Campuchia, và có liên quan đến cả những người làm việc trong lĩnh vực bảo hiểm.


Để đánh giá nhu cầu, cần phải đặt một câu hỏi: hiện đã có chương trình bảo hiểm nào chưa? Chương trình này có trùng với chương trình nào đang triển khai hay không? Theo ý kiến chúng tôi, người nghèo đã được hưởng chính sách miễn tiền khám chữa bệnh từ hệ thống các cơ sở y tế nhà nước rồi. Như vậy, đối tượng mục tiêu của chương trình không phải là toàn bộ các hộ gia đình mà chỉ là những cá nhân thuộc diện cận nghèo, tức là những người có nguy cơ tái nghèo nếu phải gặp một sự cố nào đó. Mục tiêu khác của chương trình là xây dựng một cơ chế bảo hiểm lâu dài, tức là có thể tự chủ về tài chính sau khi chương trình kết thúc. Đối tượng mục tiêu của chương trình phải được tiếp cận với các phương tiện đầy đủ để thanh toán bảo hiểm và đạt được mục tiêu thứ hai là đảm bảo tính bền vững cho cơ chế bảo hiểm tại địa phương.

Một khó khăn nữa đối với lĩnh vực bảo hiểm là lựa chọn theo chiều ngược lại: không nên để xảy ra tình trạng là chỉ những người có


vấn đề về sức khỏe mới đi đăng ký bảo hiểm. Cơ chế bảo hiểm phải làm sao thu hút được cả người bệnh, người biết mình có bệnh và

những người khác, nếu không sẽ không thể đảm bảo được sự bền vững cho công cụ bảo hiểm này.

Một khó khăn nữa ở bước đánh giá nhu cầu là phải tìm câu trả lời cho các câu hỏi sau:

- Đâu là bản chất của vấn đề cần giải quyết? • Đảm bảo an toàn kinh tế cho các hộ nông

thôn như thế nào? Làm sao để tránh tình trạng vấn đề sức khỏe sẽ tác động tới kinh tế gia đình họ, như giảm thu nhập hoặc nợ nần?

• Làm thế nào để giúp người dân tiếp cận một cách thuận lợi với các dịch vụ y tế phù hợp và chất lượng?

• Làm thế nào để hình thành một cơ chế bảo hiểm y tế lâu dài? Tác nhân nào cần phải tham gia vào chương trình? Xây dựng chương trình ra sao để đảm bảo vừa hiệu quả về kinh tế vừa đảm bảo mức bảo hiểm hợp lý đối với đối tượng hướng tới của chương trình?

- Khuôn khổ của chương trình? • Có tình trạng thiếu hụt hay không? Hộ gia

đình nào chưa có bảo hiểm y tế? • Đã có chương trình nào đáp ứng nhu cầu

này chưa? • Còn nhu cầu nào khác hay không? • Nếu đáp ứng được những nhu cầu đó thì

sẽ có những lợi ích gì? Các biến cố về sức khỏe có phải là nguyên nhân của tình trạng dễ bị tổn thương hay không? Hiện nay ở Campuchia còn những nhu cầu cơ bản nào của người dân chưa được đáp ứng?

• Chương trình bảo hiểm vi mô cần mang lại lợi ích gì để chứng minh đây là một chương trình bền vững chứ không chỉ đơn thuần là một chương trình hỗ trợ?

Đối tượng hướng tới

+ khá gi (15%)

B o hi m vi mô

B o hi m t nhân

i tác SKY và các qu ng i nghèo

Dân

s c

hung

SKY = D ch v b o hi m y t cho ng i dân thu c khu v c phi chính th c

Trung l u

50%

C n nghèo

+ nghèo(35%)

Nguồn: GRET.

26Sơ đồ


Chúng ta chuyển sang bước đánh giá tiến trình thực hiện. Các câu hỏi chính yếu cần đặt ra được tóm tắt trong phần khung dưới đây:

Đánh giá nhu cầu phải cung cấp những thông tin gì?

Đánh giá tiến trình thực hiện

21

22

Khung

Khung

Đối tượng nhắm tới của chương trình phải được xác định rõ.- Các hộ gia đình dễ bị tổn thương, đang phải đối mặt với nguy cơ nợ nần hoặc thua lỗ,

mất vốn- Các hộ gia đình có thể đóng phí bảo hiểm.- Các hộ gia đình có nguy cơ mắc bệnh ít hơn hơn các hộ gia đình khácXây dựng chương trình phải rõ ràng.- Các dịch vụ nào đang thiếu?- Cung cấp như thế nào? Cung cấp bao nhiêu? Có thể gặp những trở ngại gì? Hình dung được những lợi ích mà chương trình có thể mang lại.- Chương trình có bù đắp được tình trạng thiếu hụt hay không ? Lợi ích có được mở rộng

hay không? Các giải pháp thay thế cũng phải được tính tới.- Bảo hiểm vi mô có phải là giải pháp hiệu quả nhất, mang lại lợi ích kinh tế lớn nhất trong

việc giảm thiểu mức độ dễ bị tổn thương của các hộ gia đình nông thôn và nâng cao chất lượng dịch vụ y tế hay không?

Các dịch vụ có được cung cấp?- Chất lượng dịch vụ khám chữa bệnh của các trung tâm y tế?- Nguyên tắc miễn phí và bên thứ ba thanh toán có được áp dụng đối với mọi trường hợp

hay không?Tổ chức Gret, Bộ Y tế và các trung tâm y tế phối hợp với nhau như thế nào?- Bộ Y tế có tham gia trực tiếp vào chương trình?Bảo hiểm vi mô có đến được với đối tượng mục tiêu của chương trình hay không?- Những người dễ bị tổn thương nhất có đăng ký mua bảo hiểm hay không?- Tỷ lệ tham gia bảo hiểm có cao không? - Chương trình chỉ thu hút được những người có vấn đề về sức khỏe? - Ai không tiếp tục tham gia chương trình?- Đâu là các yếu tố quyết định việc mua bảo hiểm, có khả năng áp dụng bảo hiểm rủi ro

đồng chi trả hay không?Các hộ gia đình có hài lòng về chương trình bảo hiểm của họ và dịch vụ chăm sóc y tế

không?Chương trình có tiếp tục đứng vững được không?- Phí bảo hiểm có được nộp đều không?- Mức hoàn bảo hiểm có được như mong đợi không?


Chúng tôi giới thiệu bước đánh giá nhu cầu và đánh giá tiến trình thực hiện nhằm giúp các bạn phân biệt hai bước này với bước đánh giá tác động.

Vậy theo các bạn, đâu là những câu hỏi cần đặt ra để đánh giá tác động của chương trình Sky?

ngô Văn huấn

Những thay đổi trong thói quen khám chữa bệnh của người dân ? Kết quả giảm nghèo như thế nào? Chương trình có góp phần nâng cao năng lực quản lý của hệ thống y tế ở Campuchia ? Chương trình có giúp giảm bất bình đẳng trong tiếp cận dịch vụ y tế hay không?


Bạn đặt câu hỏi là chương trình có góp phần giảm nghèo và giảm bất bình đẳng trong tiếp cận dịch vụ y tế hay không. Nhưng đây không phải là mục tiêu của chương trình. Mục tiêu chương trình hướng tới là giảm thiểu mức độ dễ bị tổn thương. Tức là số người phải mắc nợ hoặc bán tài sản để trả tiền khám chữa bệnh sẽ giảm đi. Như vậy, kết quả mong đợi là số người dễ bị tổn thương do vấn đề chăm sóc y tế sẽ giảm đi.

Còn lại, bạn hoàn toàn có lý khi đặt câu hỏi về chất lượng của hệ thống y tế cung cấp dịch vụ chăm sóc.

Lê thị hằng giang

Chương trình hướng tới mục tiêu giảm mức độ dễ bị tổn thương của các hộ gia đình, do đó tôi sẽ đặt các câu hỏi sau: số người mắc nợ hoặc phải bán tài sản để có tiền chữa bệnh có giảm hay không? Nguyên nhân giảm là do chương trình hay do những người đó đã tự cải thiện được đời sống của mình ? Có cách nào khác để giảm bớt được số người phải mắc nợ hoặc bán tài sản để chữa bệnh hay không?


Những câu hỏi của bạn đều hay.

Một câu hỏi nữa cần đặt ra là viêc thay đổi mức phí bảo hiểm có tác động gì tới tỷ lệ tham gia bảo hiểm, và kết quả của chương trình. Cuối cùng, cũng phải đặt câu hỏi liên quan tới tác động của việc cải thiện chất lượng dịch vụ gắn với chương trình.

Ba câu hỏi chính cần phải đặt ra khi đánh giá tác động: biện pháp nào, đối tượng nào và khi nào cần phải trả lời các câu hỏi này?

Đánh giá tác động23Khung

Câu hỏi mấu chốt: bảo hiểm vi mô có tác động tới sức khỏe và kinh tế hộ gia đình?Các câu hỏi liên quan:- Đâu là hiệu quả của chương trình bảo hiểm y yế vi mô đối với việc giảm bớt các rủi ro

kinh tế liên quan đến tình trạng bệnh tật?- Các hộ gia đình phản ứng thế nào trước các mức phí bảo hiểm khác nhau?- Việc mở rộng chương trình bảo hiểm có tác động gì tới chất lượng dịch vụ của các cơ sở

y tế công?


Bây giờ chúng ta sẽ xem xét đặc thù của lĩnh vực tài chính vi mô trong đánh giá tác động.

Từ khoảng 30 năm trở lại đây, lĩnh vực tài chính vi mô, đặc biệt là tín dụng vi mô được coi là công cụ của chính sách xóa đói giảm nghèo – trường hợp quỹ tín dụng vi mô Grameen Bank của Bangladesh là ví dụ điển hình.

Bắt đầu từ những năm 2000, tài chính vi mô, đặc biệt là tín dụng vi mô tăng trưởng theo cấp số nhân –13 triệu khách hàng năm 1997 và hơn 190 triệu khách hàng vào năm 2009. Đâu là lý do giải thích cho sự tăng trưởng này? Ba lý lẽ có thể giải thích cho hiện tượng này:

- mang đến cho người nghèo cơ hội phát triển phương tiện sản xuất;

- giúp người nghèo giảm được mức độ dễ bị tổn thương và tránh bị rơi vào bẫy nghèo đói;

- « tăng cường quyền lực - empowerment » cho phụ nữ, từ đó đầu tư nhiều hơn vào chăm sóc sức khỏe và giáo dục con cái, hạn chế được tình trạng nghèo đói cha truyền con nối.

Tuy nhiên, từ năm 2010, người ta đặt vấn đề xem xét lại quan điểm này, các ý kiến đặc biệt xoay quanh tác động của tài chính vi mô và nhất là tác động của tín dụng vi mô:

- những người cho vay nặng lãi khiến các hộ gia đình nghèo rơi vào tình trạng mắc nợ quá nhiều (ví dụ trường hợp nhiều nông dân Ấn Độ phải tự tử vì nợ nần);

- lãi suất cao và không minh bạch;- khách hàng không phải là người nghèo.

Như vậy, hiện đang có tranh luận về các vấn đề này và nhu cầu thực hiện các nghiên cứu đánh giá tác động một cách bài bản để xác định liệu các thiết chế tài chính vi mô này có đến được với người nghèo (hoặc người nghèo nhất) hay không và liệu rằng các dịch vụ cung cấp có góp phần giảm nghèo và mức độ dễ bị tổn thương của đối tượng mà các dịch vụ này nhắm tới hay không.

Hoạt động tiến hành hàng ngày của các thiết chế tài chính vi mô phải được hỗ trợ và ủng hộ. Tuy vậy, việc phân loại nghèo đói của các nhà tài trợ/các nhà nghiên cứu không phải lúc nào cũng trùng khớp với thực tế (những người không tiếp cận được với hệ thống ngân hàng, người dân nông thôn vùng sâu vùng xa, nông dân, phụ nữ, v.v.); thêm nữa, thời gian thực hiện một đánh giá tác động thường kéo dài, không phù hợp với nhịp triển khai dịch vụ của các thiết chế tài chính vi mô (vốn ngắn hơn).

Trong tuần này chúng ta sẽ tìm hiểu đâu là những kết quả kéo theo của những lợi ích khác nhau này trong một nghiên cứu đánh giá tác động.


ngày 1, chiều thứ hai ngày 22 tháng 7

2.3.2. Khó khăn về phương pháp luận trong đánh giá tác động: tìm kiếm một đối chứng, lựa chọn một nhóm đối chứng

[Christophe Jalil nordman]

Bây giờ chúng ta sẽ tìm hiểu cách thức tìm kiếm, xác định và lựa chọn nhóm đối chứng. Sáng nay chúng ta đã nhắc đến sự cần thiết phải xác định tác động của một dự án phát triển tới một kết quả mà chúng ta cần phải đánh giá.

Để xử lý các vấn đề liên quan tới tác động, cần phải đánh giá được kết quả của một chương trình bằng cách đặt nó ở ngoài tất cả các yếu tố khác có thể có tác động tương

tự. Các vấn đề này không thể xử lý chỉ bằng cách đánh giá kết quả của dự án. Tại sao? Trên thực tế, tác động chính là chênh lệch của kết quả thu được khi thực hiện chương trình và khi không thực hiện chương trình. Tuy nhiên, cái khó là ta không thể cùng một lúc quan sát một đối tượng ở hai trạng thái khác nhau. Cụ thể, khi ta quan sát một chỉ số sau khi thực hiện chương trình, ta không thể đồng thời quan sát được chỉ số đó khi không có chương trình, tức là ở đây, giá trị đối chứng là không quan sát được.

Tình huống này không có trong thực tế, nhưng người thực hiện đánh giá sẽ tìm cách xây dựng lại để thực hiện nghiên cứu đánh giá của mình. Việc tìm kiếm giá trị đối chứng có thể tóm tắt trong một câu hỏi : người tiếp nhận chương trình sẽ ra sao nếu không có chương trình?

Ở đây, trục tung biểu diễn giá trị kết quả của chương trình YB. Trục hoành biểu diễn biến thời gian, t=0. Ở giá trị t=0, biến kết quả được

đo bằng giá trị YB. Khi quan sát giá trị t=0, là giá trị khi không có chương trình.

Quan sát biến kết quả…

Nguồn: tác giả.

40biểu đồ


Một chương trình được thực hiện trong khoảng thời gian t=0 và t=1, ta có kết quả mới YP. Có thể quan sát thấy biến kết quả tăng trong khoảng thời gian trước và sau khi thực

hiện chương trình. Vậy kết quả của chương trình có phải là chênh lệch giữa hai kết quả này hay không?

… và giá trị tăng sau khi thực hiện chương trình

Xác định giá trị đối chứng…



41

42

biểu đồ

biểu đồ

Giá trị đối chứng là tình trạng của những người không tham gia chương trình. Có thể các cá nhân không tham gia chương trình có biến kết quả được đo ở giá trị Y*P, cao hơn giá trị YP kể cả khi không có chương trình. Đối với

các cá nhân không tham gia chương trình, khó có thể xác định được giá trị này. Đây là yếu tố chúng ta tìm cách tái lập để có thể đánh giá được tác động của chương trình.


Tác động của chương trình như vậy không phải là chênh lệch của hai giá trị YP và YB mà là giữa hai giá trị YP và Y*P. Để đánh giá tác

động của chương trình, ta quan sát sự chênh lệch giữa kết quả có được sau khi thực hiện chương trình và kết quả của nhóm đối chứng.

… để có thể đánh giá được tác động của chương trình

Ví dụ chính sách tạo việc làm



43

44

biểu đồ

biểu đồ

Khi có chính sách

Khi không có chính sách

Thay i tình hình (tác ng thô)

N m c s ánh giá

Tác ng b t ng

Ảnh h ng riêng c a tác ng b t ng

Vi c làm

Jccs

Jkcs


Ở đây, trục tung biểu diễn tỷ lệ lao động có việc làm của một nước và trục hoành biểu diễn biến thời gian. Lấy mốc thời gian là năm làm cơ sở, tỷ lệ lao động có việc làm có giá trị J0, giá trị này tăng lên mức có thể tương đương với kết quả thu được sau khi triển khai chính sách tạo việc làm. Tỷ lệ lao động có việc làm – giá trị đối chứng – là tỷ lệ những người có việc làm không phải là đối tượng liên quan đến chính sách tạo việc làm. Giữa hai mốc thời gian này, nhiều người thất nghiệp tìm được việc làm hoàn toàn không phải nhờ chính sách tạo việc làm được triển khai. Ở đây, cần hiểu rằng nếu đánh giá tác động của chính sách tạo việc làm bằng cách tính toán chênh lệch của hai giá trị Javec (avec là từ tiếng Pháp tương đương với with trong tiếng Anh) và J0, chúng ta không chỉ đánh giá tác động của chính sách tạo việc làm mà cả các yếu tố khác xảy ra ở thời điểm thực hiện chương trình. Vấn đề đặt ra với người thực hiện đánh giá là xác định được hoàn cảnh đối chứng này, vì cần phải xác định được tỷ lệ việc làm tại quốc gia không có chính sách việc làm cùng lúc khi quốc gia đã có chính sách tạo việc làm.

Để đảm bảo xác định chính xác bài bản, khi đánh giá tác động cần phải đánh giá được giá trị đối chứng, tức là phải trả lời được câu hỏi: điều gì xảy ra nếu không có chương trình? Việc này nhìn chung thực hiện được khi sử dụng nhóm đối chứng – tức là các cá thể không tham gia chương trình – nhóm này sẽ được so sánh với nhóm xử lý (nhóm tham gia chương trình) – tức là các cá thể được thụ hưởng chương trình. Các cá thể thuộc nhóm đối chứng chỉ khác các cá thể trong nhóm xử lý ở một điểm duy nhất là việc họ có tham gia chương trình hay không.

Xác định giá trị đối chứng là trọng tâm của các phương pháp đánh giá tác động

Ta có thể phân loại các phương pháp xây dựng giá trị đối chứng và nhóm đối chứng như sau:

• phương pháp thực nghiệm (ngẫu nhiên); • phương pháp phi thực nghiệm: ghép cặp

(matching), khác biệt kép (diff-in-diff), mô hình lựa chọn và biến công cụ;

• phương pháp lý thuyết ex ante.

Ban đầu, khung thống kê tổng quát phù hợp với quá trình đánh giá được các chuyên gia thống kê phát triển nhằm sử dụng trong đánh giá tác động của các biện pháp can thiệp y sinh – đặc biệt là dịch tễ học. Hiện nay, các công cụ này đã được phát triển vượt ngoài phạm vi áp dụng trong các thử nghiệm lâm sàng. Đặc biệt, các khái niệm và phương pháp này được sử dụng thường xuyên trong lĩnh vực kinh tế lượng vi mô để phân tích tác động của các chương trình dạy nghề và hỗ trợ xã hội, nhất là ở Mỹ.

Khung thống kê tổng quát phù hợp với việc đánh giá tác động được phát triển từ mô hình chuỗi nguyên nhân-kết quả Rubin (1974). Mô hình này cho phép xác định rõ tác động mang tính nhân quả của chính sách cần đánh giá và bản chất sai số lựa chọn. Hai đặc điểm quan trọng của tác động nguyên nhân-kết quả, hiểu theo định nghĩa dựa trên lý thuyết thống kê, là tính không thể quan sát và tính không đồng nhất của quần thể. Tính không thể quan sát của tác động nguyên nhân-kết quả buộc các nhà phân tích phải đặt ra các giả thiết để từ đó xác định được một số tham số trong phân bố chuỗi tác động nguyên nhân-kết quả.


Việc tiếp cận với chương trình – tức là yếu tố được xử lý – được biểu diễn bằng biến số ngẫu nhiên T, có giá trị bằng 1 nếu cá thể có tham gia chương trình và bằng 0 nếu cá thể không tham gia chương trình. Hiệu quả của chương trình được đo bằng hai biến kết quả tiềm ẩn là Y1 và Y0 tùy theo trường hợp cá thể có tham gia (được xử lý) hay không tham gia (không được xử lý) chương trình tức là (T=1) hoặc (T=0).

- Các biến này tương ứng với kết quả tiềm ẩn của chương trình.

- Các biến này không thể đồng thời quan sát được trên cùng một cá thể.

- Đối với mỗi cá thể tham gia (được xử lý), Y1 quan sát được còn Y0 không quan sát được.

- Trong trường hợp này, biến Y0 tương ứng với kết quả có thể có nếu cá thể không được xử lý (giá trị đối chứng).

- Trái lại, đối với một cá thể không được xử lý, ta quan sát được biến Y0, còn biến Y1 không quan sát được.

Biến kết quả được quan sát có thể được suy ra từ các biến tiềm năng và biến T theo phương trình:

Y = T Y1 + (1–T)Y0

Chỉ có cặp biến (Y,T) là quan sát được đối với mỗi cá thể.

Tác động nguyên nhân-kết quả của chương trình tới mỗi cá nhân được đo theo công thức:

Δ = Y1 – Y0

Kết quả này là hiệu số của kết quả có thể có nếu cá nhân tham gia chương trình (được xử lý) và kết quả có thể có nếu cá nhân không tham gia chương trình. Như vậy tác

động nguyên nhân-kết quả có hai đặc điểm quan trọng: tính không thể quan sát, vì với mỗi cá thể, ta chỉ có thể quan sát được một trong hai biến tiềm năng; tính cá thể, và từ đó ta thấy có sự phân bố tác động nguyên nhân-kết quả trong quần thể.

Sự phân bố tác động nguyên nhân-kết quả không thể xác định được. Tuy nhiên, từ các giả thiết về quy luật kết nối của (Y0, Y1, T), ta có thể xác định được vài tham số trên cơ sở mật độ của các biến quan sát được (Y, T). Ngoài ra, có hai tham số phải tính toán riêng:

- mức tác động bình quân của chương trình trong toàn bộ quần thể:

ΔATE = E(Y1 – Y0)- mức độ tác động bình quân của chương

trình đối với nhóm các cá thể được xử lý:

ΔATT = E(Y1 – Y0 | T=1)

Hai tham số này chỉ bằng nhau theo một số giả thiết rất giới hạn, đặc biệt là nếu các biến kết quả độc lập với biến tham gia chương trình, tức là nếu (Y0, Y1) T, ta có thể xác định được hai biến lợi ích ΔATE et ΔATT đã được nhắc đến ở trên. Trên thực tế, nếu điều kiện (đủ) này được thỏa mãn, giá trị của hai biến lợi ích này sẽ là:

ΔATE = ΔATT = E(Y | T=1) – E(Y | T=0)

Trong trường hợp này, hai tham số bằng nhau và có thể tính được dễ dàng bằng cách tìm chênh lệch giữa mức bình quân của các biến kết quả quan sát được trong nhóm cá thể được xử lý và nhóm cá thể không được xử lý.


Khi điều kiện độc lập của biến không được thỏa mãn, hàm ước lượng tự nhiên, được hình thành bởi hiệu số các giá trị trung bình của biến kết quả, sẽ chịu ảnh hưởng của sai số lựa chọn:

E(Y | T=1) – E(Y | T=0) = E(Y1 | T=1) – E(Y0 | T=0) = E(Y1 | T=1) – E(Y0 | T=1) + E(Y0 | T=1) – E(Y0 | T=0) = ΔATT + BATT

Giá trị của sai số lựa chọn được tính theo công thức:

BATT = E(Y0 | T=1) – E(Y0 | T=0)

Sai số này bắt nguồn từ việc mức xuất phát điểm trung bình của các cá thể được xử lý khi không có chương trình không giống với mức xuất phát điểm trung bình của các cá thể hoàn toàn không tham gia chương trình. Có sai số này là bởi hai quần thể không hoàn toàn tương đồng, trừ trường hợp thực nghiệm thuần, đã loại trừ hoàn toàn các yếu tố ngoại lai.

Lựa chọn nhóm đối chứng: minh họa từ chương trình PDUI ở Djibouti


Tôi muốn trình bày với các bạn những khó khăn trong việc tìm kiếm nhóm đối chứng qua trường hợp Dự án phát triển đô thị tổng thể (viết tắt tiếng Pháp là PDUI) thực hiện tại Djibouti: hạ tầng (đường giao thông, nước, điện); công trình công cộng (đồn cảnh sát, nhà chờ xe buýt, cơ sở dạy nghề); phát triển cộng đồng (dạy nghề, hỗ trợ nghề nghiệp, hỗ trợ quản lý). Dự án được thực hiện từ năm 2010 đến 2013 tại ba thôn của xã Balbala, huyện Djibouti – 50.000 người dân liên quan đến dự án, 60% người dân thất nghiệp, nhà cửa đều lợp mái tôn, trong khi nhiệt độ cao nhất ở nước này có thể lên tới 50°C. Với dự án này, không thể thực hiện đánh giá theo phương pháp ngẫu nhiên, vì thế chúng tôi phải tìm kiếm nhóm đối chứng. Các tác động mong đợi của chương trình liên quan tới vấn đề việc làm, nhà ở, y tế và an toàn trật tự công cộng.

những tác động sau khi kết thúc dự án pDui: ví dụ về việc làm

ào t o ngh

S n ph m c a d án PDUI K t qu c a d án PDUI

H tr vi c làm

Tình tr ng vi c làm t t h n cho thanh niên

Gi m t l th t nghi p và thi u việc làm

ng giao thông

Ti p c n vi c làm t t h n

Thành l p các doanh nghi pvi mô

H tr doanh nghi p

Kinh nghi m t th nghi m HIMO

M r ng m ng l i i n

T ng thu nh p

Ti p c n t t h n v i vi c làm trong khu v c chính th c

Tác ng trong ng n h n c a d án PDUI


27Sơ đồ


Mục đích của chúng tôi là thiết lập được bối cảnh và trạng thái tham chiếu trước khi khởi động dự án trên cơ sở điều tra hộ gia đình. Vùng đối chứng phải có đặc điểm tương đồng với đặc điểm xuất phát của vùng thực hiện dự án tính ở thời điểm khởi động dự án, xét trên các khía cạnh điều kiện sống và vị trí địa lý, vùng đối chứng cũng phải là vùng không tham gia chương trình.

Chúng tôi phát bảng hỏi cho 1.000 hộ – 700 hộ trong vùng dự án, 300 trong vùng đối chứng; bảng hỏi gồm nhiều mô-đun, dành cho các đối tượng khác nhau bao gồm chủ hộ, người lớn, phụ nữ từ 15-49 tuổi.

Việc lấy mẫu phải làm sao bảo đảm được tính đại diện của đối tượng nhắm tới, kiểm soát được mẫu đối chứng có đặc điểm tương đồng, đo được độ khác biệt tùy theo mức độ tham gia vào chương trình. Ban đầu chúng

tôi lấy mẫu theo nhóm hộ từ 10-30 hộ; các nhóm mẫu được phân loại theo ba tiêu chí: khu vực dự án/khu vực đối chứng, điều kiện nhà ở và vị trí địa lý/mức độ thuận tiện về giao thông.

Điều tra thống kê điều kiện nhà ở được thực hiện với bốn biến: vật liệu xây tường, nước sạch, chiếu sáng và tình trạng sử dụng. Chúng tôi tính điểm về điều kiện nhà ở cho mỗi hộ ở Djibouti. Điểm trung bình tính được sẽ cho phép phân loại các hộ theo ba mức độ ổn định về nhà ở: ổn định, trung bình và bấp bênh.

Chúng tôi dùng ảnh vệ tinh để xác định tiêu chí thuận tiện về giao thông - tính toán khoảng cách giữa khu vực và đường giao thông, loại đường, xác định vị trí diện tích đất ở.

Xác định vị trí diện tích đất ở và bản đồ vệ tinh để xác định vùng đối chứng và các tiêu chí về mức độ thuận tiện về giao thông

Nguồn: PDUI.

14bản đồ


Chúng tôi sử dụng dữ liệu vệ tinh trong hệ thống thông tin địa lý (GIS) để định vị các con đường giao thông chính và vị trí của các nhóm hộ. Mức độ thuận tiện về giao thông được đo bằng khoảng cách trung bình từ mỗi nhóm hộ tới các trục đường chính có phương tiện giao thông công cộng. Các nhóm hộ được phân loại theo ba cấp độ thuận tiện về giao thông đi lại. Phân loại như vậy sẽ giúp đo được mức độ tham gia hoặc có liên quan đến chương trình.

Cái khó đối với chúng tôi là chỉ đảm bảo kiểm soát được đối với các đặc điểm liên quan một phần tới dự án, như nhà ở hoặc mức độ thuận tiện về giao thông/vị trí địa

lý. Cụ thể là, nếu nhóm đối chứng bao gồm những người gốc Éthiopia, nói được tiếng Anh thì các cá thể trong nhóm đó dễ tìm được việc làm hơn ở các khu vực gần cảng, nhưng ở nhóm đối chứng, các cá thể lại chỉ nói được tiếng Ả rập. Như vậy, sự khác biệt ngôn ngữ sẽ làm sai lệnh giá trị ban đầu của Y0, tức là kết quả có thể có nếu các cá thể không tham gia chương trình. Với điều tra này, chúng tôi xác định từ đầu là hai nhóm có đặc điểm giống nhau nhưng sẽ có các dữ liệu/yếu tố không quan sát và cũng không đo đếm được. Các khác biệt này có thể làm sai lệch kết quả; đây là một điểm khó giải quyết đối với một nghiên cứu đánh giá tác động.

phân loại theo mức độ thuận tiện đường giao thông

Nguồn: PDUI.

15bản đồ


[phùng Đức tùng]

Nhìn chung các chương trình nhắm tới trước hết là những nhóm dễ bị tổn thương và có nguy cơ. Ở Việt Nam, nhiều chương trình giảm nghèo được triển khai nhằm cung cấp thẻ bảo hiểm y tế miễn phí cho hộ nghèo, giảm học phí để tăng tỷ lệ đến trường và thời gian đi học của con em gia đình nghèo. Tuy nhiên, vấn đề là phải tìm ra được nhóm đối chứng vì điều kiện sống của các hộ gia đình rất khác nhau.

Ví dụ: tỷ lệ đi học của con em các hộ thuộc nhóm đối chứng thông thường cao hơn tỷ lệ thuộc nhóm xử lý/nhóm tham gia chương trình, vì nhóm đối chứng thường là các hộ gia đình có điều kiện hơn. Đối với các nhóm dân tộc thiểu số, còn phải tính đến yếu tố ngôn ngữ và mức độ thuận tiện về giao thông của các thôn bản, vốn là hai trở ngại rất lớn.

2.3.3. Các phương pháp định lượng chính (ex-post) nhằm đánh giá tác động: phương pháp thực nghiệm, bán thực nghiệm và phi thực nghiệm


Thực nghiệm có kiểm soát

Đánh giá tác động theo phương pháp thực nghiệm có kiểm soát (còn gọi là phương pháp thực nghiệm) được áp dụng nhằm mục đích loại bỏ sai số lựa chọn bằng cách chọn mẫu ngẫu nhiên (rút thăm) để chọn ra các cá thể (hoặc nhóm cá thể) thụ hưởng chương trình. Phương pháp này thường được coi là hiệu quả nhất trong số các phương pháp đánh giá tác động. Ưu điểm chính của kỹ thuật này là dễ đọc kết quả: tác động của chương trình tới kết quả đánh giá là mức chênh lệch giữa kết quả bình quân của các mẫu trong nhóm mục tiêu và nhóm đối chứng.

Ví dụ chương trình triển khai tại Kenya24Khung

Dự án phát sách giáo khoa cho 25 trường tiểu học ở nông thôn Kenya năm 1996 (Glewwe et al., 2004). Đánh giá dự án phát sách giáo khoa ở Kenya được thực hiện theo phương pháp lấy mẫu ngẫu nhiên tại các trường có thực hiện dự án, những người thực hiện đánh giá đã tiến hành một điều tra cơ bản, lập nhóm đối chứng và sau đó triển khai dự án. Việc lập nhóm đối chứng và nhóm mục tiêu đã giúp xác định rõ tác động của việc phát sách giáo khoa tới kết quả học tập của học sinh.


Về kỹ thuật thực hiện, nguyên tắc áp dụng cũng giống với nguyên tắc trong thử nghiệm y sinh – kê thuốc điều trị cho một số bệnh nhân được lựa chọn ngẫu nhiên và không phát thuốc cho nhóm còn lại.

Trong nghiên cứu đánh giá này, chúng tôi có thêm một thuận lợi nữa là có thể lựa chọn ngẫu nhiên các làng và cộng đồng được hưởng lợi từ dự án, trong một số trường hợp việc lựa chọn này không quá khó. Đối với việc lựa chọn cá thể, cách làm phổ biến nhất là trước hết những người có thể được lựa chọn ngẫu nhiên phải được thông báo về mục đích và nguyên tắc thực hiện của nghiên cứu, người nào chấp nhận tham gia sẽ được phân bổ vào hai nhóm – nhóm xử lý và nhóm đối chứng – theo phương pháp rút thăm.

Để dễ hình dung đặc điểm và hạn chế của phương pháp thực nghiệm có kiểm soát này, ta xét thêm hai biến chỉ số sau đây:

– biến T* có giá trị bằng 1 khi cá thể được lựa chọn để tham gia chương trình (và có giá trị bằng 0 nếu không tham gia);

– biến S có giá trị bằng 1 khi cá thể được phân vào nhóm xử lý bằng phương pháp rút thăm ngẫu nhiên (và có giá trị bằng 0 nếu không được rút thăm).

Để loại bỏ sai số ngẫu nhiên, xác suất được lựa chọn tham gia chương trình không được bị ảnh hưởng bởi việc coi rút thăm là điều kiện tham gia chương trình. Với điều kiện này, chúng ta thấy tác động của biến T đối với các cá thể được xử lý có giá trị là:

ΔATT = E(Y1 | T*=1, S=1) – E(Y0 | T*=1, S=0)

Nói cách khác, lợi ích bình quân của chương trình đối với các cá thể mong muốn tham gia có thể tính toán bằng cách tính hiệu số chênh lệch giữa kết quả bình quân của các cá

thể thuộc nhóm xử lý và kết quả bình quân của các cá thể thuộc nhóm đối chứng. Kết quả bình quân của nhóm đối chứng là kết quả bình quân của hoàn cảnh đối chứng, được tính bằng E(Y0 | T=1) đối với trường hợp phi thực nghiệm.

Quyết định tham gia thực nghiệm được đưa ra trước khi tiến hành rút thăm ngẫu nhiên sẽ đảm bảo cho việc các nhóm xử lý và nhóm đối chứng được lập ra gồm các cá thể được lựa chọn hoàn toàn ngẫu nhiên. Nếu làm ngược lại, tức là rút thăm ngẫu nhiên trước khi các cá thể đưa ra quyết định tham gia hay không tham gia chương trình, ta sẽ không thể xác định được kết quả bình quân đối chứng.

Ta hãy xem xét một vài hạn chế của phương pháp này.

Trước hết, việc triển khai chương trình đối với các đối tượng được lựa chọn ngẫu nhiên có thể bị coi là trái với quy định của pháp luật. Thứ hai, về mặt chính sách, khó có thể thực hiện phát sách giáo khoa cho học sinh này mà lại không phát cho học sinh khác. Thứ ba, phạm vi thực hiện chương trình nếu phủ rộng thì ta cũng không thể lập được nhóm đối chứng theo đúng tiêu chí – ví dụ trường hợp một thay đổi về chính sách có phạm vi ảnh hưởng rộng rãi, như vay cải cách cơ cấu hoặc các chương trình triển khai trên quy mô quốc gia. Thứ tư, các cá thể trong nhóm đối chứng có thể thay đổi đặc điểm nhận diện trong quá trình tiến hành thực nghiệm, thay đổi này sẽ ảnh hưởng tới kết quả đánh giá : ví dụ, nếu một người di chuyển từ khu vực có dự án ra ngoài hoặc ngược lại, một người từ khu vực không có dự án sang khu vực có dự án, như vậy, họ cũng di chuyển từ nhóm xử lý sang nhóm đối chứng hoặc ngược lại (tác động lây lan) ; hoặc, có những người từ chối lợi ích tham


gia dự án và tìm kiếm các nguồn lợi khác thay thế, hoặc có người lựa chọn tham gia chương trình có thể không hưởng lợi ích từ chương trình. Thứ năm, khó có thể đảm bảo được một sự lựa chọn thực sự ngẫu nhiên – ví dụ có trường hợp người thực hiện đánh giá quyết định loại các ứng viên có nguy cơ cao để đảm bảo kết quả đánh giá được thực hiện tốt hơn. Cuối cùng, trong một số trường hợp, phương pháp thực nghiệm này có thể tốn kém và mất nhiều thời gian, đặc biệt là khâu thu thập dữ liệu mới.

Phương pháp bán thực nghiệm, thử nghiệm tự nhiên và « Regression Discontinuity Design »

Thuật ngữ bán thực nghiệm hoặc thử nghiệm tự nhiên được dành cho các nghiên cứu đánh giá các giá trị bình quân của các biến kết quả từ hai nhóm cá thể được lập theo phương pháp đánh giá mức độ biến thiên ngẫu nhiên của một biến ngoại lai.

Biến ngoại lai này thường là một quy định hành chính, có thể được thay đổi vào một thời điểm nào đó (chẳng hạn: bỏ quy định nghĩa vụ quân sự, sử dụng tiếng Ả rập trong giảng dạy các môn học, v.v...). Nguồn gốc biến thiên của một biến ngoại lai phải được xác định và rõ ràng, về nguyên tắc, biến này không được gắn với các yếu tố khác quyết định tới sự biến thiên của các biến kết quả.

Vì không mang tính thực nghiệm nên các phương pháp bán thực nghiệm phải xử lý rất kỹ ở khâu lập nhóm đối chứng và nhóm xử lý. Nhóm xử lý bao gồm các cá nhân hoặc hộ gia đình có liên quan tới sự thay đổi của biến ngoại lai. Phần khó nhất là xác định nhóm đối chứng, vì nó ảnh hưởng tới độ chính xác trong đánh giá tác động của sự biến thiên của biến ngoại lai. Vì vậy nhóm đối chứng phải bao gồm các cá thể có đặc điểm tương đồng nhất có thể với các cá thể thuộc nhóm xử lý, tức là nhóm chịu tác động từ sự biến thiên của biến ngoại lai.

Ưu điểm và hạn chế25Khung

Ưu điểm Hạn chế

- Không gặp vấn đề về đạo đức

- Không cần xác định kế hoạch thực nghiệm

- Khó tìm được biến ngoại lai thực sự

- Sai số từ các biến bị bỏ qua

- Bỏ qua yếu tố xu hướng theo thời gian


ngày 2, sáng thứ ba ngày 23 tháng 7

Laure Pasquier-Doumer trình bày nội dung các bài tập nhóm. Học viên đăng ký theo một trong hai nhóm và lựa chọn đại diện của nhóm mình để chuẩn bị báo cáo trước lớp vào sáng thứ bảy.

Christophe Jalil Nordman điểm lại và làm rõ một số nội dung đã trình bày trong ngày học trước.

Các phương pháp phi thực nghiệm

[Axel Demenet]

Chúng ta đã thấy rằng, để đánh giá được tác động của một chính sách tới một yếu tố nào đó (chẳng hạn yếu tố thu nhập), nếu chỉ lấy hiệu số chênh lệch giữa hai kết quả của các cá nhân thụ hưởng và các cá nhân không thụ hưởng chính sách đó thì là không đủ. So sánh tình trạng sức khỏe của các bệnh nhân được nhận điều trị ở bệnh viện và các bệnh nhân không nhận điều trị – ví dụ cổ điển nhất về đánh giá tác động –, ta có thể dẫn tới kết luận sai lầm là việc điều trị có tác động tiêu cực: những người đến bệnh viện là những người đã có vấn đề về sức khỏe trước khi nhận phác đồ điều trị, như vậy, kết quả đánh giá sẽ có sai số vì hai nhóm (điều trị và không điều trị) không có xuất phát điểm tương đồng. Chúng tôi cũng đã chứng minh là khi áp dụng phương pháp đánh giá ngẫu nhiên (hay còn gọi là phương pháp thực nghiệm), ta có thể đảm bảo sự đồng nhất trong đặc điểm của hai nhóm và loại bỏ được sai số, tiếp đó chúng ta đã nghe giới thiệu về các phương pháp « bán thực nghiệm », phương pháp này giúp thiết lập lại các điều kiện của đánh giá ngẫu nhiên. Tuy nhiên, trong phần

lớn các trường hợp, không thể triển khai các phương pháp như vậy hoặc thực hiện các thử nghiệm tự nhiên. Ở phần này chúng tôi sẽ giới thiệu kỹ một vài phương pháp đánh giá có thể giảm được sai số, các phương pháp này nằm trong nhóm « phi thực nghiệm ». Các phương pháp này khai thác các giá trị của biến lợi ích Y (thu nhập, tình trạng sức khỏe, v.v.) đối với các cá thể được xử lý (T=1) và các cá thể không được xử lý (T=0).

Giải quyết sai số lựa chọn bằng cách tái lập giá trị đối chứng

Ta biết phương pháp đánh giá tác động « ngây thơ », tức là tính giá trị kỳ vọng Y bằng cách tính hiệu số giữa kết quả của các cá thể được xử lý E(Y | T=1) và kết quả của các cá thể không được xử lý E(Y | T=0) (ở đây xin nhắc lại ví dụ xác định tình trạng sức khỏe bình quân của những người đi khám bệnh và những người không đi khám bệnh), sẽ cho kết quả có sai số vì sự chênh lệch trong tình trạng ban đầu giữa những người tham gia và những người không tham gia chương trình. Sự khác biệt, chênh lệch trong tình trạng ban đầu của hai nhóm có thể quan sát được (giới tính, thu nhập, bị ốm, không bị ốm, v.v.) và không quan sát được (động cơ, tài năng). Các khác biệt này tạo ra sai số lựa chọn (BATT) khi điều kiện độc lập giữa các biến kết quả tiềm tàng (Y0, Y1) và điều kiện tham gia chương trình không được thỏa mãn:

[(Y0, Y1) T] E(Y0 | T=1) ≠ E(Y0 | T=0),

tức là ở mọi thời điểm, trừ trường hợp thực hiện đánh giá ngẫu nhiên.

Phương pháp ghép cặp (matching)

Có nhiều phương pháp cho phép loại bỏ hoặc giảm bớt sai số lựa chọn này. Các phương pháp này đảm bảo hai nhóm (được


xử lý và không được xử lý) có đặc điểm gần nhau bằng cách sử dụng các biến kiểm soát tác động tới xác suất tham gia xử lý và/hoặc kết quả. Giả thiết ban đầu gọi là giả thiết « độc lập có điều kiện », rõ ràng yếu hơn so với giả thiết trước, theo đó, tồn tại một tập hợp các biến mà các kết quả ẩn và xác suất tham gia chương trình độc lập với chúng, phụ thuộc vào các biến kiểm soát :

[(Y0, Y1) T] | X

Giả thiết độc lập có điều kiện được hiểu là hai nhóm xử lý và không xử lý cân bằng nhau xét trên những đặc điểm quan sát được cùng có tác động tới biến kết quả ; nói cách khác, đối với những người có cùng đặc điểm giống hệt nhau, việc người này tham gia và người khác không tham gia hoàn toàn là do ngẫu nhiên.

Từ đó ta có thể xác định được giá trị kỳ vọng Y cho cả hai nhóm và như vậy tính được tác động bình quân của chương trình (ΔATE), cũng như tác động bình quân của chương trình đối với các cá thể trong nhóm xử lý (ΔATT). Điều kiện xác định đối với tham số này (tác động bình quân đối với nhóm cá thể tham gia) ít khắt khe hơn vì chỉ cần sự độc lập giữa kết quả tiềm năng nếu không có chương trình và kết quả khi có chương trình, tức là Y0 T | X.

Nguyên tắc đánh giá áp dụng ở đây là sử dụng thông tin đã có về các cá thể không xử lý để làm đối chứng cho các cá thể xử lý. Hàm ước lượng sẽ tính được mức chênh lệch trung bình giữa mức xuất phát điểm bình quân của các cá thể xử lý và các cá thể đối chứng:

theo đó I1 là giá trị của mẫu các cá thể xử lý và N1 là số các cá thể xử lý.

Việc ghép cặp « matching » cho phép giải quyết được một phần sai số lựa chọn bằng cách sử dụng các biến quan sát được, tức là các biến X để lựa chọn các cá thể của nhóm đối chứng sao cho các cá thể đó có đặc điểm tương đồng với các cá thể thuộc nhóm xử lý. Nói cách khác, ta thực hiện ghép các cá thể xử lý với một hoặc nhiều cá thể thuộc nhóm không xử lý có đặc điểm tương đồng xét theo các biến có thể quan sát được, tức là các biến X. Để đánh giá tác động của một phác đồ điều trị tại bệnh viện, ta không so sánh với những người không nhập viện nói chung mà so sánh với các cá nhân mắc cùng một bệnh nhưng không khám chữa tại bệnh viện.

Phương pháp này đòi hỏi với mỗi cá thể xử lý, cần phải quan sát một hay nhiều cá thể không xử lý có đặc điểm tương đồng (« sinh đôi »), trên cơ sở các biến X, tức là : Xĩ(i) = Xi.

Từ đó ta tính được tác động đối với từng nhóm bằng cách tính chênh lệch mức xuất phát điểm bình quân của các cá nhân trong hai nhóm xử lý và không xử lý, mức tác động bình quân của mỗi nhóm sẽ giúp tính được giá trị ∆ATT. Số lượng Yĩ(i) sẽ là hàm ước lượng giá trị kỳ vọng của kết quả tiềm năng Y0i:

Như vậy giá trị tác động tiềm năng của chương trình đối với các cá thể xử lý (tham gia chương trình) sẽ được tính theo công thức:

Cần phải lưu ý là phương pháp này áp dụng được khi có các biến kiểm soát, tức là độ chính xác của nó sẽ phụ thuộc vào chất lượng dữ liệu cũng như cỡ mẫu. Hơn nữa, phương pháp này chỉ cho phép giải quyết được một phần sai số lựa chọn bởi vì ta không thể sử


dụng được các khác biệt không thể quan sát được.

Ghép cặp các cá thể dựa trên một số lượng biến kiểm soát quá lớn cũng lại đặt ra vấn đề về cỡ mẫu: không thể tìm được các cá thể sinh đôi hoàn hảo cho mỗi đặc tính. Rosenbaum và Rubin (1983) đã chỉ ra rằng, với giả thiết độc lập có điều kiện, phương pháp ghép cặp matching có thể thực hiện được thông qua xác suất tham gia chương trình có điều kiện, thuật ngữ tiếng Anh là « propensity score ». Tỷ số P(X) = Pr (T=1| X) tính được xác suất tham gia của chương trình khi biết biến X, xác suất này được ước tính theo mô hình probit hay logit. Véc-tơ P(X) tóm tắt tất cả các thông tin quan sát được trong véc-tơ X và cho phép ghép các cá thể với một chỉ số duy nhất theo một đơn vị khoảng cách xác định. Giá trị này được tính như sau:

Y0 T | X => Y0 T | P(X)

Nếu biến kết quả Y0 độc lập với xác suất tham gia chương trình T theo điều kiện của

các biến quan sát được X, nó cũng sẽ độc lập với T theo điều kiện của tỷ số xác suất

tham gia chương trình.

Ở đây xin lưu ý là phương pháp ghép cặp « matching » tạo ra một hàm ước lượng cục bộ. Bởi vì chúng ta chỉ ghép cặp được các cá thể có giá trị kết quả gần nhau, nên việc đánh giá sẽ chỉ giới hạn trong khuôn khổ mẫu các cá thể nằm trong « vùng tựa chung », tức là vùng tập hợp các cá thể có kết quả gần nhau: các cá thể có tỷ số P(X) quá thấp hoặc quá cao sẽ bị loại trừ vì rất khó ghép cặp để so sánh.

Tuy nhiên, trong áp dụng thực tế, việc ghép cặp các cá thể vẫn có một độ tự do nhất định. Có thể ghép cặp hai cá thể, hoặc một cá thể có thể ghép cặp với nhiều cá thể có kết quả gần nhau k ; đơn vị i sẽ được ghép cặp với đơn vị j theo công thức:

Ta có thể cho phép hoặc không cho phép việc nhiều đơn vị thuộc nhóm xử lý được ghép cặp với cùng một cá thể thuộc nhóm không xử lý. Cũng có thể xác định một giới hạn cao hơn δ để quy định phạm vi khoảng cách (caliper matching) : nếu không có một đơn vị nào trong nhóm không xử lý tìm được một đơn vị i trong phạm vi δ, lúc đó đơn vị i sẽ không được ghép cặp.

Một phương pháp xen kẽ là không ghép theo cá thể mà ghép cặp theo hạt nhân (« kernel matching »). Theo đó, ta ghép vào kết quả yi của đơn vị i nằm trong nhóm xử lý kết quả bình quân của tất cả các đơn vị nằm trong nhóm không xử lý tính toán được bằng hàm hạt nhân, theo đó, kết quả của mỗi đơn vị không xử lý tỷ lệ với khoảng cách giữa i và j.

Như vậy, ta phải xác định chính xác nhất có thể hàm hạt nhân (theo kiểu Gaussien hoặc Epanechnikov) cũng như độ rộng của cửa sổ h (« bandwidth »): h càng lớn thì càng dễ thực hiện ghép cặp.


Phương pháp khai thác dữ liệu thời gian tuyến tính

Dữ liệu thời gian tuyến tính cho phép thực hiện được nhiều quan sát ở một giai đoạn τ, là giai đoạn chương trình còn chưa được thực hiện, có nghĩa là: Y1τ = Y0τ

So sánh phương pháp ghép cặp với các phương pháp đánh giá tác động khác?

26Khung

So sánh với những kết quả thu được từ một áp dụng thử nghiệm ngẫu nhiên để đánh giá một chương trình đào tạo ở Mỹ, các tác giả đã chỉ ra rằng, phương pháp ghép cặp cho ra các kết quả tương đối gần (Heckman et al., 1997; Dehejia và Wahba, 1999). Một số tác giả khác thì cho thấy phương pháp này cho ra kết quả thấp hơn phương pháp thực nghiệm áp dụng với cùng một chương trình (Lalonde, 1986). Ngoài việc phụ thuộc nhiều vào chất lượng của các biến kiểm soát, phương pháp ghép cặp này cũng không thể tính được xác suất tham gia của các cá thể dưới tác động của các đặc tính không thể quan sát. Các kiểu ghép cặp khác nhau trong thực tế chỉ khác nhau rất ít, tuy nhiên cách thức đánh giá hiệu quả nhất là kết hợp phương pháp ghép cặp với phương pháp khác biệt kép sẽ được giới thiệu ở phần sau (Smith và Todd, 2005).

phương pháp « trước-sau » và « Khác biệt kép »33bảng




Quay lại dự án tăng cường năng lực học tập của học sinh tại Kenya – thông qua việc phát sách giáo khoa cho các học sinh được lựa chọn ngẫu nhiên. Nhóm xử lý ở đây bao

gồm các trường học có triển khai chương trình phát sách giáo khoa; nhóm đối chứng là các trường học không thực hiện chương trình này. Chúng ta áp dụng phương pháp khác biệt kép.

Trước khi có chương trình (T=0), kết quả được sắp là 2/10 đối với những học sinh được hỏi. Ở thời điểm T=1, ta thấy có cải thiện về kết quả học tập (3/10). Tuy nhiên ta không thể suy ra được tác động của chương trình bằng phép tính đơn giản là (3-2 = 1) (xem biểu đồ 46).

Tác động của chương trình là mức chênh lệch giữa 3 và giá trị X, đây là kết quả mà ta có thể đạt được ở thời điểm T=1 nhưng không có chương trình. Ở đây ta vẫn chưa đề cập khác biệt kép mà mới chỉ dừng lại ở khái niệm giá trị đối chứng.

Chương trình có mang đến những thay đổi ?

th i gian t = 0

2

3

t = 1

CH NG TRÌNH

( c quan sát)

( c quan sát)

K t qu h c t p

= tác ng ?

3 - 2 = 1


45biểu đồ


Ta sẽ tái lập X bằng việc sử dụng nhóm đối chứng (2,4). Tác động của chương trình bằng với (3-2,4). Hàm ước lượng theo phương pháp khác biệt kép đặt giả thiết rằng kết quả

của các học sinh trong nhóm đối chứng và nhóm xử lý có thể bị tác động từ năng lực học tập của các em qua thời gian.

Điều gì sẽ xảy ra nếu không có chương trình?

tái lập X bằng việc sử dụng nhóm đối chứng

th i gian t = 0 t = 1

X

( c quan sát)

Tác ng: 3 – X

3

2

(Không quan sát c)

K t qu h c t p


Tác ng : 3 – 2.4

“Nhóm ánh giá”

“Nhóm i ch ng”

3

2

2.4



46

47

biểu đồ

biểu đồ


Ở đây ta có giả thiết là hai nhóm có đường đi song song theo thời gian: dù có hay không có chương trình, mỗi học sinh cũng vẫn có con đường học tập như vậy; khác biệt về kết quả học tập theo thời gian chỉ có nguyên nhân duy nhất là chương trình phát sách giáo khoa.

Các bước áp dụng phương pháp khác biệt kép được tóm tắt như sau:

1. Thu thập dữ liệu ban đầu cho mỗi nhóm trước khi triển khai chương trình.

2. Thu thập dữ liệu của mỗi nhóm sau khi chương trình đã được thực hiện.

3. Tính toán độ chênh lệch trước-sau cho mỗi nhóm.

4. Lấy mức chênh lệch của nhóm đối chứng trừ đi mức chênh lệch của nhóm xử lý.

Ước lượng theo phương pháp khác biệt kép


Tác ng

K t qu h c t p

Nhóm i ch ng

Nhóm ánh giá

X

3

2


48biểu đồ

Kết quả của chương trình34bảng

Nhóm Tr c Sau Chênh l ch Tr c-Sau1. ánh giá 2.0 3.02. i ch ng 2.2 2.33. Tác ng 1.0 - 0.1 = 0.9

1.0 0.1



2.3.4. Lựa chọn phương pháp: giữa nguyên tắc vàng và khó khăn trên thực địa. Đóng góp của các phương pháp bán thực nghiệm, thực nghiệm và định tính


Trong số các phương pháp khác nhau, về mặt lý thuyết, có thể thấy phương pháp thực nghiệm tỏ ra là hiệu quả nhất trong việc giải quyết sai số lựa chọn. Trong thực tế, khi thực hiện một nghiên cứu đánh giá cụ thể ta phải đồng thời tính đến những tiêu chí phương

pháp luận và các điều kiện ràng buộc trên thực địa.

Ở phần này, chúng tôi muốn nhấn mạnh rằng khi lựa chọn phương pháp, chúng ta phải căn cứ đồng thời cả các tiêu chí phương pháp luận và các điều kiện ràng buộc trên thực địa.

Ví dụ. Một chiến dịch tuyên truyền qua điện thoại đã được thực hiện để tăng số lượng cử tri đi bỏ phiếu bầu cử tại Mỹ: 60 000 người được lựa chọn ngẫu nhiên đã được liên hệ qua điện thoại để mời đi bỏ phiếu (Dupas, 2008).

Số lượng người đi bỏ phiếu đã tăng thêm như thế nào trong nhóm người được gọi điện so với nhóm không được gọi?

Hai phương pháp đầu tiên không đưa ra được câu trả lời thích đáng vì những người nhận cuộc gọi không nhất thiết có cùng đặc điểm không quan sát được với những người không nhận cuộc gọi. Nếu ta áp dụng phương pháp ghép cặp, tác động tính toán được thậm chí còn thấp hơn nữa (2,8 điểm

phần trăm). Với phương pháp ngẫu nhiên, tác động của chương trình là bằng 0.

Kết quả đánh giá phụ thuộc nhiều vào phương pháp lựa chọn ; về lý thuyết, phương pháp ngẫu nhiên là phương pháp tốt nhất. Tuy nhiên, một số chương trình lại không phù hợp với phương pháp này.

Chúng ta cùng xem xét hai đánh giá thực hiện theo phương pháp ngẫu nhiên đối với các chương trình tài chính vi mô của Cơ quan

Có thể chệch hướng tới mức nào nếu áp dụng phương pháp phi thực nghiệm?

35bảng

Ph ng pháp Tác ng c l ng

Trong s 60 000 ng i c ch n : khác bi t n gi a nh ng ng i nh n và nh ng ng i không nh n cu c g i

pp 8,01

Trong s 60 000 ng i c ch n : khác bi t kép gi a 35 000 nh n cu c g i và 25 000 ng i không nh n cu c g i

pp 5,4

B ng ph ng pháp ghép c p, l p m t nhóm i ch ng v i 35 000 ng i, và so sánh gi a nhóm “nh n cu c g i” và nhóm i ch ng

pp 8,2

Khác bi t gi a 60 000 ng i c ch n và 2 000 000 ng i không c ch n (th c nghi m ng u nhiên)

0,2 pp

!"

PP: điểm phần trăm.Nguồn: Dupas (2008).


phát triển Pháp (AFD). Chúng ta sẽ thấy yếu tố làm cho hai nghiên cứu này trở nên phức tạp và đôi khi dẫn đến các kết quả đáng thất vọng: Al Amana, chương trình dịch vụ tín dụng vi mô tài chính ở Ma rốc (Naudet et al., 2012) ; Sky, chương trình bảo hiểm y tế vi mô ở Campuchia.

Chương trình Al Amana (từ năm 1997 đến năm 2006) chỉ cung cấp dịch vụ tín dụng vi

mô ở khu vực đô thị. Từ năm 2006, chương trình được mở rộng tới các vùng nông thôn, đây là cơ hội để thực hiện đánh giá tác động của chương trình này tới tình trạng nghèo đói – 88 làng được xếp vào nhóm « xử lý », 88 làng được xếp vào nhóm « đối chứng », điều tra hộ gia đình được thực hiện với 6 000 hộ ở ba thời điểm: trước khi triển khai mở rộng, một năm sau triển khai và hai năm sau khi triển khai chương trình.

Ở các làng có thực hiện chương trình, chưa đến 10% cá nhân đồng ý tham gia chương trình tín dụng vi mô. Như vậy, tỷ lệ tham gia là rất thấp so với khu vực thành thị - 60 % cá nhân.

Theo các bạn, tại sao tỷ lệ tham gia thấp như vậy lại gây ra vấn đề khi thực hiện đánh giá tác động?

Lê thị hằng giang

Tỷ lệ tham gia quá thấp sẽ không thể đo được tác động.


Đúng vậy, cỡ mẫu càng nhỏ, kết quả thu được càng ít độ tin cậy.

nguyễn thị Yến

Có phương tiện tính toán nào để xác định được cỡ mẫu đủ lớn để có biên độ dung sai chấp nhận được?

[phùng Đức tùng]

Chúng ta có thể sử dụng cơ sở dữ liệu được lập ra từ trước để đánh giá, cái này tùy thuộc vào yêu cầu đánh giá.

Al Amana: tỷ lệ tham gia (take-up) thấp hơn nhiều so với dự kiến

(1)

(2)

(3)

(4)

Vague 1 Vague 2 Vague 3 Vague 4

Nguồn: (Naudet et al., 2012).

49biểu đồ



Cỡ mẫu quyết định tới độ chính xác trong kết quả đánh giá: cỡ mẫu càng lớn, tác động càng dễ đo. Nếu độ dung sai là 10 %, ta có thể chắc chắn là kết quả chính xác trong 90 % các trường hợp còn lại, nhưng trong 10 % dung sai đó, giá trị đo được có thể sai. Nếu ta thấy chương trình cần đánh giá có mức độ tác động yếu thì cần phải có mẫu cỡ lớn mới có thể đánh giá được. Với chương trình này, ta có mẫu 6.000 người, như vậy, ta có thể hình dung được tác động của chương trình, cụ thể là tiêu dùng hộ gia đình sẽ tăng thêm 20%.

nguyễn Khánh Duy

Làm thế nào để biết được là tác động của chương trình yếu hay không yếu?


Có thể dựa vào kinh nghiệm đã có. Ở đây ta muốn biết tín dụng vi mô có làm tăng tiêu dùng hay không, ở các khu vực thành thị, dịch vụ tín dụng vi mô đã giúp mức tiêu dùng tăng thêm từ 20-30%, như vậy, ta có thể kỳ vọng ở nông thôn, nhờ chương trình, tiêu dùng của người dân có thể tăng thêm 20 %.

Với tỷ lệ tham gia thấp như vậy, nhiều biện pháp đã được đưa ra: bỏ quy định về mức vay đối với phụ nữ; giãn thời gian thanh toán; tổ chức các hoạt động truyền thông và tăng cỡ mẫu.

Các biện pháp này đã giúp tăng tỷ lệ tham gia – từ 17% đến 32%, với nghiên cứu này, chúng tôi cần tỷ lệ tham gia tối thiểu là 26% để thấy được tác động của chương trình. Tuy nhiên, chúng tôi không thấy có tác động nào của chương trình tới tình hình nghèo đói, tiêu dùng hay đa dạng hóa hoạt động.

Chương trình Sky mà chúng tôi đã giới thiệu ở trên là chương trình tín dụng vi mô, do tổ chức GRET khởi xướng, chương trình này nhằm mục tiêu giảm bớt mức độ dễ bị tổn thương của các hộ gia đình nông thôn ở Campuchia (2006-2012). Quá trình thực hiện đánh giá kéo dài, ngân sách lớn – 1 triệu USD cho nghiên cứu đánh giá tác động.

tỷ lệ tham gia, cỡ mẫu và mức độ tác động tối thiểu có thể nhìn thấy được

36bảng

Take-up Rate in Population

Take-up Rate in Sample

Minimum Detectable Effect on Consumption Level

With initial sample (~5000) and prediction model based on Wave 1

outcomes ~17 % ~32% 26%

With final sample (+9 in each village) and new selection model ~17 % ~32% 20%

Nguồn: Bernard (2010).


Chương trình phát cho các hộ gia đình nông thôn phiếu giảm phí bảo hiểm – các phiếu này được phát ngẫu nhiên (theo hình thức xổ số), các hộ gia đình mua bảo hiểm sẽ được giảm phí trong vòng 6 tháng khi sử dụng phiếu này (miễn phí từ 1 đến 6 tháng).

Trong đánh giá này chúng tôi gặp nhiều khó khăn :

- tỷ lệ bỏ, không tham gia bảo hiểm sau khi hết hạn 6 tháng miễn giảm phí là rất cao (vì vậy cần kéo dài thời gian miễn giảm phí);

- tần suất mắc bệnh thấp nên không nhìn thấy tác động của chương trình tới tình trạng vay nợ để chữa bệnh;

- quá ít thông tin về chi tiêu cho y tế của các hộ gia đình nên không thể phân tích được thay đổi trong hành vi chăm sóc sức khỏe.

Tuy nhiên, chúng tôi đã thấy được tác động của chương trình tới điều kiện sống – ví dụ vấn đề về vay và trả nợ – tuy nhiên chỉ có những người nghèo nhất tham gia chương trình bảo hiểm vi mô này, điều này đi ngược với mục tiêu duy trì được một thiết chế bảo hiểm lâu dài, bền vững.

Qua hai đánh giá tác động này ta rút ra được kết luận gì?

Đánh giá tác động đối với đối tượng nào?

Nhóm “xử lý” không mang tính đại diện trong quần thể:

- Al Amana: chỉ những người có xác suất cao nhất tham gia chương trình (tỷ lệ tham gia quá thấp);

- Sky: những người tham gia chương trình bằng phiếu miễn giảm không phải là những người có thể sẽ tham gia chương trình không dùng phiếu;

Như vậy ở đây có “sai số ngẫu nhiên”.

Đánh giá tác động của cái gì?

- Đánh giá tác động của các chương trình được thực hiện trong những điều kiện khác với những điều kiện dự tính cho quy mô lớn.

- Al Amana: chương trình phải điều chỉnh cho phù hợp với điều kiện nông thôn (quy định hạn mức đối với phụ nữ, thời gian hoàn trả phải tính theo lịch nông vụ, vay theo nhóm-vay cá nhân, các biện pháp khuyến khích).

- Sky: vẫn cùng một chương trình (đã được chạy thử) nhưng việc phát phiếu miễn giảm đã làm thay đổi chương trình.

Ở đây ta thấy mức độ tham gia chương trình có sự khác nhau (nội tại), và có quá trình học hỏi của những người tham gia.

Đánh giá tác động tới cái gì?

Về lâu dài, tài chính vi mô có thể có tác động tới mức sống.

- Al Alama: tín dụng vi mô được cấp với các khoản vay nhỏ dẫn tới việc nhiều người được vay hơn, vay nhiều lần hơn, từ đó dẫn tới việc người vay học cách sử dụng các khoản tín dụng này như một chiến lược giảm nghèo.

Những sự kiện có thể có tác động lại quá hiếm hoi nên khó có thể đo được một sự thay đổi đáng kể nào đó.

- Sky: tần suất người mua bảo hiểm bị mắc bệnh hiểm nghèo rất ít.

Thời gian thực hiện đánh giá không trùng với thời gian thực hiện chương trình (hạn chế tác động lây lan).


Điều kiện đầu tiên cần phải thỏa mãn để có thể áp dụng phương pháp ngẫu nhiên là chương trình phải được thực hiện một cách ngẫu nhiên – có thể áp dụng với các chương trình tín dụng vi mô, bảo hiểm vi mô nhưng không thể áp dụng với các dự án hạ tầng. Ngoài ra, tỷ lệ tham gia chương trình phải cao và ổn định, chương trình phải được xác định rõ ràng ngay từ đầu, không có thay đổi gì trong quá trình thực hiện đánh giá. Cuối cùng, tác động mong đợi của chương trình phải xảy ra trong thời gian ngắn.

Đóng góp của phương pháp định tính được Laure Pasquier-Doumer trình bày ngắn gọn. Xin mời độc giả tham khảo kỷ yếu của khóa học mùa hè năm 2010, phần nội dung liên quan đến phân tích đóng góp bổ sung qua lại của hai phương pháp định lượng và định tính (Cling et al., 2011).

Giờ học buổi chiều diễn ra tại hội trường lớn, đại học Đà Lạt với hai bài giảng: bài thứ nhất là những thách thức về khái niệm, thể chế và phương pháp luận của chương trình 135, chương trình xóa đói giảm nghèo (Phùng Đức Tùng), bài thứ hai là về đánh giá tác động trong lĩnh vực tài chính vi mô: thế nào, cho ai và cho cái gì? (do Florent Bédécarats trình bày qua video-conference).

Nội dung đề cập trong bài trình bày thứ nhất đã được xuất bản nhiều lần trong các kỷ yếu hàng năm của khóa học mùa hè, đặc biệt là kỷ yếu 2010, phần nội dung lớn về các chiến lược giảm nghèo (Lagrée et al., 2010); với bài giảng thứ hai, giảng viên đã có một bài báo khoa học mới đăng rất đầy đủ, chúng tôi đề nghị các bạn liên hệ với tác giả để tham khảo thêm (Bédécarats và Lapenu, 2013).

ngày 3, thứ tư ngày 24 tháng 7

Trong buổi sáng, các giảng viên đã nhắc lại các phương pháp đánh giá định lượng ex-post.

Kỹ thuật sử dụng biến công cụ


Có hai thể loại phương pháp đánh giá. Thể loại thứ nhất sử dụng các kỹ thuật thống kê, đó là phương pháp ghép cặp mà chúng tôi đã trình bày, loại thứ hai sử dụng kỹ thuật biến công cụ. Đối với nhóm phương pháp thứ nhất, vấn đề đặt ra là các phương pháp này cho phép ta kiểm soát được tác động của đặc tính cá nhân có thể quan sát, nhưng lại không thể kiểm soát được các sai số liên quan đến các biến không thể quan sát, các biến này có thể có tác động tới xác suất của chương trình và biến kết quả. Còn với nhóm phương pháp thứ hai, có sử dụng các mô hình được gọi là mô hình lựa chọn trên các biến không thể quan sát và hàm ước lượng theo biến công cụ, ta có thể sử dụng các biến có tác động tới lựa chọn nhưng không tác động trực tiếp tới các biến lợi ích Y0 và Y1.

Mô hình lựa chọn trên các biến không thể quan sát có thể ước lượng được nhờ kỹ thuật biến công cụ. Cách đánh giá này nhìn chung vẫn được ưa chuộng hơn vì nó dựa trên các giả thiết định dạng ít khắt khe hơn. Kỹ thuật biến công cụ là một phương pháp được áp dụng phổ biến trong kinh tế lượng và không chỉ áp dụng riêng cho đánh giá tác động.


Theo phương pháp này, có tồn tại một (hay nhiều) biến Z tác động tới xác suất tham gia

chương trình T nhưng không tác động trực tiếp tới kết quả Y.

Nhiều nghiên cứu đã sử dụng kỹ thuật biến công cụ để đo tác động của học vấn tới thu nhập của các cá nhân. Khi đi học, các cá nhân thu nhận được thông tin, điều này sẽ phản ánh theo chuỗi quan hệ nguyên nhân-kết quả tới kết quả của họ trên thị trường lao động – ở đây kết quả chính là tiền lương, thu nhập. Vấn đề quan hệ học vấn-tiền lương là có sai số từ các yếu tố không thể quan sát, trên thực tế, có nhiều yếu tố không thể quan sát, đó là các yếu tố xã hội và môi trường, các yếu tố này tác động đến thời gian học tập của mỗi người. Kỹ thuật biến công cụ giúp giải quyết được sai số này.

Ta có thể kiểm soát được tác động của các yếu tố không thể quan sát, nếu ta tìm được các yếu tố không thể quan sát liên quan đến xác suất đi học nhưng không có tương quan với mức lương của cá thể (Duflo, 2001). Tại Indonesia, ở các vùng nông thôn, xác suất đi học của trẻ em liên quan rất nhiều tới khoảng cách từ nhà đến trường gần hay xa.

Trên thực tế thời gian đi học và khoảng cách tới trường ở khu vực nông thôn có tương quan rất chặt chẽ. Theo Esther Duflo, đây là một biến công cụ tiềm năng vì nó thỏa mãn được điều kiện thứ nhất, và biến này không có tác động trực tiếp tới kết quả, tức là không tác động tới mức lương của cá thể. Tác động có thể có của học vấn tới thành công của một cá nhân được đo bằng mức lương (tương lai) của người đó, tác động này có thể có thông qua kênh truyền dẫn tác động là trường học, cũng như qua việc có mối tương quan chặt chẽ giữa khoảng cách tới trường và thời gian đi học dài hay ngắn. Nhưng khi kiểm soát được yếu tố khoảng cách, chúng ta không còn căn cứ để nghĩ rằng biến này sẽ ảnh hưởng tới mức lương.

Giả sử muốn đo tác động của khóa học mùa hè này tới mức lương tương lai của các bạn, theo các bạn đâu sẽ là biến công cụ? Khóa học này có giúp các bạn kiếm được một mức lương cao hơn không? Có nhất thiết là sẽ có

giả thiết nền tảng về tác động đồng nhất của chương trình

27Khung

(1)

Theo đó, ta thấy các giá trị X, Z không có tác động trực tiếp tới kết quả Y. Đây là một giới hạn loại trừ, không thử nghiệm được.(2) Có tồn tại ít nhất hai giá trị của Z:

Theo đó, ta thấy Z có tác động tới xác suất tham gia chương trình. Giả thiết này có thể thử nghiệm được.


quan hệ nguyên nhân-kết quả giữa khóa học này và sự nghiệp cũng như mức lương của các bạn hay không? Sẽ có tác động nguyên nhân-kết quả của khóa học này tới mức lương của các bạn nếu không có một yếu tố không thể quan sát nào khác gây tác động trực tiếp tới xác suất tham gia khóa học này của các bạn, và tương tự như vậy tới mức lương của các bạn. Nhưng liệu điều này có thể xảy ra hay không?

hoàng thị thu huyền

Có thể có tác động nguyên nhân-kết quả tới thu nhập. Nhưng cần phải xác định một biến công cụ khác ngoài kênh truyền dẫn, ví dụ như điều kiện của khóa học này: điều kiện ăn ở, nội dung các bài giảng có bổ ích hay không và các giảng viên. Các yếu tố này ảnh hưởng tới xác suất tham gia. Qua kênh truyền dẫn tác động của khóa học, tôi sẽ có thêm nhiều kiến thức hữu ích, qua đó tôi có thể có nhiều cơ hội tốt hơn trên thị trường lao động.


Việc tham gia vào khóa học này thực sự có thể có tác động tới công việc của các bạn trong tương lai. Nhưng bạn cũng nhắc tới việc chất lượng tổ chức, điều kiện ăn ở, v.v. có

thể có tác động tới xác suất tham gia của bạn. Cũng có thể có một số người đã quyết định tham gia hay không tham gia vì điều kiện thời tiết, địa lý. Người thì thích trời mưa, người khác thích trời nắng; có người thích vùng núi, người thì lại thích biển! Vậy đã hội tụ đủ các điều kiện để coi yếu tố thời tiết là một biến công cụ hay chưa?

Hiệu quả của khóa học, theo ý kiến bạn là được đo bằng điều kiện ăn ở tiếp đón, có tác động tới khả năng tiếp thu kiến thức, và tới sự nghiệp sau này cũng như khả năng học tập của bạn. Như vậy, điều kiện thứ hai để coi đó là biến công cụ chưa được thỏa mãn.

Quay trở lại đề xuất của tôi về biến công cụ – điều kiện thời tiết – tôi nghĩ rằng điều kiện thứ nhất có thể hội đủ. Điều kiện thứ hai để coi là biến công cụ cũng khó tranh cãi hơn ; ta không thể tự cho rằng sở thích đối với vùng núi hay vùng biển có thể tác động tới mức thu nhập của các bạn trong tương lai.

Tóm lại, ưu điểm của kỹ thuật biến công cụ là có thể kiểm soát được sai số lựa chọn trên các yếu tố quan sát được và các yếu tố không quan sát được, điều này trái ngược với phương pháp ghép cặp matching.

Ưu điểm và hạn chế của phương pháp biến công cụ28Khung

Ưu điểmPhương pháp này không tác động trực tiếp tới kết quả, giúp giải quyết được sai số lựa chọn và các yếu tố không quan sát được có tác động tới kết quả.Phương pháp này không khắt khe bằng phương pháp mô hình lựa chọn.

Hạn chếCần phải xác định được công cụ đáng tin cậy (khả năng biến công cụ có độ tin cậy thấp).Khả năng áp dụng đại trà và đọc kết quả có thể có rủi ro nếu có hiệu ứng Local Average Treatment Effect (LATE).


2.3.5. Lĩnh vực tài chính vi mô trong hoạt động của AFD. Sử dụng các đánh giá tác động như thế nào?

[bertrand Savoye]

Bài trình bày của tôi sẽ quay trở lại những nội dung mà Florent Bédécarrats đã đề cập chiều hôm qua, tôi đặc biệt nhấn mạnh vào khoảng cách hiện nay giữa giới nghiên cứu và những người làm chính sách, hiện tượng này cũng diễn ra trong hoạt động của AFD ở một mức độ nào đó, giữa mối quan tâm của những người làm công tác phát triển và các nhà nghiên cứu. Trong bài này tôi sẽ phân tích ba nội dung:

- lý do tại sao những người làm về phát triển quan tâm nhiều đến những gì dự án thực hiện được hơn là đến kết quả hay tác động của dự án;

- đóng góp của nghiên cứu đánh giá tới chiến lược của AFD trong từng lĩnh vực, đặc biệt là chiến lược trong lĩnh vực tài chính vi mô;

- việc sử dụng kết quả các nghiên cứu đánh giá ex-post và đánh giá tác động mang tính học thuật.

Quan tâm chủ yếu đến các hoạt động thực hiện hơn là đến kết quả và tác động của dự án

Tại AFD, cũng như ở trong giới tài trợ phát triển, phương pháp khung logic được sử dụng để tổ chức dự án chương trình của chúng tôi, chúng tôi dựa trên chuỗi quan hệ nguyên nhân-kết quả có thể có giữa các phương tiện, các hoạt động thực hiện được, kết quả và tác động mong đợi từ các dự án.

Chẳng hạn, với một dự án xây dựng trường học, phương tiện được đưa ra là các khoản tài trợ của AFD ; các hoạt động thực hiện được ở

đây là việc xây dựng phòng học và các công trình khác; kết quả là số lượng học sinh đến trường và tác động của dự án là việc giảm tỷ lệ mù chữ và tăng tỷ lệ đi học.

Trong chuỗi nguyên nhân-kết quả này, mối quan tâm của những người làm dự án chủ yếu hướng đến mắt xích của các hoạt động thực hiện được. Họ dành nhiều thời gian và công sức cho phần này, và đây cũng chính là khâu có thể có nhiều rủi ro nhất. Yếu tố có tính chất quyết định rất lớn là phải đảm bảo rằng các hoạt động dự tính phải thực hiện được, đạt được cả về chất lượng cũng như số lượng.

Lấy ví dụ một dự án xây cầu, yếu tố quan trọng nhất là chất lượng của cây cầu. Khi hoàn thành, nếu thấy rằng không đạt được kết quả hay tác động mong đợi – chẳng hạn tăng lưu lượng giao thông, cải thiện điều kiện sống cho các hộ gia đình hoặc phát triển các hoạt động kinh tế nhờ vào cây cầu – điều này sẽ không gây ra hậu quả lớn cho AFD (hoặc cho bất kỳ một cơ quan tài trợ nào). Ngược lại, nếu chất lượng của cây cầu rất tệ, hoặc nếu việc mời thầu được thực hiện trong những điều kiện có thể gây tranh chấp (vì chúng tôi chủ yếu triển khai dự án ở các nước có nhiều vấn đề về tham nhũng), rủi ro chắc chắn sẽ lớn.

Lý do thứ hai giải thích cho tình trạng thiếu quan tâm tới kết quả và tác động của dự án là việc theo dõi các chỉ số về kết quả và tác động của dự án rất khó thực hiện, vì phải tiếp cận được các nguồn thông tin mà các nguồn thông tin này không phải lúc nào cũng có trực tiếp từ dự án. Thực tế, chúng tôi nhận thấy việc theo dõi kết quả các dự án của AFD nhìn về tổng thể là chưa được, có nhiều lý do : mục tiêu không được xác định đúng đắn từ đầu, các chỉ số kết quả và tác động không


thể đo được một cách thực sự, biện pháp theo dõi các chỉ số đưa ra không thực tế, vì chỉ

dựa vào các dữ liệu chưa từng có hoặc khó có thể tìm được, v.v...

Nhận định về khó khăn trong việc theo dõi kết quả các dự án được kiểm chứng trong lĩnh vực tài chính vi mô. Năm 2009, AFD có mặt trong danh sách xếp hạng Smart aid for microfinance index, dự án này được CGAP thực hiện, đây là tổ chức đánh giá tín nhiệm các nhà tài trợ trong lĩnh vực tài chính vi mô theo chín chỉ số. AFD đạt điểm cao hơn số điểm trung bình của mười cơ quan tài trợ với 8/9 chỉ số. Điểm của AFD đặc biệt cao trong những đóng góp nghiên cứu cung cấp kiến thức học thuật. Ngược lại, phần giám sát dự án và kiểm điểm danh mục dự án là hai khâu được điểm thấp hơn rất nhiều so với mức điểm của các cơ quan tài trợ khác.

Từ thực tế này, năm 2011, AFD đã tiến hành rà soát, kiểm điểm danh mục các dự án tài chính

vi mô, hoạt động này do một cơ quan độc lập thực hiện, cùng với sự phối hợp của CGAP, hai cơ quan này đã phân tích một số công cụ đặc thù (các điều kiện đảm bảo ARIZ, các khoản cho vay hoặc tham gia của chi nhánh Proparco trong mảng tài chính cho khu vực tư nhân) và phân tích cụ thể từng dự án trong số 26 dự án thực hiện.

Việc cho điểm các dự án này tập trung vào ba tiêu chí dễ xác định nhất: xác đáng, hiệu năng và bền vững, ở đây tính bền vững của dự án được xét trên hai tiêu chí là lâu dài và tự chủ tài chính. Tiêu chí hiệu quả là tiêu chí phụ, vì đôi khi mục tiêu của dự án không được xác định một cách rõ ràng; còn tác động của dự án không được xét là tiêu chí tính điểm do không có thông tin đầy đủ.

thực tế đã kiểm chứng trong lĩnh vực tài chính vi mô

mứctrung bình

Nguồn: Nhóm tư vấn hỗ trợ người nghèo (CGAP).

50biểu đồ


Đóng góp của các nghiên cứu đánh giá học thuật trong việc xác định chiến lược tài chính vi mô của AFD

Trước khi nhắc đến đặc thù của lĩnh vực tài chính vi mô, chúng ta sẽ xem xét cách xây dựng chiến lược chung của AFD trong các lĩnh vực khác nhau. Các thông tin thu được từ những nghiên cứu đánh giá về hiệu quả và tác động của các dự án tài trợ chỉ là một trong những tham số hỗ trợ cho việc xây dựng chiến lược hoạt động của một cơ quan phát triển như AFD. Xét về logic, sẽ cần phải tính đến nhiều tham số khác nữa:

- nhu cầu của các nước hoặc các cơ quan đối tác;

- năng lực thực hiện dự án của các nước, đôi khi yếu tố này dẫn tới việc tránh hoặc rút khỏi một số lĩnh vực cho dù đó là những lĩnh vực thiết yếu cho phát triển, hoặc thậm chí chỉ tập trung dự án vào khu vực xã hội dân sự khi mà năng lực quản lý của các nước còn quá yếu kém. Chẳng hạn, việc phân bổ dự án tài chính vi mô trong danh mục dự án của AFD cho các nước đang thoát khỏi khủng hoảng có nguyên nhân từ những khó khăn trong việc đầu tư tài chính cho các dự án công của các nước này;

- vị trí của các cơ quan phát triển khác ;- năng lực và phạm vi quan tâm của AFD hay

rộng hơn là phạm vi quan tâm của Pháp, v.v...

AFD triển khai các dự án tài chính vi mô đầu tiên vào năm 1988. Thách thức lớn nhất vào thời điểm bấy giờ là làm sao tìm được một phương tiện thay thế cho các ngân hàng phát triển nông nghiệp châu Phi, phần lớn các ngân hàng này đều đã phá sản. Nhiều mô hình đã được hỗ trợ: các mạng lưới phường hội, quỹ tự chủ quản lý ở các làng, mạng lưới

tự quản lý và ngân hàng vi mô, mô hình ngân hàng vi mô này chủ yếu là các thiết chế tài chính vi mô được thành lập theo hình thức cổ phần. Trong lĩnh vực này, một bước ngoặt chiến lược quan trọng đã diễn ra vào đầu những năm 2000, sau khi AFD thực hiện kiểm toán nội bộ, xem xét lại các dự án liên tiếp thất bại trong lĩnh vực tài chính vi mô nông thôn, đặc biệt trong khuôn khổ hợp phần của các dự án tổng thể. Bước ngoặt này được thể hiện bằng những quyết định và định hướng quan trọng sau đây:

- thành lập một bộ phận chuyên trách, vì trước đây việc theo dõi giám sát chủ yếu do trưởng dự án kiêm nhiệm;

- dành ưu tiên cho mục tiêu bền vững về tài chính cho các thiết chế tài chính vi mô (IMF);

- tập trung vào các dự án tài chính vi mô ở khu vực đô thị, duy trì các mô hình đã hoạt động tốt có kinh nghiệm, song song với việc thành lập các thiết chế tài chính vi mô mới theo hình thức công ty và loại bỏ dần hình thức tổ chức theo kiểu « cơ cấu dự án » và các quỹ tiết kiệm tín dụng nhưng ở mức độ ít hơn;

- các hình thức cung cấp tài chính mới, bên cạnh hình thức tài trợ có thêm hình thức cho vay.

Bắt đầu từ năm 2007, nhiều hoạt động, dự án được tăng cường trên cơ sở kết quả rà soát dự án thực hiện năm 2006, kết luận của đợt rà soát đó cho thấy lợi thế so sánh của AFD đối với các cơ quan khác là AFD có hiểu biết thực sự về các nước đối tác, có nguồn nhân lực tốt và khả năng đáp ứng nhiều nhu cầu tài chính khác nhau của các thiết chế tài chính vi mô.

Cuối cùng, AFD đã có những điều chỉnh mới về chiến lược sau khi rà soát lại danh mục dự án tài chính vi mô thực hiện năm 2011 đã


được nhắc tới ở trên. Sau đợt rà soát này, trên tổng số 26 dự án, 20 dự án được đánh giá là xác đáng, phù hợp, 18 dự án được đánh giá là lâu dài, 7 dự án được đánh giá là đảm bảo hiệu năng và 14 dự án hiệu quả. Tổng kết lại,

có sáu dự án bị đánh giá là chưa được, ba dự án có thể tạm chấp nhận, chín dự án khá tốt và tám dự án tốt. Không dự án nào được xếp vào diện tồi hay xuất sắc.

Việc cho điểm các dự án này tập trung vào ba tiêu chí dễ xác định nhất: xác đáng, hiệu năng và bền vững, ở đây tính bền vững của dự án được xét trên hai tiêu chí là lâu dài và tự chủ tài chính. Tiêu chí hiệu quả là tiêu chí phụ, vì đôi khi mục tiêu của dự án không được xác định một cách rõ ràng; còn tác động của dự án không được xét là tiêu chí tính điểm do không có thông tin đầy đủ.

Sau đợt rà soát danh mục các dự án này, năm khuyến nghị mạnh mẽ đã được đưa ra, và phần lớn đã được triển khai từ năm 2012, thể hiện một sự tái định hướng chiến lược thực sự:

- tăng số lượng dự án tài chính vi mô nông thôn (2/3 số dự án từ năm 2011 và phần lớn

các dự án đang được xem xét là các dự án trong lĩnh vực này);

- hỗ trợ xây dựng hạ tầng thị trường (hỗ trợ tài chính cho các hiệp hội tổ chức tài chính vi mô, như trường hợp của Campuchia, hoặc các sáng kiến chia sẻ kinh nghiệm tốt);

- hướng các dự án tài trợ lâu dài tới các tổ chức tài chính vi mô quy mô vừa (xây dựng một công cụ hỗ trợ cho các tổ chức tài chính vi mô quy mô nhỏ);

- khuyến khích các dự án có tính đổi mới (ví dụ dự án hỗ trợ mới đây cho mô hình ngân hàng lưu động);

- xây dựng triết lý về tài chính vi mô có trách nhiệm (ví dụ xây dựng bộ tiêu chí chấm điểm về tác động môi trường và xã hội của các dự án).

tiêu chí cho điểm

Tính xác áng c a d án M c tiêu th ng nh t, h c theo các kinh nghi m t t, ch t l ng i t ng th h ng, l a ch n công c

Hi u n ng c a d án

c a d án

úng h n, úng ti n Ch t l ng báo cáo và giám sát

Hi u qu

Th c hi n c các công vi c ra, t c m c tiêu, thanh toán các kho n vay úng h n, tuân th các cam k t

Tổng điểm

T ng i m cu i cùng

i t ng th h ng b n v ng PAR30, n ng su t, t l t túc c l p, quy mô, kh n ng t ng tr ng…


28Sơ đồ


Sử dụng kết quả của những đánh giá ex-post và những đánh giá tác động mang tính học thuật

Đối với AFD, chúng tôi đưa ra bốn mục tiêu chính khi thực hiện một nghiên cứu đánh giá: xem xét hiệu quả trong sử dụng nguồn vốn (trách nhiệm giải trình) ; góp phần nâng cao kinh nghiệm thực hiện dự án (tích lũy, chia sẻ kinh nghiệm); tham gia xây dựng kiến thức học thuật; thiết lập đối thoại đối tác với các tác nhân khác nhau tham gia vào dự án.

Từ năm 2007, cơ chế đánh giá ex-post do một cơ quan độc lập thực hiện đã được áp dụng đối với tất cả các dự án. Công tác đánh giá độc lập này được thực hiện trong thời gian từ 6 đến 18 tháng sau khi dự án hoàn thành về mặt kỹ thuật. Khoảng 50 dự án được đánh giá mỗi năm, trong đó có khoảng 3,4 dự án trong lĩnh vực tài chính vi mô. Mặc dù cơ chế đánh giá này được đưa ra nhằm thực hiện các mục tiêu đã nhắc đến ở trên, nhưng mục tiêu chủ yếu vẫn là đảm bảo nguyên tắc trách nhiệm giải trình và đối thoại giữa các đối tác trong thực hiện dự án. Ngược lại, với mục tiêu thứ hai là tích lũy chia sẻ kinh nghiệm, những đánh giá này không đóng góp được gì nhiều.

Ngoài ra, AFD cũng đã thực hiện khoảng mười đánh giá tác động mang tính chất học thuật, trong số đó có bốn đánh giá liên quan đến lĩnh vực tài chính vi mô hoặc các lĩnh vực có liên quan: dự án tài chính vi mô AdéFI ở Madagascar (2005); dự án tài chính vi mô Al Amana ở Ma rốc (2011); dự án bảo hiểm y tế vi mô Sky ở Campuchia (2012) và cho vay hỗ trợ sinh viên ở Nam Phi (2011).

Chúng ta có thể rút ra bài học gì từ những đánh giá tác động này?

Mục tiêu đảm bảo nguyên tắc giải trình xem ra khó thực hiện. Trước hết là vì tác động của dự án thường được đo trong ngắn hạn, ở thời điểm các dự án còn trong giai đoạn khởi động, sản phẩm đưa ra chưa ổn định, trong khi tác động của tín dụng vi mô tới phát triển chỉ có thể thấy được về lâu về dài. Thứ hai, đối tượng mục tiêu đánh giá không phải lúc nào cũng mang tính đại diện cho cộng đồng những người thụ hưởng dự án. Chẳng hạn, với dự án Al Amana, các cá thể đánh giá ở đây là những người có xác suất được vay vốn cao nhất ; còn đối với dự án Sky, đó lại là những người bị hấp dẫn bởi các biện pháp ưu đãi.

Ngược lại, mục tiêu đóng góp vào xây dựng kiến thức học thuật lại đạt kết quả đối với phần lớn các trường hợp. Đánh giá tác động mang tính học thuật của dự án Al Amana đã giúp nâng cao hiểu biết về những trở ngại trong lĩnh vực tín dụng vi mô ở các vùng nông thôn. Còn đánh giá dự án án Sky đã cho thấy có xê dịch rất lớn về nhu cầu bảo hiểm y tế vi mô tùy thuộc vào mức phí. Đánh giá dự án này cũng cho phép xác định chính xác hơn các tác động về kinh tế (nhanh và mạnh), và các tác động đối với thói quen, hành vi chăm sóc sức khỏe của người dân (không thật rõ ràng), và tìm ra được các yếu tố có vai trò quyết định tới việc tham gia hay không tham gia bảo hiểm (cảm nhận về rủi ro, ảnh hưởng từ gia đình và cộng đồng).

Tựu chung lại, những kết quả thu được từ những đánh giá tác động mang tính chất học thuật do AFD thực hiện về cơ bản còn khá mơ hồ, không củng cố thêm cũng không làm yếu đi vị trí của AFD trong lĩnh vực này: tác động tới giảm nghèo không thực sự rõ rệt nhưng tác động tới phát triển hoạt động kinh tế lại có thể thấy rõ. Trong lĩnh vực này, ngoài những nghiên cứu do chính mình


thực hiện, AFD còn tham khảo thêm rất nhiều nghiên cứu đánh giá tác động mang tính chất học thuật đã được thực hiện trong khoảng 20 năm trở lại đây, và phần lớn các đánh giá đó đều kết luận rằng các dự án thực hiện đều có tác động tích cực.

Những lý do dẫn tới việc các dự án đang dần chuyển hướng khỏi lĩnh vực tài chính vi mô là xuất phát từ nguồn, tức là ở giai đoạn tổ chức thực hiện dự án, điều này đã được nhắc đến ở ngay phần đầu của bài trình bày này: chẳng hạn, ta có thể nghĩ tới những rủi ro bê bối tài chính, các trường hợp phá sản gây thiệt hại cho người gửi tiền, hoặc thậm chí tồn tại những mối quan hệ quá chặt chẽ giữa một số cơ quan thực hiện.

Bài trình bày của Phùng Đức Tùng kết thúc ngày học thứ ba. Bài giảng này nhằm giúp học viên học cách chuyển từ câu hỏi nghiên cứu thành bảng hỏi điều tra – chương trình xóa đói giảm nghèo 135 được sử dụng làm đối tượng nhận xét.

Trong hai ngày học cuối cùng, các học viên chia thành nhóm làm bài tập (trong ba buổi) và chuẩn bị báo cáo thu hoạch để trình bày trước cả khóa học vào sáng thứ bảy (một buổi).Nhóm 1. Thực hiện đánh giá một chương trình tín dụng vi mô ở Bangladesh – cơ sở dữ liệu điều tra 826 hộ gia đình tham gia và không tham gia, thực hiện năm 1991 và 1998.

Bài tập: sử dụng phần mềm Stata và xử lý dữ liệu (tổng hợp dữ liệu trung bình theo năm, tuổi, giới tính, trình độ học vấn, chi tiêu của các biến sau đây cho hai năm 1991 và 1998: tuổi, giới tính, trình độ học vấn, chi tiêu của các biến sau đây cho hai năm 1991 và 1998: tuổi, giới tính, trình độ học vấn, chi tiêu của hộ gia đình theo trình độ học vấn, v.v...); phương pháp tiếp cận thống kê đánh giá tác động của chương trình bằng phương pháp khác biệt kép và ghép cặp, sau đó áp dụng phương pháp ghép cặp. Đọc kết quả đánh giá phi thực nghiệm.Nhóm 2. Thực hiện các bước chuẩn bị trong phân tích dữ liệu theo các nội dung được trình bày qua các bài giảng và đọc kết quả. Dữ liệu của bài tập là chương trình tài chính vi mô Adéfi của Madagascar.Bài tập: xác định các phương pháp có thể sử dụng đối với loại đánh giá này, chuyển các vấn đề phương pháp luận thành bảng hỏi.Các nhóm trình bày kết quả của nhóm mình trước cả lớp.

Bài đọc (www.tamdaoconf.com)

Cling J-P., Razafindrakoto M., Roubaud F. (2008) L’évaluation d’impact des politiques : enjeux, méthodes, résultats, in Lagrée St. (éditeur) Nouvelles approches méthodologiques appliquées au développement (2), Les Journées de Tam Đảo, université d’été en sciences sociales

Collection Conférences et Séminaires, AFD-ÉFEO.


tài liệu tham khảo chọn lọc

BEDECARRATS, F., C. LAPENU (2013), « Évaluer l’impact de la microfinance : bilan des pratiques et proposition pour une approche mixte », Techniques Financières et Développement (113).

BERNARD, T. (2010), “Rural Micro-finance in Morocco: Lessons from an on-going Randomized Study“, Presented at the International Conference “The Informal Sector and Informal Employment, Statistical Measurement, Economic Implications and Public Policies”, 6-7 May, Hanoi (Vietnam).

CLING, J-P, C. CULAS, M. RAZAFINDRAKOTO, F. ROUBAUD (2011), « Comment la transition économique est-elle vécue et perçue par la population ? Analyse de la complémentarité entre approches quantitatives et qualitatives », in LAGREE, S. (ed. scientifique), Collection Conférences et Séminaires, n° 2, AFD-ÉFEO.

DEHEJIA, R., S. WAHBA. (1999), “Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Programs“, Journal of the American Statistical Association, 94, 1053-1062.

DUFLO, E. (2001), “Schooling and Labor Market Consequences of School Construction in Indonesia: Evidence from an Unusual Policy Experiment“, American Economic Review, 91(4), 795-814.

DUPAS, P. (2008), « Pourquoi randomiser, Pourquoi l’évaluation d’impact est-elle plus difficile qu’il n’y paraît ? », Support de la Formation J-PAL Europe, Évaluation de politiques sociales ENS, Paris

GLEWWE, P., M. KREMER, S. MOULIN (2004), “Textbooks and Test Scores: Evidence from a Prospective Evaluation in Kenya“, Mimeo, Harvard University.

HECKMAN, J., H. ICHIMURA, P. TODD (1997), “Matching as an Econometric Evaluation Estimator: Evidence from Evaluating a Job Training Programme“, Review of Economic Studies, 64, 605-654.

LAGREE, St., J-P. CLING, M. RAZAFINDRAKOTO, F. ROUBAUD (eds scientifiques) (2010) Stratégies de réduction de la pauvreté : approches méthodologiques et transver sales, Maison d’édition Tri Thuc, Hanoi (ouvrage également disponible en vietnamien, téléchargements gratuits des deux versions sur le site www.tamdaoconf.com)

LALONDE, R. (1986), “Evaluating the Econometric Evaluations of Training Programs“, American Economic Review, 76, 604-620.

NAUDET, J-D., J. DELARUE, T. BERNARD (2012) “Impact Evaluations: A Tool for Accountability?“ Lessons from Experience, Conférences et Séminaires, n° 5, AFD.

ROSENBAUM, P., D. RUBIN. (1983), “The Central Role of the Propensity Score in Observational Studies for Causal Effects“, Biometrika, 70, pp. 41-55.

RUBIN, D. (1974), “Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies“. Journal of Educational Psychology. 66 (5): 688–701.

SMITH A. J., P-E. TODD (2005) “Does Matching Overcome Lalonde’s Critique of Nonexperimental Estimators?“ Journal of Econometrics, 125(1-2):305–353.


Họ và tên Cơ quan Chuyên ngành Chủ đề nghiên cứu Email

Bùi Đức Phi Hùng

Viện Khoa học Xã hội vùng Trung Bộ Kinh tế phát triển

Thách thức, cơ hội và nguy cơ trong phát triển

kinh tế

[email protected]

Bùi Thị Hương Trầm

Viện nghiên cứu gia đình và giới Kinh tế

Đánh giá tác động của quá trình công nghiệp

hóa-hiện đại hóa tới kinh tế hộ gia đình

[email protected]

Đặng Viết Đạt Học viện chính trị và hành chính khu IV Hành chính công

Đánh giá hiệu quả chính sách hỗ trợ tài chính cho doanh nghiệp nhỏ và vừa

[email protected]

Đỗ Thị NgânViện nghiên cứu

phát triển bền vững Vùng

XHH, phát triển bền vững

Tác động của chương trình xây dựng nông thôn mới tới mức sống người dân

[email protected]

Đỗ Thu Trang Viện nghiên cứu phát triển Mêkông Phát triển Giáo dục [email protected].

vn

Emorine Marine (học viên tự do)

Trung tâm nghiên cứu phát triển

(CERDI)Kinh tế phát triển Nghèo đa chiều, quản trị

công, bất bình đẳng xã hội marine.emorine@

gmail.com

Hoàng Thị Thu Huyền

Viện Khoa học Xã hội vùng Nam Bộ Kinh tế phát triển

Tích lũy tư bản ở nông thôn, tác động tới

kinh tế và các vấn đề xã hội

[email protected]

Lê Nguyễn Duy Oanh

Viện nghiên cứu phát triển Kinh tế

Các biện pháp phòng ngừa rủi ro cho các doanh

nghiệp Viêt Nam

[email protected]

Lê Thị Hằng Giang

Đại học bách khoa TP Hồ Chí Minh Kinh tế Chỉ số phát triển du lịch

bền vững [email protected]

Leav Meng Đại học Jean-Moulin Lyon 3 Luật Tài chính doanh nghiệp

nhỏ và vừa tại Campuchiameng_sciencepo@

yahoo.com

Ngô Văn Huấn Đại học Đà Lạt Xã hội học, chính sách công

Đánh giá chính sách, an sinh xã hội

[email protected]

Ngô Văn Thạo Trường Cao đẳng Bến Tre

Kinh tế và nông nghiệp

Hợp tác xã trong sản xuất nông nghiệp, xóa đói

giảm nghèo

[email protected]

Nguyễn Khánh Duy Đại học Kinh tế Kinh tế phát triển

Tác động của đầu tư vào vốn con người tới

năng suất của các doanh nghiệp nhỏ và vừa ở

Việt Nam

[email protected]

Nguyễn Lê Hải Ly

Học viện Khoa học Xã hội Thương mại quốc tế Kinh tế, tài chính [email protected]

Nguyễn Thị Phương Thảo Đại học Đà Lạt Kinh tế, quản trị

kinh doanh Kinh tế, tài chính [email protected]

Nguyễn Thị Yến Đại học kinh tế và quản trị kinh doanh Kinh tế phát triển

Tài chính vi mô, kinh tế nông nghiệp, phát triển nông thôn, nghèo đói và

bất bình đẳng

[email protected]

Danh sách học viên


Họ và tên Cơ quan Chuyên ngành Chủ đề nghiên cứu EmailNguyễn Văn

Anh Đại học Đà Lạt Kinh tế, quản trị kinh doanh Kinh tế, tài chính vananhdhdl@gmail.

com

NY VichetĐại học luật và khoa học kinh tế hoàng

gia Campuchia Luật Sở hữu trí tuệ và phát triển

kinh tế [email protected]

Phạm Minh Tiến Đại học Kinh tế Kinh tế phát triển Nghèo đói và tài chính vi mô

[email protected]

Phạm Thị Thùy Trang

Đại học Khoa học xã hội và Nhân văn Xã hội học Phương pháp định lượng,

xã hội học

phamthuy-trang1810@gmail.

com

Phạm Trương Hương Giang

Viện Khoa học Xã hội vùng

Trung Bộ Kinh tế Rủi ro tài chính, dân số

nông thôn slim_river2505@

yahoo.com

PHAY Chantha

Đại học luật và khoa học

kinh tế hoàng gia Campuchia

LuậtKhái niệm bảo đảm

động sản trong quy định của pháp luật Campuchia

[email protected]

Vũ Thị Thư Thư Trung tâm phân tích và dự báo Kinh tế Doanh nghiệp đối phó

với khủng hoảng [email protected]

Vũ Thị Vân Ngọc Trung tâm phân tích và dự báo Kinh tế Mạng xã hội vanngoc206@gmail.

com

2.3. Đánh giá tác động: các phương pháp và ứng dụng trong ... · lớn để nghe...

Documents