Đị ượng nhiê cnghiên c ứu kh hkhoa họchoangtrang/writting/dinh luong... · 1 2012. m...

Đị h l N hiê Cứ Kh HĐịnh lượng Nghiên Cứu Khoa HọcHoàng Trang

h @h [email protected]@gmail.com

201211

Mục tiêu động lựcMục tiêu – động lực

1. Chia sẻ thông tin, trao đổi thêm

ầ ể-> góp 1 phần vào sự phát triển hơn nữa của

bộ môn, khoa, nhà trường

2. Từ các buổi trao đổi với các đồng nghiệp, từ kinh nghiệm bản thân

Hoàng Trang 2012 2

Nội dungNội dung

1. Nghiên cứu khoa học

2. Các chỉ số

3. Chỉ số trích dẫn – đặc điểm – bình luận

4 Chỉ số ảnh hưởng IF – đặc điểm – bình luận4. Chỉ số ảnh hưởng IF đặc điểm bình luận

5. Chỉ số H– đặc điểm – bình luận

6 Kết l ậ6. Kết luận

Hoàng Trang 2012 3

Tài liệu tham khảo chínhTài liệu tham khảo chính1. Robert Adler, John Ewing, Peter Taylor, “Citation Statistics”, Joint Committee on Quantitative Assessment of Research, June 2008

ế ồ2. “Đánh giá định lượng kết quả nghiên cứu khoa học”, Hồ Tú Bảo, Trường Khoa học Tri thức, Viện Khoa học và Công nghệ Tiên tiến Nhật Bản3. Kulkarni A.V et al, “Comparisons of Citations in Web of Science, Scopus, and Google Scholar for Articles Published in General Medical Journals” The Journal of the AmericanScholar for Articles Published in General Medical Journals , The Journal of the American Medical Association. 4. Althouse B.M et al “Differences in Impact Factor Across Fields and Over Time”, Journal of the American Society for Information Science and Technology, 20085 E G fi ld “Th A d th E t Th Hi t d M i f th5. Eugene Garfield, “The Agony and the Ecstasy- The History and Meaning of the Journal Impact Factor”, Chairman Emeritus, Thomson ISI (International Congress on Peer Review And Biomedical Publication Chicago, September 16, 2005)6. Các bài trình bày của GS.Nguyễn Văn Tuấn: hội nghị tại TP.HCM, 2010 do WB2 tài6 Các bà bày của GS guyễ ă uấ ộ g ị ạ C , 0 0 do àtrợ, các trình bày tại ĐHQG TP.HCM, website: nguyenvantuan.net7. http://isiwebofknowledge.com, http://wokinfo.com/about/whoweare/

8. Google scholar http://scholar.google.com/

Hoàng Trang 2012 4

g p g g

Nghiên Cứu Khoa Học?1. Nghiên cứu cơ bản: tìm tri thức khoa học nền tảng

Nghiên Cứu Khoa Học?Sản phẩm: chủ ế ấ hẩkhoa học nền tảng

Ví dụ: công trình của GS Ngô Bảo Châu

2. Nghiên cứu ứng dụng: tìm tri thức

yếu: ấn phẩm khoa học:

các bài báo báo2. Nghiên cứu ứng dụng: tìm tri thức khoa học mới, cần cho nhu cầu thực tiễnVí dụ: cách đo nhiệt độ trong môi trường độc

các bài báo, báo cáo kỹ thuật, giáo trình, bằng sáng ếVí dụ: cách đo nhiệt độ trong môi trường độc

hại (từ trường cao, phóng xạ…), cách xem xét ung thư tuyến tiền liệt mà không cần sinh thiết

chế, …

thiết,…

3. Nghiên cứu phát triển: tìm tri thức mới để tạo ra các sản phẩm cụ thể

Sản phẩm: nằm trong sản phẩm

Hoàng Trang 2012 5

mới để tạo ra các sản phẩm cụ thểVí dụ: Iphone4,….

trong sản phẩm của doanh nghiệp,…

Nghiên Cứu Khoa Học?3. Nghiên cứu phát triển: tìm tri thức mới để tạo ra các sản phẩm cụ thể

Nghiên Cứu Khoa Học?Sản phẩm: nằm trong sản phẩmmới để tạo ra các sản phẩm cụ thể

Ví dụ: Iphone4,….trong sản phẩm của doanh nghiệp,…g ệp,

Định lượng, đánh giá? Định lượng, đánh giá?

• Sự quan tâm của người tiêu dùng,

• Bằng sáng chế sở hữu trí tuệ• Bằng sáng chế, sở hữu trí tuệ

• Doanh thu,

Hoàng Trang 2012 6

• …..

Nghiên Cứu Khoa Học?1. Nghiên cứu cơ bản: tìm tri thức khoa học nền tảng

Nghiên Cứu Khoa Học?Sản phẩm: chủ yếu: ấn phẩmkhoa học nền tảng

2. Nghiên cứu ứng dụng: tìm tri thức khoa học mới cần cho nhu cầu thực

yếu: ấn phẩm khoa học: các bài báo, báo cáo kỹkhoa học mới, cần cho nhu cầu thực

tiễnbáo, báo cáo kỹ thuật, giáo trình, bằng sáng chế…

Đánh giá????

Hoàng Trang 2012 7

Đánh giá 1 nghiên cứu khoa học? g gQua ấn phẩm khoa học

1.Đánh giá qua số lượng

2.Đánh giá qua chất lượng:

+ đánh giá định tính: peer review+ đánh giá định tính: peer review

=> Ưu: phân tích sâuĐịnh lượng Nghiên Cứu Khoa Học

Nhược: tốn thời gian, chủ quan (phụ thuộc vào hiểu biết của reviewer)

+ đánh giá định lượng:

=> nhanh chóng khách quan hơn

Hoàng Trang 2012 8

=> nhanh chóng, khách quan hơn

vẫn còn sai sót!

Các cách đo (metrics)Các cách đo (metrics)

+ Chỉ số trích dẫn (citation index)+ Chỉ số ảnh hưởng (impact factor)+ Chỉ số H (H index)+ Chỉ số H (H-index)

….ố+ Chỉ số G (G-index)

+ Chỉ số riêng (eigen value)…..

Hoàng Trang 2012 9

Cách đo: đo cho ai/cái gì? & đo gì?

+ Chỉ số trích dẫn (citation index)

Cách đo: đo cho ai/cái gì? & đo gì?


+ Chỉ số ảnh hưởng (impact factor) + 1 ấn phẩm khoa học

+ Chỉ số H (H-index) + 1 tạp chí….+ Chỉ số G (G-index) + 1 tác giả


Hoàng Trang 2012 10

Bắt đầu với chỉ số nào?


Bắt đầu với chỉ số nào?


+ Chỉ số ảnh hưởng (impact factor)

+ Chỉ số H (H-index)Chỉ số trích dẫn (citation index)

….+ Chỉ số G (G-index)

Chỉ số trích dẫn (citation index)



Chỉ ố t í h dẫ hâ tí hĐịnh nghĩa: Phân tích chỉ số trích dẫn (Citation Analysis)

tê khá “C ti it ti ” á t ì h ét ả h h ở /

Chỉ số trích dẫn- phân tích

-> tên khác “Counting citation” quá trình xem xét ảnh hưởng/ “chất lượng” của 1 ấn phẩm (publication) bằng cách ĐẾM số lần mà các tác giả (ấn phẩm khác) đề cập. g ( p ) p

Lịch sử: do Eugene Garfield đề xuất năm 1955

Dùng đánh giá “hữu xạ tự nhiên hương”

Hoàng Trang 2012 12Source: google scholar http://scholar.google.com/

Chỉ ố t í h dẫ l ý1. Lưu ý 1: chỉ có tính chất trong từng ngành khoa học

Chỉ số trích dẫn- lưu ý

Hoàng Trang 2012 13Source: Robert Adler, John Ewing, Peter Taylor, “Citation Statistics”, Joint Committee on Quantitative Assessment of Research, June 2008

Chỉ ố t í h dẫ l ý

1 Lưu ý 1: chỉ có tính chất trong từng ngành khoa học

Chỉ số trích dẫn- lưu ý

1. Lưu ý 1: chỉ có tính chất trong từng ngành khoa học

Tại sao? d đặ điể từ à h iê biệtdo đặc điểm từng ngành riêng biệt:

Ví dụ: + Computer: do nhiều người nghiên cứu (-> nhiều ấn

phẩm khoa học), tham khảo: mà không công bố+ có ngành có ảnh hưởng nhiều năm sau đó, hoặc chỉ

trong 1 thời gian ngắntrong 1 thời gian ngắn+ ….

=> So sánh trong cùng 1 ngành


=> So sánh trong cùng 1 ngành

Chỉ số trích dẫn Lưu ý: tính toán ??Lưu ý 2: Chỉ số trích dẫn: cùng 1 ấn phẩm khoa học

Chỉ số trích dẫn- Lưu ý: tính toán ??

-> chỉ số trích dẫn khác nhau

Q: Tại sao?ạ

=> A: Làm sao tính toán?

Đếm: dễ ? => !???Đếm: dễ ? => !???

D t ê á ở dữ liệ khá h+ Dựa trên các cơ sở dữ liệu khác nhau:

Web of Science (ISI) / Scopus / Google Scholar / PubMed / MathSciNet / EBSCO databases / ScienceDirect /


PubMed / MathSciNet / EBSCO databases / ScienceDirect / U.S. Patent and Trademark Office Databases

Chỉ số trích dẫn- Cơ sở dữ liệu:

1. Web of Science (ISI)+SCI (Science Citation Index): từ 1964 3773 tạp chí của 100

ISI (Web of Science)

+SCI (Science Citation Index): từ 1964, 3773 tạp chí của 100ngành; SCIE (SCI mở rộng, Science Citation IndexExpanded) với 8060 tạp chí chính của 173 ngành.+SSCI (Social Sciences Citation Index): từ 1973 hiện có 2697+SSCI (Social Sciences Citation Index): từ 1973, hiện có 2697tạp chí và 3500 công trình của 55 ngành;+A&HCI (Arts & Humanities Citation Inde): từ 1978, hiện có1470 tạp chí và 6000 công trình khác.+ CPCI (Conference Proceedings Citation Index): 110,000tuyển tập 256 ngành khoa học tự nhiên, xã hội nhân văntuyển tập 256 ngành khoa học tự nhiên, xã hội nhân văn+ Index Chemicus:> 2.6 triệu compounds (to 1993).

+ Current Chemical Reactions:> 1 triệu reactions+ Chuyển lên mạng (1997): Web of Science Web of Knowledge


+ Chuyển lên mạng (1997): Web of Science, Web of KnowledgeSource: “Đánh giá định lượng kết quả nghiên cứu khoa học”, Hồ Tú Bảo, Trường Khoa học Tri thức, Viện Khoa học và Công nghệ Tiên tiến Nhật Bản (có chỉnh sửa, cập nhật)http://isiwebofknowledge.com, http://wokinfo.com/about/whoweare/


2. Scopus

Chỉ số trích dẫn Cơ sở dữ liệu: Scopus

p2.1 + Gần 18,000 titles từ hơn 5,000 nhà xuất bản quốc tế:

. 16,500 peer-reviewed journals ( > 1,200 Open Access journals)

. 600 ấn phẩm nghề nghiệp (trade publications)

. 350 loạt sách chuyên khảo (book series)

. 3.6 triệu bài báo hội nghị+ 40 triệu records

2.2. Cho kết quả, có xem xét:+ 435 triệu scientific web pages + 23 triệu patents từ 5 patent offices (US Patent and Trademark Office+ 23 triệu patents từ 5 patent offices (US Patent and Trademark Office, European Patent Office, Japan Patent Office, World Intellectual Property Organization and UK Intellectual Property Office) + "Articles-in-Press" từ hơn 3 000 journals


+ Articles in Press từ hơn 3,000 journals.…http://www.info.sciverse.com/scopus/about


3. Google Scholar

Chỉ số trích dẫn Cơ sở dữ liệu: Google Scholar

g

http://scholar.google.com

Không thấy công bố cơ sở dữ liệuKhông thấy công bố cơ sở dữ liệu

ý ủ ấ ề ề f S Sý chủ quan: rất nhiều, nhiều hơn Web of Science, Scopus

Hoàng Trang 2012 18http://scholar.google.com

Chỉ số trích dẫn- sự khác nhau do Cơ sở dữ

2. Chỉ số trích dẫn: cùng 1 ấn phẩm khoa học > chỉ số trích dẫn khác nhau

liệu- lưu ý 2-> chỉ số trích dẫn khác nhauVí dụ: source *Objective To compare the citation count profiles of articles published in general medical journals among the citation databases of Web of Science, Scopus, and Google Scholar.among the citation databases of Web of Science, Scopus, and Google Scholar.Design Cohort study of 328 articles published in JAMA, Lancet, or the New England Journal of Medicine between October 1, 1999, and March 31, 2000. Total citation counts for each article up to June 2008 were retrieved from Web of Science, Scopus, and Google Scholar

Từ Web of Science: 68 088 trích dẫn Từ Scopus: 82 076 trích dẫnTừ Web of Science: 68.088 trích dẫn, Từ Scopus: 82.076 trích dẫnTừ Google Scholar: 83.538 trích dẫn (gấp 1,23 lần so với Web of Science). Conclusion Web of Science, Scopus, and Google Scholar produced quantitatively and qualitatively different citation countsfor articles published in 3 general medical journals.


p g j* Kulkarni A.V et al, “Comparisons of Citations in Web of Science, Scopus, and Google Scholar for Articles Published in General Medical Journals”, The Journal of the American Medical Association.

Chỉ số trích dẫn tổng kết đặc điểm1. So sánh: chỉ trong cùng 1 ngành2 Khác nhau khi dùng các cơ sở dữ liệu khác nhau

Chỉ số trích dẫn- tổng kết đặc điểm

2. Khác nhau khi dùng các cơ sở dữ liệu khác nhau3. Không phân biệt được “self citation” (tự trích dẫn)4. Không phân biệt được từng tác giả khác nhau (do trùng tên,

h ) Ví d Lê Vă T â Lê Vă T ấ Lê Vâ T âhọ,….). Ví dụ: Lê Văn Tuân, Lê Văn Tuấn, Lê Vân Tuân,… . Do định dạng họ& tên: Hoang Trang, Trang Hoang

Ví d từ bả thâVí dụ từ bản thân:http://delab.csd.auth.gr: không tìm ra citation của 1 bài về M2Mhttp://scholar.google.com: tìm ra citation của 1 bài về M2Mp g g


Chỉ số ảnh hưởng (impact factor IF)Chỉ số ảnh hưởng (impact factor IF)=> Đánh giá tạp chíIF ủ 1 t hí t ă N IF A/BIF của 1 tạp chí trong năm N: IF = A/BA: tổng số trích dẫn trong năm N đến bài của tạp chí trong hai năm ngay trước Nnăm ngay trước N.B: tổng số các bài đăng trên tạp chí trong hai năm ngay trước N.Ví dụ:IF2010_tạp chí ABC= (số trích dẫn trong năm 2010 đến các bài trong tạp chí ABC trong 2008, 2009) / (tổng số bài trong tạp chítrong tạp chí ABC trong 2008, 2009) / (tổng số bài trong tạp chí ABC trong 2 năm 2008, 2009) = 2 (ví dụ)=> Trung bình, 1 bài trong năm 2008, 2009 được trích dẫn 2 lần trong năm 2010


trong năm 2010.

Source: http://thomsonreuters.com/products_services/science/free/essays/impact_factor/

IF phân tíchIF- phân tích

Phâ tí h thê tPhân tích: xem thêm trongAlthouse B.M et al “Differences in Impact Factor Across Fields and Over Time”, Journal of the American Society for Information , yScience and Technology, 2008

Eugene Garfield “The Agony and the Ecstasy- The HistoryEugene Garfield, The Agony and the Ecstasy- The History and Meaning of the Journal Impact Factor”, Chairman Emeritus, Thomson ISI (International Congress on Peer Review A d Bi di l P bli ti Chi S t b 16 2005)And Biomedical Publication Chicago, September 16, 2005)

Kumar M.J, “Evaluating Scientits: Citations, Impact Factor, h-


g pIndex, Online Hits and What Else?”, IETI Technical Review, 2009.

IF phân tíchIF- phân tích+ Mang những đặc điểm của Citation index+ Khác nhau giữa các nămg


Althouse B.M et al “Differences in Impact Factor Across Fields and Over Time”, Journal of the American Society for Information Science and Technology, 2008

IF phân tíchIF- phân tích+ Giá trị trung bình về ảnh hưởng của các bài trong tạp chí (*)Theo thứ tự trích dẫn:

ầ ố ẫ15% bài đầu góp 50% số trích dẫn, 50% bài đầu góp 90% số trích dẫn, các bài ở nhóm 50% đứng đầu có trích dẫn khoảng 10 lần hơng g

các bài ở nhóm 50% cuối.=> Suy nghĩ: bài báo trong tạp chí uy tín (IF lớn): chưa chắc phảilà chất lượng tốtlà chất lượng tốt+ IF trong 2 năm sau công bố: ngắn và sớm đối với một số ngành

JCR thêm IF tính trong 5 năm (**)ấ+ Không tính bài được dùng nhưng không ghi rõ, hoặc không xuất

hiện (***)(*) “Đánh giá định lượng kết quả nghiên cứu khoa học”, Hồ Tú Bảo, Trường Khoa học Tri thứcViện Khoa học và Công nghệ Tiên tiến Nhật Bản


Viện Khoa học và Công nghệ Tiên tiến Nhật Bản(**) http://thomsonreuters.com/products_services/science/free/essays/impact_factor/(***) Kumar M.J, “Evaluating Scientits: Citations, Impact Factor, h-Index, Online Hits and What

Else?”, IETI Technical Review, 2009.

IF phân tíchIF- phân tích+ Khác nhau trong từng ngành


Althouse B.M et al “Differences in Impact Factor Across Fields and Over Time”, Journal of the American Society for Information Science and Technology, 2008

Ý kiến về IF (*): Phili C b ll Edit i hi f f N tÝ kiến về IF (*): Philip Campbell, Editor-in-chief of Nature

+ “Nature’s IF for 2004 was 32,2 … 89% of our impact factort d b j t 25% f ”generated by just 25% of our papers.”

+ “I am concerned by the tendency within academic administrationsto focus on a journal’s impact factor when judging the worth of scientific contributions by researchers, affecting promotions, recruitment and, in some countries, financial bonuses for each paper ”paper.+ “Although the current system may be effective at measuringmerit on national and institutional scales, the most effectivef i l i f ’ t ib ti d i f di tfair analysis of a person’s contribution derives from a directassessment of individual papers, regardless of where theywere published.”


Escape from the Impact Factor”, Ethics in Science & Env. Politics, 8, 5-7, 2008)

(*) “Đánh giá định lượng kết quả nghiên cứu khoa học”, Hồ Tú Bảo, Trường Khoa học Tri thức Viện Khoa học và Công nghệ Tiên tiến Nhật Bản

Chỉ số H (H index)Chỉ số H (H-index)2005: Jorge Hirsch (Univ. of California at San Diego) đề nghị

h i d (*)h-index (*)

Nhiều cách diễn đạt định nghĩa khác nhau+ Một người có H-index là N nếu có N bài báo với chỉ số trích dẫn ít nhất là N.

=> Cân bằng số lượng và chất lượng

M hữ đặ điể ủ it ti i dMang những đặc điểm của citation index


(*): Kumar M.J, “Evaluating Scientits: Citations, Impact Factor, h-Index, Online Hits and WhatElse?”, IETI Technical Review, 2009

Chỉ số H (H index) đặc điểmChỉ số H (H-index) – đặc điểm+ Dùng so sánh cùng 1 ngành

+ Không phân biệt được công sức khác nhau của các tác giả trong cùng một công trình (=> thứ tự tác giả? : như thế nào?: không nhất thống: thường khoảng 2-3 kiểu khác nhau, tùy theo văn hóa)

+ Không phân biệt được lý do trích dẫn: . Thể hiện sự kính trọng tác giảNói ề h há liê. Nói về phương pháp liên quan

. Cung cấp kiến thức cơ bản

. Trích dẫn để phê phán


Chỉ số H (H index) đặc điểmChỉ số H (H-index) – đặc điểm+ Các nhà khoa học xuất sắc: H-index chưa hẳn là cao(GS N ô Bả Châ H i d 6 ?!? ( Hồ Tú Bả )(GS Ngô Bảo Châu: H-index: 6 ?!? (source: Hồ Tú Bảo)Giải Nobel: H-index: 35-40 (*)

+ Tính toán: khá công phu do vấn đề trùng tên.

Ví dụ: bản thân: key word “Hoang Trang”: hơn 140 công trình cóVí dụ: bản thân: key word Hoang Trang : hơn 140 công trình có trùng tên=> lọc


(*): Kumar M.J, “Evaluating Scientits: Citations, Impact Factor, h-Index, Online Hits and WhatElse?”, IETI Technical Review, 2009

Chỉ số H (H index) đặc điểmChỉ số H (H-index) – đặc điểm+ Tính toán: khá công phu do vấn đề trùng tên.Ví dụ: bản thân: key word “Hoang Trang”: hơn 140 công trình cóVí dụ: bản thân: key word Hoang Trang : hơn 140 công trình cótrùng tên => lọcPhân tích, trao đổi từ bản thân người trình bày

http://delab csd auth gr: không tìm ra 2 citationhttp://delab.csd.auth.gr: không tìm ra 2 citationGoogle scholar: tìm đầy đủ hơn

7

Cites

6

44

5

6

4

3

2

1 1 1 11

2

3

4

Cites


1 1 1 1

0 0 0 0 0 0 00

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Các chỉ số khácCác chỉ số khác+ H-index: dựa trên citation => khuyết điểm

TRANH LUẬNTRANH LUẬN+ Normalized H-index: H-index: thường tăng theo thời gian=> normalized H index (m index): H/số năm=> normalized H-index (m index): H/số năm

+ Standarized H-index: các ngành: khác nhauNgành khoa học Hệ số điều chỉnh chungVật lí 1Vật lí 1Nông nghiệp 1.27Sinh học và sinh hóa 0.6Hóa học 0.92Y học 0 76Y học 0.76Khoa học máy tính 1.75Kinh tế 1.32Kĩ thuật 1.7Khoa học vật liệu 1 36


Khoa học vật liệu 1.36Toán học 1.83Tâm thần và tâm lí học 0.88Khoa học xã hội 1.6

Kết luận

1. Khách quan: định lượng: còn chưa chính

Kết luận

q ị ợ gxác

> nhanh-> nhanh

Khi cần thêm: peer reviewp

2. Khi đánh giá, so sánh,…: cần cẩn thận

3. Xem xét trong các đánh giá, khen thưởng: => chính sách!


Đị ượng nhiê cnghiên c ứu kh hkhoa họchoangtrang/writting/dinh luong... · 1 2012. m...

Documents