bất cập trong quản lý mạng ngoại...
TRANSCRIPT
1
BỘ THÔNG TIN VÀ TRUYỀN THÔNG
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
VIỆN KHOA HỌC KỸ THUẬT BƯU ĐIỆN--------------
THUYẾT MINH DỰ THẢO TIÊU CHUẨN QUỐC GIA
TCVN xxxx-4:2019ISO/IEC/IEEE 29119-4:2015
KỸ THUẬT HỆ THỐNG VÀ PHẦN MỀM -
KIỂM THỬ PHẦN MỀM -
PHẦN 4: CÁC KỸ THUẬT KIỂM THỬ
Software and systems engineering - Software testing - Part 4: Test techniques
Nhóm thực hiện đề tài ThS. Vũ Hồng Sơn
KS. Nguyễn Thị Phương Nam
Hà Nội - 2019
2
MỤC LỤC
1. Tên gọi và ký hiệu của TCVN.........................................................................................5
2. Nghiên cứu, đánh giá nhu cầu đối với việc kiểm thử phần mềm...............................52.1 Tổng quan về kiểm thử..................................................................................................5
2.2 Nghiên cưu, đanh gia nhu câu đôi vơi việc kiểm thử phân mềm..................................8
3. Tình hình tiêu chuẩn hóa trong và ngoài nước.........................................................123.1 Tiêu chuẩn ngoài nươc................................................................................................12
3.2 Tiêu chuẩn trong nươc.................................................................................................18
4. Phương pháp xây dựng tiêu chuẩn.............................................................................214.1. Lý do và mục đích xây dựng tiêu chuẩn.....................................................................21
4.2. Nhu câu thực tế và khả năng ap dụng.........................................................................21
4.2.2. So sanh giữa CMMI và ISO....................................................................................22
4.2.2.1 Sự Khac biệt Thực Tiễn.........................................................................................22
4.2.2.2 Hương Tiếp Cận....................................................................................................22
4.2.2.3 Triển Khai..............................................................................................................22
4.3. Lựa chọn tài liệu tham chiếu chính.............................................................................22
4.4. Hình thưc xây dựng tiêu chuẩn...................................................................................23
5. Giới thiệu tổng quan bộ tiêu chuẩn quốc tế về kiểm thử phần mềm ISO/IEC/IEEE 29119.....................................................................................................................................23
5.1. Giơi thiệu tổng quan bộ tiêu chuẩn ISO/IEC/IEEE 29119.........................................23
5.2. Giơi thiệu tổng quan tiêu chuẩn ISO/IEC/IEEE 29119-4: Cac kỹ thuật kiểm thử.....25
6. Nội dung tiêu chuẩn.....................................................................................................286.1. Tên tiêu chuẩn............................................................................................................28
6.2. Bô cục của tiêu chuẩn.................................................................................................28
6.3 Đôi chiếu TCVN vơi tài liệu gôc.................................................................................29
7. Kiến nghị.......................................................................................................................34Thư mục tài liệu tham khảo...................................................................................................35
3
4
1. Tên gọi và ký hiệu của TCVN 1.1 Tên gọi của TCVN“Kỹ thuật hệ thông và phân mềm - Kiểm thử phân mềm - Phân 4: Cac kỹ thuật kiểm thử”1.2 Ký hiệu của TCVNTCVN xxxx-4:20192. Nghiên cứu, đánh giá nhu cầu đối với việc kiểm thử phần mềm2.1 Tổng quan về kiểm thửNgày nay công nghệ thông tin đang ngày càng phat triển nhanh chóng, kéo theo đó là hệ thông mạng và cac phân mềm cũng gia tăng cả về sô lượng và chất lượng. Nhưng cũng từ đó đã nảy sinh nhiều vấn đề về lỗi hỏng hóc phân mềm không đang có, gây ra những ảnh hưởng nghiêm trọng đến xã hội, kinh tế… Những lỗi này có thể do tự bản thân phân mềm bị hỏng do không được kiểm duyệt kĩ lưỡng trươc khi đưa đến tay người dùng cuôi hay cũng có thể do hacker cô tính pha hoại nhằm đanh cắp thông tin ca nhân như mã sô tài khoản ngân hàng, sô điện thoại, danh bạ, tin nhắn… Những vấn đề nan giải và cấp thiết này càng có xu hương mở rộng trong những năm gân đây. Do đó yêu câu đặt ra là cân có công tac kiểm thử phân mềm thật kĩ lưỡng nhằm ngăn chặn cac lỗi hay hỏng hóc còn tiềm tàng bên trong phân mềm. Kiểm thử nhằm đanh gia chất lượng hoặc tính chấp nhận được của sản phẩm. Kiểm thử cũng nhằm phat hiện lỗi hoặc bất cư vấn đề gì về sản phẩm. Chúng ta cân kiểm thử vì biết rằng con người luôn có thể mắc sai lâm. Điều này đặc biệt đúng trong lĩnh vực phat triển phân mềm và cac hệ thông điều khiển bởi phân mềm. Mục đích của kiểm thử phân mềm là chỉ ra rằng phân mềm thực hiện đúng cac chưc năng mong muôn.Tại sao phần mềm có lỗi?Vì:- Phân mềm được viết bởi con người, mà con người thì:+ Biết nhiều thư nhưng không phải mọi thư;+ Có kỹ năng nhưng không hoàn hảo;+ Luôn phạm sai lâm.- Làm việc dươi điều kiện căng thẳng để kịp bàn giao đúng tiến độ.+ Không có thời gian kiểm tra, giả định bị sai.+ Hệ thông chưa hoàn chỉnh.Tại sao kiểm thử cần thiết?Vì:- Phân mềm luôn tồn tại lỗi.- Để đanh gia độ tin cậy.- Chi phí lỗi có thể rất lơn.- Tranh bị kiện từ khach hàng.- Giữ uy tín trong kinh doanh.
5
2.1.1 Phân loại kiểm thử phần mềm: Ta phân loại kiểm thử dựa vào ba yếu tô: Chiến lược kiểm thử, phương phap kiểm thử và kỹ thuật kiểm thử.- Dựa vào chiến lược kiểm thử ta có thể phân chia kiểm thử thành hai loại: kiểm thử thủ
công và kiểm thử tự động.- Theo phương phap tiến hành kiểm thử ta chia kiểm thử làm hai loại: kiểm thử tĩnh và
kiểm thử động.- Dựa vào kỹ thuật kiểm thử ta có thể phân chia kiểm thử thành ba loại: kiểm thử hộp đen,
kiểm thử hộp trắng và kiểm thử hộp xam. 2.1.2 Vai trò của kiểm thử phần mềm: Kiểm thử phân mềm đóng vai trò quan trọng trong việc đanh gia và thu được chất lượng cao của sản phẩm phân mềm trong qua trình phat triển. Thông qua chu trình “kiểm thử - tìm lỗi - sửa lỗi”, người ta hy vọng chất lượng của sản phẩm phân mềm sẽ được cải tiến. Mặt khac, thông qua việc tiến hành kiểm thử mưc hệ thông trươc khi cho lưu hành sản phẩm, có thể biết được sản phẩm tôt đến mưc nào. 2.1.3 Mục tiêu của kiểm thử phần mềm- Phat hiện càng nhiều lỗi càng tôt trong thời gian kiểm thử xac định trươc. - Tạo cac trường hợp kiểm thử chất lượng cao, thực hiện kiểm thử hiệu quả và tạo ra cac
bao cao đúng và hữu dụng. - Chưng minh rằng sản phẩm phân mềm phù hợp vơi cac đặc tả yêu câu của nó.2.1.4 Tầm quan trọng của kiểm thử phần mềm.Kiểm thử phân mềm đóng vai trò rất quan trọng vì nếu để lỗi xảy ra có thể gây tôn kém cũng như thiệt hại về người và của.Những lỗi phân mềm không chỉ gây khó chịu hay bất lợi mà chúng còn tôn kém nữa. Theo một nghiên cưu của Viện Công nghệ và Tiêu chuẩn (NIST) thuộc Bộ Thương mại Mỹ, những lỗi và sự cô phân mềm khiến nền kinh tế Mỹ thiệt hại khoảng 59,5 tỷ USD/năm để sửa lại những lỗi tồn tại trong cac phân mềm đã có mặt trên thị trường. Nếu làm tôt khâu kiểm thử để phat hiện lỗi hay nghĩ cach ngăn chặn lỗi phat sinh trươc khi đưa sản phẩm vào sử dụng sẽ tiết kiệm chi phí rất lơn.Hậu quả mà cac lỗi phân mềm gây ra có thể là rất lơn. Thị trường tổn thất những khoản tiền lơn, cac công ty mất hàng tỷ đô chi phí liên quan đến sửa chữa, luật phap và doanh thu. Trong nhiều năm qua, thế giơi đã chưng kiến nhiều môi đe dọa an ninh cao cấp và cac cuộc tấn công vào cac tổ chưc trên toàn ngành công nghiệp dọc khac nhau và cac phân đoạn kinh doanh. Hậu quả là không chỉ nghiêm trọng đôi vơi tài chính mà còn làm cho uy tín của tổ chưc bị giảm sút.Năm 1962, tàu vũ trụ Mariner 1 vơi nhiệm vụ bay quanh sao Kim bất chợt xảy ra một lỗi phân mềm khiến tên lửa đi chệch khỏi hành trình và có nguy cơ va vào trai đất. Cac kỹ sư của Cơ quan hàng không vũ trụ Mỹ (NASA) đã ngay lập tưc thực hiện lệnh hủy tên lửa này chỉ 5 phút sau khi nó cất canh. Vụ việc này khiến nươc Mỹ thiệt hại 18 triệu USD (theo http://www.bloomberg.com).Đôi khi, hậu quả của cac lỗi phân mềm không thể tính được bằng tiền bạc. Thang 2/1991, hệ thông tên lửa phòng thủ Patriot của Mỹ đặt tại Dhahran, Arabia Saudi đã thất bại trong
6
việc phat hiện cuộc tấn công vào cac doanh trại quân đội. Phân mềm gặp trục trặc khiến hệ thông theo dõi hoạt động không hiệu quả. Kết quả là 28 binh lính Mỹ thiệt mạng (theo http://www.bloomberg.com).Năm 1999, cac kỹ sư của NASA bị mất liên lạc vơi tàu vũ trụ do tham sao Hỏa khi họ cô gắng đặt con tàu này vào quỹ đạo của sao Hỏa để phục vụ mục đích nghiên cưu. Kết quả điều tra cho thấy một nhóm cac kỹ sư sử dụng chương trình vơi đơn vị đo là inch, feet và pound trong khi nhóm còn lại sử dụng hệ mét. Lỗi này khiến NASA thiệt hại 655 triệu USD (theo http://www.bloomberg.com).Axa Rosenberg Group đã mắc phải lỗi thiết kế phân mềm khi xây dựng mô hình đâu tư và khiến khach hàng bị thua lỗ 217 triệu USD. Công ty này đã đồng ý trả 242 triệu USD cho Ủy ban chưng khoan Mỹ (SEC). Barr M. Rosenberg, người đồng sang lập Axa, cũng phải bồi thường 2,5 triệu USD (theo http://www.bloomberg.com).Khi Toyota triệu hồi hơn 400.000 xe hơi mắc lỗi vào năm 2010, đó không phải là lỗi về mặt cơ khí. Những chiếc xe hơi này đã mắc lỗi phân mềm trong hệ thông phanh chông bó cưng. Theo hãng tin AP, cùng vơi cac lỗi cơ khí khiến hàng triệu xe bị thu hồi, Toyota đã phải chịu thiệt hại lên tơi 3 tỷ USD (theo Bloomberg: http://www.bloomberg.com).Thang 10 năm 2013, dự an “Healthcare.gov” ươc tính chi phí lên đến 1,7 tỉ đô-la đã gặp lỗi phân mềm khiến người dân không thể đăng ký bảo hiểm sưc khoẻ ngay trong ngày ra mắt (theo Wi-ki: https://en.wikipedia.org/wiki/HealthCare.gov).Thang 9/2014 Apple mất 23 tỷ USD gia trị thị trường do iPhone 6 bị cong và lỗi phân mềm. Nguyên nhân được cho là do ảnh hưởng của lỗi phân mềm khiến iPhone mơi bị mất sóng và bendgate - tưc tai tiếng may có thể bị bẻ cong (theo http://genk.vn/loi-phan-mem.htm) Ngày 1/5/2015 04:14 pm, Cục Hàng không Liên bang Mỹ (FAA) đưa ra cảnh bao về lỗi phân mềm hệ thông trên may bay Boeing 787 Dreamliner, khiến may bay tự động ngắt điện giữa hành trình và phi công bị mất lai (theo http://wwwtheverge.com ) Sang 31-7/2015, tại Việt Nam, hàng ngàn thí sinh đến cơ quan đại diện Bộ GD-ĐT tại TP HCM nhận giấy chưng nhận kết quả thi THPT quôc gia 2015. Tuy nhiên, có nhiều thí sinh không nhận được giấy chưng nhận kết quả thi THPT vì lỗi phân mềm mà ngay cac cụm thi khi in giấy chưng nhận kết quả cũng không biết. Theo thông tin từ nhiều cụm thi, nguyên nhân là do link của phân mềm dữ liệu quản lý thi của Bộ GD-ĐT bị thiếu nên khi in sẽ bị thiếu một sô thí sinh (theo http://tuyensinh.nld.com.vn) Ngày 24/12/2015 nhà tù bang Washington có khoảng 3200 phạm nhân được thả ra trươc thời hạn do lỗi lập trình (theo NBC).Ngày 16/5/2016, Toyota Việt Nam đã chính thưc phat đi thông bao về đợt thu hồi hơn 2.400 xe Toyota Camry 2.0E để cập nhật phân mềm bộ điều khiển động cơ. Những xe sản xuất trong quãng thời gian từ 6/4/2015 đến 1/4/2016 sẽ nằm trong đợt sửa chữa này. Được biết, lỗi phat sinh từ phân mềm của bộ điều khiển động cơ trên Toyota Camry 2.0E được lập trình chưa phù hợp cho hoạt động của van tuân hoàn khí xả trong một sô điều kiện nhất định, đặc biệt khi lai xe trên đường vơi tôc độ cao, làm cho van tuân hoàn khí xả hoạt động không chính xac theo chỉ thị của bộ điều khiển động cơ. Trong trường hợp xấu nhất động cơ có thể bị chết may khi giảm tôc độ (theo http://www.kinhtedothi.vn).
7
2.2 Nghiên cứu, đánh giá nhu cầu đối với việc kiểm thử phần mềm2.2.1. Tình hình ngoài nước Trên thế giơi, cac công ty đang chưng kiến sự phụ thuộc chưa từng có vào công nghệ để hoạt động kinh doanh và tăng trưởng doanh thu của họ. Vơi ngày càng nhiều chưc năng kinh doanh được kích hoạt và được làm giàu bằng ưng dụng và cac giải phap CNTT, việc kiểm thử phân mềm đã trở nên quan trọng hơn bao giờ hết. Cùng vơi sự phat triển nhanh chóng về nhu câu đôi vơi dịch vụ kiểm thử phân mềm, nhu câu đôi vơi cac chuyên gia kiểm thử phân mềm đang gia tăng trên toàn thế giơi, Theo TechNavio - một công ty nghiên cưu và tư vấn công nghệ cho cac tập đoàn đa quôc gia, đã dự đoan thị trường dịch vụ kiểm thử phân mềm thuê ngoài toàn câu đang phat triển nhanh chóng và do đó nhu câu về lao động có tay nghề ngày càng tăng. Tuy nhiên, có sự thiếu hụt lơn cac chuyên gia có tay nghề cao để đap ưng nhu câu kiểm thử phân mềm đang gia tăng trên toàn thế giơi. Bản bao cao trích dẫn rằng Ấn Độ được dự kiến sẽ phải đôi mặt vơi tình trạng thiếu 39.000 đến 41.000 công nhân có tay nghề cao trong vài năm tơi. Cũng theo bao cao, việc thiếu chuyên môn đã trở thành một thach thưc lơn cho cac tổ chưc dịch vụ CNTT trên toàn câu. Ngoài ra, hệ thông giao dục hiện tại không đap ưng cac tiêu chuẩn và nhu câu của thị trường (theo http://www.theborneopost.com).Hiện nay, Ấn Độ đang là quôc gia đi đâu về dịch vụ gia công và kiểm thử phân mềm, Cac nhà phân tích TechNavio dự đoan thị trường kiểm thử phân mềm thuê ngoài của Ấn Độ sẽ tăng trưởng vơi tôc độ tăng trưởng hàng năm kép (CAGR) là 9,18% giai đoạn 2013-2018. Bao cao này thực hiện tại Mỹ, Châu Âu, Ấn Độ và cac khu vực khac trên thế giơi. Nó cũng được thực hiện tại thị trường kiểm thử phân mềm thuê ngoài và sự tăng trưởng của Ấn Độ trong vài năm tơi. Đôi vơi thị trường dịch vụ kiểm thử phân mềm thuê ngoài toàn câu, cac nhà phân tích TechNavio cũng dự đoan sẽ tăng trưởng vơi tôc độ tăng trưởng hàng năm kép là 11% giai đoạn 2016-2020; Bao cao này được thực hiện tại Mỹ, APAC, và EMEA và tại cac nhà cung dịch vụ phân mềm như Accenture, Amdocs, HP và IBM. TechNavio cho biết gia công dịch vụ kiểm thử phân mềm kèm theo những phưc tạp như sự thay đổi nhanh chóng về cac yêu câu kinh doanh và sự khac biệt văn hóa và múi thời gian giữa cac vùng dẫn đến những khó khăn trong việc xac định yêu câu. Cac nhà cung cấp thường xuyên phải đôi mặt vơi những khó khăn trong việc xac định cac yêu câu kinh doanh chính xac của khach hàng và tìm kiếm một giải phap mà không đòi hỏi phải xac định lại nhiều. Đôi khi, cac nhà cung cấp dịch vụ hiểu sai yêu câu của công ty dẫn đến phải thực hiện lại công việc và mất thêm chi phí (nguồn: http://www.technavio.com/report/global-it-professional-services-outsourced-software-testing-market).Đôi vơi thị trưởng kiểm thử bảo mật toàn câu, cac nhà phân tích TechNavio dự đoan sẽ tăng trưởng vơi tôc độ tăng trưởng hàng năm kép (CAGR) là 13,46% giai đoạn 2014-2019 (theo http://www.technavio.com).Theo cac phân tích trên ta thấy nhu câu về cac kỹ sư kiểm thử có tay nghề hiện đang rất cao, đặc biệt là ở cac quôc gia như Ấn Độ, Mỹ, Trung Quôc… Nếu không có sự phôi hợp chặt chẽ giữa cac công ty phân mềm và cac trường Đại học đào tạo một cach kỹ lưỡng, có bài bản thì nhiều nươc trên thế giơi sẽ phải đôi mặt vơi tình trạng thiếu nhân công có tay nghề cao trong vài năm tơi.
8
2.2.2 Tình hình trong nướcTheo nghiên cưu của http://bachkhoa-aptech.edu.vn/ thì đến năm 2020, nhân lực Kỹ sư kiểm thử còn thiếu trong thị trường lao động Việt Nam khoảng 10.000 người.
Hiện nay, cùng vơi ngành sản xuất phân mềm, Việt Nam là quôc gia có nhiều lợi thế để trở thành quôc gia gia công phân mềm hàng đâu thế giơi và đang là điểm đâu tư lâu dài của cac công ty công nghệ lơn như Samsung, LG, Renesas, Foxconn, Fujitsu, Canon, Panasonic, HP, CSC, Alcatel-Lucent, Cisco, Avaya, NTT, Toshiba, NEC, Sony, Sharp, Hitachi, Deutsche Bank… Vì vậy nhu câu sử dụng phân mềm từ cac công ty trong nươc cũng như cac đôi tac nươc ngoài đang gia tăng.
Những ai theo học ngành CNTT đều đa phân là nghĩ ngay đến nghề lập trình vì thế khiến đâu ra của nghề kỹ sư kiểm thử có sô lượng thấp hơn hẳn khiến cac nhà tuyển dụng lao đao trong việc tìm kiếm nguồn nhân lực.
2.2.3 Khảo sát tình hình kiểm thử của một số doanh nghiệp trong nướcĐể tìm hiểu thêm tình hình kiểm thử trong nươc, sau hội thảo 2, nhóm chủ trì đã gửi phiếu khảo sat đến một sô doanh nghiệp kiểm thử phân mềm trong nươc để xin thông tin về tình hình kiểm thử của họ. Dươi đây là một sô doanh nghiệp, tổ chưc mà nhóm chủ trì xin ý kiến:
1 - Công ty TNHH một thành viên Giải phap phân mềm và Tích hợp hệ thông Tinh Vân (Tinhvan Solutions (TVS)) – đơn vị có chưc năng phat triển, cung cấp phân mềm, dịch vụ và thiết bị CNTT, Viễn thông tại thị trường nội địa. Theo chuyên gia kiểm thử tại công ty công ty thì:
- Về quy trình kiểm thử: Hiện quy trình kiểm thử bên họ thực hiện theo CMMI. Việc thực hiện chi tiết trong quy trình sẽ có thay đổi trong cac bươc và cac điều kiện đâu vào của mỗi bươc, tùy thuộc vào từng dự an. Kỹ sư kiểm thử sẽ tham gia ngay từ giai đoạn khảo sat khach hàng, phân tích và xây dựng tài liệu hệ thông …
- Về khôi lượng công việc test trong một dự an: thường chiếm khoảng 40%. Tỷ lệ giữa lập trình viên và kỹ sư kiểm thử là 5:1, so vơi thế giơi thì tỷ lệ này là cao.
- Về kỹ thuật kiểm thử hay dùng: Hiện TVS dùng cả kiểm thử tĩnh (review tài liệu và hệ thông) và kiểm thử động (thiết kế cac trường hợp kiểm thử và thực hiện test) vơi gân đủ cac level (trừ Unit test). Kiểm thử hộp trắng (kiểm thử dựa trên cấu trúc) hiện tại là lập trình viên thực hiện. Vẫn có giai đoạn Component test do kỹ sư kiểm thử thực hiện nhưng việc test unit của lập trình viên thực sự là không hiệu quả, mặc dù đã được cung cấp đủ cac trường hợp kiểm thử cân thiết.
- Về nhu câu thực tế: Thông thường theo đúng nỗ lực test thì sẽ thiếu vì lượng công việc của kỹ sư kiểm thử sẽ nhiều hơn 1 chút ở giai đoạn cuôi. Tùy thuộc biến động nhân sự, nhưng 1 năm vẫn có ít nhất là 2 đợt tuyển dụng. Nhân viên mơi vào công ty sẽ có 2 thang thử việc, trong đó 1 thang đâu dành cho học việc và 1 thang sau sẽ là làm trên cac dự an. Tuy nhiên, cũng tùy thuộc đâu vào, nếu là người đã được đào tạo về test thì thời gian học việc ngắn hơn nhưng vẫn phải có để còn làm quen vơi cac mảng dự an và công việc khac nhau. Do đó kỹ sư kiểm thử đa phân là người mơi, chỉ một sô ít kỹ sư kiểm thử làm theo automation thì mơi là từ lập trình viên sang. Sô ít lập trình viên được chuyển sang làm kiểm thử thường là do: một là qua kém không thể làm lập trình được, hai là rất giỏi và chuyển sang làm test cao cấp.
9
2 - Viện nghiên cưu và phat triển Viettel (Viettel R&D) là đơn vị trực thuộc Tập đoàn Viễn thông Quân đội (Viettel Group) có nhiệm vụ Nghiên cưu thiết kế, phat triển, chế tạo sản phẩm, thiết bị điện tử, viễn thông, công nghệ thông tin, truyền thông. Theo một chuyên gia về kiểm thử phân mềm làm việc lâu năm tại đây thì:
- Về quy trình kiểm thử: Hiện Viện nghiên cưu và phat triển Viettel đang thực hiện theo CMMI level 3. Quy trình cụ thể là: sau khi khach hàng đưa yêu câu, kỹ sư kiểm thử tiến hành lập kế hoạch đến khâu bao cao kết quả. Kỹ sư kiểm thử thường joint vào ngay từ đâu khi phân tích yêu câu cùng vơi lập trình viên.
- Về khôi lượng công việc test trong một dự an: chiếm từ 25 – 50% tùy vào từng dự an. Tỷ lệ kỹ sư kiểm thử phân mềm tại đơn vị còn thấp so vơi một sô đơn vị trong nươc và thấp hơn nhiều so vơi mặt bằng thế giơi. Ở trên thế gơi, tỷ lệ giữa lập trình viên và kỹ sư kiểm thử là 1:3, tưc là cư 3 lập trình viên thì có 1 kỹ sư kiểm thử, còn tỷ lệ này tại Viện nghiên cưu và phat triển Viettel hiện là 5 đến 7 lập trình viên mơi có 1 kỹ sư kiểm thử. Tính đến thời điểm nhóm chủ trì xin phiếu khảo sat thì tỷ lệ này còn cao hơn rất nhiều do thiếu trâm trọng kỹ sư kiểm thử.
- Về kỹ thuật kiểm thử hay dùng: Dùng cả kiểm thử động và kiểm thử tĩnh nhưng kiểm thử tĩnh rất ít dùng. Về kiểm thử động chỉ làm kiểm thử hộp đen là chủ yếu (phân vùng tương đương, phân tích gia trị biên, bảng quyết định). Kiểm thử hộp trắng cũng có làm nhưng thường do lập trình viên mơi có khả năng làm được.
- Về nhu câu thực tế: Hiện tại là đang thiếu, thiếu bởi nhiều lý do: tuyển dụng khó, nguồn kỹ sư kiểm thử cũng không nhiều, yêu câu công việc và những yếu tô khach quan khac cũng gây ra tình trạng thiếu. Thường do luân chuyển đơn vị trong Tập đoàn Viettel, tuyển mơi (mơi hoàn toàn và đã có kinh nghiệm). Luân chuyển nội bộ và đã có kinh nghiệm thì thường rất dễ để bắt đâu, khó khăn của họ yêu câu bài toan thôi vì đặc thù sản phẩm của đơn vị họ không như cac đơn vị khac. Còn đôi vơi kỹ sư mơi tuyển dụng, mơi ra trường chưa có kinh nghiệm và nếu như không tự tìm hiểu nghiệp vụ test phân mềm trươc hoặc không tham gia một khóa đào tạo cơ bản về nghề test thì khi trúng tuyển thì đều phải training hoàn toàn (tùy nhận thưc của từng ưng viên mà thời gian training ngắn hay dài).
3 – Công ty kiểm thử phân mềm buitech, chuyên kiểm thử phân mềm thuê ngoài cho cac công ty, theo chuyên gia của công ty thì:
- Về quy trình kiểm thử: hiện tại công ty chưa có quy trình kiểm thử riêng, họ tự xây dựng dựng dựa trên kinh nghiệm của người có trươc. Quy trình thường là: sau khi khach hàng gửi yêu câu, bên công ty sẽ đanh gia, đưa ra chiến lược và lập kế hoạch kiểm thử. Sau đó kỹ sư kiểm thử sẽ test khi phân mềm đã sẵn sàng.
- Về khôi lượng công việc test trong một dự an: chiếm khoảng 50% dự an. Tỉ lệ kỹ sư kiểm thử : lập trình viên thường là 1:3 đến 1:5.
- Về kỹ thuật kiểm thử hay dùng: chủ yếu là kiểm thử hộp đen.
- Về nhu câu thực tế: Hiện công ty thường tuyển mơi kỹ sư kiểm thử, họ ít khi rút từ bên lập trình sang. Đôi vơi kỹ sư kiểm thử mơi được tuyển dụng, thì họ phải đọc cac guidelines của công ty, sau đó tự làm, thiếu đến đâu thì hỏi đến đó. Cac bạn mơi ra trường nếu được đào tạo chính quy, bài bản thì cũng kha tôt, không đến nỗi câm tay chỉ việc.
10
4 - Công ty kiểm thử phân mềm của Nhật tại Việt Nam, theo chuyên gia kiểm thử phân mềm tại công ty này thì:
- Về quy trình kiểm thử: Hiện chưa có quy trình kiểm thử riêng cũng như chưa tuân thủ theo chuẩn quôc tế nào. Họ tự xây dựng dựa trên sự kết hợp giữa cả điều kiện thực tế dự an, yêu câu khach hàng và kinh nghiệm test của cac test leader.
- Khôi lượng công việc test trong một dự an: chiếm từ 25 – 50% tùy vào từng dự an. Tỉ lệ kỹ sư kiểm thử : lập trình viên thường 1 kỹ sư kiểm thử sẽ làm việc vơi 3-5 lập trình viên, tùy vào từng dự an.
- Về kỹ thuật kiểm thử hay dùng: Dùng cả kiểm thử động và kiểm thử tĩnh nhưng kiểm thử tĩnh rất ít dùng. Về kiểm thử động chỉ làm kiểm thử hộp đen là chủ yếu (phân vùng tương đương, phân tích gia trị biên, bảng quyết định). Kiểm thử hộp trắng cũng có làm và kỹ sư kiểm thử không biết code hoàn toàn có thể test được. Ngoài ra họ cũng chú trọng đến kiểm thử cac đặc tính chất lượng phân mềm như kiểm thử cài đặt, kiểm thử tương thích, kiểm thử bảo mật, kiểm thử hiệu suất…
- Về nhu câu thực tế: Thường là thiếu, hàng năm công ty vẫn tiến hành tuyển dụng. Thường thì ngay khi có kế hoạch dự an thì sẽ sắp xếp và tuyển test (nếu cân thêm). Nếu ở vị trí leader hoặc đã có kinh nghiệm làm việc thì sẽ có khả năng độc lập, tự nghiên cưu. Còn lại thì công ty phải có thời gian đào tạo cho cac nhân viên mơi.
Nhận xét:- Hiện nay ở Việt Nam, chưa có quy trình kiểm thử chung cho cac doanh nghiệp, cac
doanh nghiệp tự xây dựng và ban hành quy trình riêng cho mình.
- Cac kỹ thuật kiểm thử hiện đang được cac doanh nghiệp hay dùng nhất, đó là: cac kỹ thuật kiểm thử dựa trên đặc tả, cac kỹ thuật kiểm thử dựa trên cấu trúc (kiểm thử hộp trắng) cũng có dùng nhưng không nhiều và phải do lập trình đảm nhận. Bên cạnh đó, hiện nay họ cũng chú trọng nhiều đến cac loại kiểm thử đặc tính chất lượng phân mềm như: kiểm thử cài đặt, kiểm thử tương thích, kiểm thử bảo mật. Ngoài việc kiểm thử thủ công thì một sô kỹ thuật kiểm thử phải sử dụng cac công cụ (tool test) để kiểm thử do sô lượng cac trường hợp kiểm thử lơn. Không phải phân mềm nào viết ra cũng phù hợp cho việc kiểm thử và không phải đơn vị nào cũng đủ kinh phí để sử dụng cac tool test.. Đó là một trong những khó khăn mà cac đơn vị đang gặp phải.
- Nhu câu kiểm thử hiện đang thiếu rất nhiều. Đa phân kỹ sư kiểm thử được tuyển mơi đều phải đào tạo lại vì kiến thưc không vững, không bài bản và đặc biết không được thực hành. Tỷ lệ kỹ sư kiểm thử phân mềm tại Việt Nam còn thấp so vơi tiêu chuẩn quôc tế. Theo tiêu chuẩn quôc tế thì tỷ lệ giữa lập trình viên và kỹ sư kiểm thử là 1:3, tưc là cư 3 lập trình viên thì có 1 kỹ sư kiểm thử, còn tỷ lệ này tại Việt Nam là 1:5, thậm chí còn cao hơn. Tuy khan hiếm nhân lực như vậy nhưng tính tơi thời điểm hiện tại, cac đơn vị đào tạo chuyên sâu và bài bản về nghề kiểm thử phân mềm không nhiều, một sô cac trường đại học, sinh viên được đào tạo rất ít kiến thưc liên quan đến kiểm thử phân mềm. Điều đó khiến cho sô lượng kỹ sư kiểm thử vẫn không đap ưng đủ cho cac dự an của cac công ty tại Việt Nam.
11
3. Tình hình tiêu chuẩn hóa trong và ngoài nước3.1 Tiêu chuẩn ngoài nướcSản phẩm phân mềm ngày nay đang trở thành một lĩnh vực được quan tâm và được kiểm soat chặt chẽ, theo những tiêu chuẩn nhất định. Cac tiêu chuẩn có thể là cac kinh nghiệm hoặc cac phương phap hiệu quả nhất, được đề xuất từ cac hiệp hội nghề nghiệp như IEEE (The Institute of Electrical and Electronics Engineers, Inc), từ cac tổ chưc quôc tế như ISO (The International Organization for Standardization), hoặc cac quy tắc chuẩn hóa để giao tiếp giữa sản phẩm vơi nhau, hoặc đơn giản do chính tổ chưc phat triển phân mềm đề ra để ap dụng cho chính họ.
Từ “những năm cuôi thế kỷ 20, tổ chưc ISO đã tập trung rất nhiều vào cac tiêu chuẩn chất lượng cho phân mềm. Cach tiếp cận về chất lượng của ISO đã thực sự tiến thêm một bậc, toàn diện hơn, phù hợp hơn. Kết quả của sự tập trung này là một loạt cac bộ tiêu chuẩn đã ra đời, nhằm hương tơi đanh gia chất lượng toàn diện trong suôt vòng đời của sản phẩm phân mềm, từ khi phôi thai cho tơi lúc lạc hậu cân thay thế”.
Hình 1 - Hệ thống các tiêu chuẩn ISO về kỹ thuật hệ thống và phần mềmDựa trên việc hệ thông và phân nhóm cac qua trình như trên, tiểu ban SC7 (Kỹ thuật phân mềm và hệ thông) nhóm cac tiêu chuẩn ISO một cach phù hợp và thuận tiện cho việc sử dụng chúng. Hình 1 đưa ra sơ đồ hệ thông cac tiêu chuẩn ISO do tiêu ban SC7 chịu trach nhiệm. Qua đó thể hiện tính bao quat toàn diện trong cach xây dựng hệ thông tiêu chuẩn về kỹ thuật hệ thông và phân mềm của tổ chưc tiêu chuẩn quôc tế ISO. Cac tiêu chuẩn được xây dựng vơi môi liên hệ chặt chẽ vơi nhau từ cac tiêu chuẩn mang tính chất bổ trợ cho tơi
12
cac tiêu chuẩn mang tính chất hương dẫn chung: vòng đời sản phẩm, đanh gia và triển khai cac qua trình; và cac tiêu chuẩn về đặc tính sản phẩm.
Kiểm thử phân mềm là một lĩnh vực mơi đôi vơi ISO. ISO và IEC đã thành lập một tiểu ban (SC7) về kỹ thuật hệ thông và phân mềm. Vì không có nhóm làm việc có chuyên môn về kiểm thử phân mềm trong tiểu ban SC7 nên một nhóm làm việc mới có tên "Kiểm thử phần mềm” (WG26) đã được thành lập để xây dựng một bộ tiêu chuẩn mơi về kiểm thử phân mềm ISO/IEC/IEEE 29119 (xem hình 1). Bộ tiêu chuẩn này có môi liên hệ chặt chẽ vơi cac bộ tiêu chuẩn như ISO/IEC 9126, ISO/IEC 14598, ISO/IEC 12207, ISO/IEC 25051, ISO/IEC 15026, ISO/IEC 15504 (cac bộ tiêu chuẩn này đã được xây dựng thành TCVN tương đương).
Dươi đây là cac tiêu chuẩn liên quan đến đảm bảo chất lượng (QA) và kiểm thử phân mềm đã được IEEE, BS, ISO/IEC/IEEE biên soạn:
Bảng 1 - Các tiêu chuẩn liên quan đến đảm bảo chất lượng và kiểm thử phần mềm
Ký hiệu tài liệu Tên tài liệu
IEEE 829:2008A standard for the format of documents used in different stages of software testing. (Tiêu chuẩn về mẫu các tài liệu được sử dụng trong các giai đoạn khác nhau của kiểm thử phần mềm)
IEEE 1061:1998
A methodology for establishing quality requirements, identifying, implementing, analyzing, and validating the process and product of software quality metrics is defined. (Phương pháp luận để thiết lập các yêu cầu chất lượng, xác định, thực thi, phân tích, và xác nhận quá trình và sản phẩm có các chỉ số chất lượng phần mềm được xác định.)
IEEE 1059:1993 Guide for Software Verification and Validation Plans (Hướng dẫn kế hoạch kiểm tra và đánh giá phần mềm)
IEEE 1008:1987 A standard for unit testing. (Tiêu chuẩn về kiểm thử đơn vị)
IEEE 1012:2004 A standard for Software Verification and Validation. (Tiêu chuẩn về kiểm tra và đánh giá phần mềm)
IEEE 1028:2008 A standard for software inspections. (Tiêu chuẩn về kiểm tra phần mềm)
IEEE 1044:2009 A standard for the classification of software anomalies. (Tiêu chuẩn về phân loại những bất thường phần mềm)
IEEE 830:1998A guide for lập trình viêneloping system requirements specifications. (Hướng dẫn phát triển đặc tả các yêu cầu hệ thống)
IEEE 730:2014 A standard for software quality assurance plans. (Tiêu chuẩn về kế hoạch đảm bảo chất lượng phần mềm)
IEEE 1061:1998A standard for software quality metrics and methodology. (Tiêu chuẩn về hệ phương pháp luận và các chỉ số chất lượng phần mềm)
BS 7925-1: 1998 A vocabulary of terms used in software testing. (Từ vựng về các thuật ngữ được sử dụng trong kiểm thử phần mềm)
13
Ký hiệu tài liệu Tên tài liệu
BS 7925-2:1998 A standard for software component testing. (Tiêu chuẩn về kiểm thử thành phần phần mềm)
ISO/IEC/IEEE 29119-1:2013
Software and systems engineering - Software testing - Part 1: Concepts and definitions (Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 1: Khái niệm và định nghĩa).
ISO/IEC/IEEE 29119-2:2013
Software and systems engineering - Software testing - Part 2: Test processs (Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 4: Các quy trình kiểm thử).
ISO/IEC/IEEE 29119-3:2013
Software and systems engineering - Software testing - Part 3: Test documentation (Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 3: Tài liệu kiểm thử).
ISO/IEC/IEEE 29119-4:2015
Software and systems engineering - Software testing - Part 4: Test techniques (Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 4: Các kỹ thuật kiểm thử).
Bộ tiêu chuẩn ISO/IEC 14598
Information technology - Software product evaluation (Công Nghệ Thông Tin - Đánh giá sản phẩm phần mềm).
Bộ tiêu chuẩn ISO/IEC 9126
Software engineering - Product quality (Kỹ thuật phần mềm - Chất lượng sản phẩm).
ISO/IEC 25010:2011Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models.
ISO/IEC 12207:2013System and software engineering - Software life cycle processes (Tiêu chuẩn về các quá trình vòng đời phần mềm và dữ liệu vòng đời)
3.1.1 Phân tích các tiêu chuẩn liên quan đến kiểm thử phần mềm3.1.1.1 Tiêu chuẩn ISO/IEC/IEEE 29119-1:2013Tiêu chuẩn này bao gồm toàn bộ cac định nghĩa ap dụng cho tất cả cac phân khac của bộ tiêu chuẩn ISO/IEC/IEEE 29119. Mục đích của ISO/IEC/IEEE 29119-1 là giúp người đọc nắm bắt và sử dụng cac tiêu chuẩn khac trong bộ tiêu chuẩn ISO/IEC/IEEE 29119 một cach dễ dàng. Tiêu chuẩn ISO/IEC/IEEE 29119-1 giơi thiệu cac từ vựng trong đó tất cả cac tiêu chuẩn trong bộ tiêu chuẩn ISO/IEC/IEEE 29119 được xây dựng và cung cấp cac ví dụ việc ap dựng từng khai niệm trong thực tế. ISO/IEC/IEEE 29119-1 trình bày cac định nghĩa và miêu tả cac khai niệm về kiểm thử phân mềm và cach ap dụng cac quy trình, tài liệu và cac kỹ thuật được định nghĩa trong bộ tiêu chuẩn ISO/IEC/IEEE 29119. Tiêu chuẩn ISO/IEC/IEEE 29119-1 ra đời thay thế cho tiêu chuẩn BS 7925-1.Tiêu chuẩn này đã được dự thảo thành tiêu chuẩn Việt nam TCVN xxxx-1:2019 năm 2015 và đang chuẩn bị ban hành.3.1.1.2 Tiêu chuẩn ISO/IEC/IEEE 29119-2:2013ISO/IEC/IEEE 29119-2 định nghĩa một mô hình quy trình chung về kiểm thử phân mềm, có thể được sử dụng trong bất kỳ vòng đời phat triển phân mềm nào. Vai trò của quy trình kiểm thử phân mềm là để kiểm soat, quản lý và thực thi kiểm thử phân mềm trong bất kỳ tổ
14
chưc, dự an hoặc hoạt động kiểm thử phân mềm nào. Tiêu chuẩn kiểm thử phân mềm ISO/IEC/IEEE 29119-2 chú trọng đến việc giảm thiểu rủi ro, và do đó nó ap dụng phương phap kiểm thử dựa trên rủi ro. Việc thực hiện tiêu chuẩn ISO/IEC/IEEE 29119-2 cho phép kiểm thử phân mềm được ưu tiên và tập trung vào cac tính năng quan trọng nhất và cac thuộc tính chất lượng của từng hệ thông cân kiểm thử.Cac quy trình kiểm thử trong phân 2 của bộ tiêu chuẩn ISO/IEC/IEEE 29119 được định nghĩa sử dụng một mô hình 3 lơp như được trình bày trong Hình 2.
Hình 2 - Các quy trình kiểm thử trong ISO/IEC/IEEE 29119 - 2Hình trên cho thấy một bộ hoàn chỉnh tam quy trình kiểm thử quy định trong bộ tiêu chuẩn ISO/IEC/IEEE 29119-2. Mỗi quy trình được tạo thành từ một tập hợp cac hoạt động, và cac hoạt động này bao gồm một tập hợp cac nhiệm vụ cụ thể. Mỗi quy trình đều có cấu trúc chung, nó bao gồm:- Tên quy trình- Mục đích của quy trình- Kết quả của quy trình- Cac hoạt động- Cac nhiệm vụ- Đâu ra của quy trình.
Tiêu chuẩn này đã được dự thảo thành tiêu chuẩn Việt nam TCVN xxxx-2:2019 năm 2015 và đang chuẩn bị ban hành.3.1.1.3 Tiêu chuẩn ISO/IEC/IEEE 29119-3:2013 Có một môi liên kết chặt chẽ giữa ISO/IEC/IEEE 29119-2 và ISO/IEC/IEEE 29119-3. Đâu ra của cac quy trình trong ISO/IEC/IEEE 29119-2 chính là cac tài liệu hương dẫn kiểm thử quy định tại ISO/IEC/IEEE 29119-3. ISO/IEC/IEEE 29119-3 quy định cac mẫu tài liệu kiểm thử phân mềm có thể được sử dụng cho bất kỳ tổ chưc, dự an hoặc hoạt động kiểm thử nào. Tài liệu kiểm thử mô tả trong phân này chính là đâu ra của cac quy trình kiểm thử được quy định trong ISO/IEC/IEEE 29119-
15
4. Mỗi mẫu tài liệu quy định trong tiêu chuẩn ISO/IEC/IEEE 29119-3 được thiết kế dựa trên những yêu câu của tổ chưc. Tiêu chuẩn này được thay thế tiêu chuẩn IEEE 829.Mục đích của ISO/IEC/IEEE 29119-3 là cung cấp cac mẫu tài liệu hương dẫn kiểm thử phân mềm bao trùm toàn bộ chu kỳ kiểm thử phân mềm. Mỗi mẫu tài liệu có thể được thay đổi cho phù hợp vơi nhu câu riêng của từng tổ chưc khi triển khai thực hiện cac tiêu chuẩn để hỗ trợ việc thực hiện tiêu chuẩn trong bất kỳ mô hình vòng đời phat triển phân mềm nào. Cac tài liệu được đề cập trong ISO/IEC/IEEE 29119-3 bao gồm:
- Tài liệu hương dẫn quy trình kiểm thử của tổ chưc- Tài liệu hương dẫn quy trình quản lý kiểm thử- Tài liệu hương dẫn quy trình kiểm thử động
Tiêu chuẩn này đã được dự thảo thành tiêu chuẩn Việt nam TCVN xxxx-3:2019 năm 2015 và đang chuẩn bị ban hành.3.1.1.4 Tiêu chuẩn ISO/IEC/IEEE 29119-4:2015ISO/IEC/IEEE 29119-4 được xây dựng dựa trên BS 7925-2, vì vậy người sử dụng tiêu chuẩn này sẽ nhận thấy sự tương ưng chặt chẽ giữa BS 7925-2 và ISO/IEC/IEEE 29119-4. Có sự khac biệt đang kể so vơi BS 7925-2 là ISO/IEC/IEEE 29119-4 có phụ lục A trình bày về cac loại kiểm thử đặc tính chất lượng phân mềm (tưc là kiểm thử phi chưc năng) thích hợp cho việc kiểm thử từng đặc tính chất lượng được xac định trong bộ tiêu chuẩn ISO/IEC 25000 (SQuaRE). Mục đích của ISO/IEC/IEEE 29119-4 là định nghĩa một tiêu chuẩn quôc tế bao gồm cac kỹ thuật kiểm thử phân mềm được sử dụng trong suôt quy trình Thiết kế và chuẩn bị kiểm thử nêu trong trong ISO/IEC/IEEE 29119-4. Cấu trúc tổng thể của ISO/IEC/IEEE 29119-4 được trình bày trong Hình 3.
Hình 3 - ISO/IEC/IEEE 29119 - 4: Các kỹ thuật kiểm thử
Cac kỹ thuật thiết kế trường hợp kiểm thử trong ISO/IEC/IEEE 29119-4 bao gồm: - Cac kỹ thuật kiểm thử dựa trên đặc tả (cac kỹ thuật kiểm thử hộp đen): Phân tích gia
trị biên, đồ thị nguyên nhân - kết quả, phương phap cây phân loại, kỹ thuật kiểm
16
Phạm vi ap dụng, đanh gia sự phù hợp, tài liệu viện dẫn
Cac kỹ thuật thiết kế trường hợp kiểm thử
Kiểm thử hộp trắng
Kiểm thử dựa trên kinh nghiệm
Kiểm thử hộp đen
Tính độ bao phủ kiểm thử
Phụ lục - Kiểm thử cac đặc tính chất lượng
Phụ lục - Ví dụ về việc ap dụng cac kỹ thuật kiểm thử
Phụ lục - Hiệu quả bao phủ của cac kỹ thuật kiểm thử
thử tổ hợp, bảng quyết định, phân vùng tương đương, kiểm thử ngẫu nhiên, kiểm thử theo kịch bản, mô hình trạng thai, kiểm thử theo cú phap
- Cac kỹ thuật kiểm thử dựa trên cấu trúc (cac kỹ thuật kiểm thử hộp trắng): Kiểm thử nhanh/ kiểm thử dựa trên bảng quyết định, kiểm thử điều kiện nhanh, kiểm thử kết hợp điều kiện nhanh, kiểm thử luồng dữ liệu, kiểm thử MCDC, Kiểm thử câu lệnh.
- Cac kỹ thuật kiểm thử dựa trên kinh nghiệm: Đoan lỗi3.1.1.5 Tiêu chuẩn BS 7925-2
- BS 7925-2 có tên gọi đây đủ là BS 7925-2 Software testing - Software component testing.
- BS 7925-2 là tiêu chuẩn phân mềm, nó định nghĩa toàn bộ quy trình kiểm thử, kỹ thuật tạo cac trường hợp kiểm thử và cac hoạt động khac mà được sử dụng để kiểm thử thành phân.
- Tiêu chuẩn này định nghĩa cac quy trình kiểm thử thành phân phân mềm sử dụng cac kỹ thuật thiết kế trường hợp kiểm thử cụ thể và cac kỹ thuật đo lường. Tiêu chuẩn này cho phép người sử dụng trực tiếp nâng cao chất lượng kiểm thử phân mềm và sản phẩm phân mềm của họ.
- Tiêu chuẩn này hiện đã được thay thế bằng ISO/IEC/IEEE 29119-4:20153.1.1.6 ISO/IEC 25010:2011 Đây một tiêu chuẩn quôc tế về đanh gia chất lượng phân mềm. Tiêu chuẩn này thay thế cho tiêu chuẩn ISO/IEC 9126-1:2001. Tiêu chuẩn SO/IEC 25010 định nghĩa mô hình chất lượng phân mềm. Nó gồm 8 đặc tính chính và cac đặc tính phụ về chất lượng phân mềm được trình bày trong hình dươi đây:
Hình 4 - Mô hình chất lượng sản phầm phần mềm trong ISO/IEC 25010
Tương ưng vơi cac loại đặc tính chất lượng phân mềm thì có cac kỹ thuật thiết kế kiểm thử được sử dụng để kiểm thử từng đặc tính chất lượng sản phâm phân mềm được trình bày trong điều A.3 và A.4 của ISO/IEC/IEEE 29119-4.Nhận xét:
17
Các đặc tính chất lượng sản phầm/ hệ thống phần mềm
Tính năng phù hợp
Tính năng đây đủ. Tính năng chính xac.Tính năng thích hợp.
Tính hiệu quả
Đap ưng thời gian.Sử dụng tài nguyên.Dung lượng
Tính tương thích
Khả năng cùng tồn tại. Khả năng tương tac.
Tính khả dụng
Sự thích hợp.Tính có thể nhận ra.Tính dễ hiểu.Khả năng vận hành.Bảo vệ lỗi người dùng.Thẩm mĩ giao diện người dùng.Khả năng truy cập.
Độ tin cậy
Tính hoàn thiện.Tính sẵn sàng.Khả năng chịu lỗi.Khả năng phục hồi.
Tính an toàn
Tính bí mật. Tính toàn vẹn.Tính không chôi bỏ.Tính trach nhiệm.Tính xac thực.
Khả năng bảo trì
Tính Môđun hóa. Có thể dùng lại được.Có thể phân tích được.Có thể thay đổi được.Có thể kiểm tra được.
Tính khả chuyển
Khả năng thích nghi.Khả năng cài đặt.Khả năng thay thế.
Theo phân tích ở trên thì chỉ có ISO/IEC/IEEE 29119-4:2015 trình bày kha chi tiết về kỹ thuật kiểm thử, nó thay thế cho tiêu chuẩn BS 7925-2:1998. Cho đến nay, tiêu chuẩn này được rất nhiều nươc trên thế giơi biên dịch và có tiêu chuẩn quôc gia hoàn toàn tương đương vơi phiên bản của ISO/IEC/IEEE 29119-4:2015 như: Anh (BS ISO/IEC/IEEE 29119-4:2015), Đan Mạch (DS/ISO/IEC/IEEE 29119-4:2015), Na-uy (NS-ISO/IEC/IEEE 29119-4:2015), Tây Ban Nha… nhưng chưa có tại Việt Nam.3.2 Tiêu chuẩn trong nướcKiểm thử phân mềm không chỉ là một nghề còn rất mơi ở Việt Nam mà còn ở nhiều nơi trên thế giơi. Kiểm thử phân mềm là lĩnh vực không thể thiếu để hỗ trợ thiết thực cho ngành công nghiệp phân mềm cạnh tranh mạnh vơi cac quôc gia trong khu vực. Tại Việt Nam Kiểm thử phân mềm đã và đang phat triển kha mạnh trong khoảng chục năm trở lại đây nhưng chúng ta đang phải cạnh tranh gay gắt vơi cac nươc trên thế giơi như Ấn Độ, Mỹ và Trung Quôc do gặp một thach thưc về nguồn cung ưng nhân lực cho dự an của cac công ty còn hạn chế.Trươc tình hình phải đảm bảo chất lượng sản phâm phân mềm, Việt Nam đã chú trọng xây dựng và ban hành hệ thông tiêu chuẩn liên quan đến sản phẩm phân mềm:
- TCVN 8702:2011 (ISO/IEC 9126-2) Công nghệ thông tin - Chất lượng sản phẩm phân mềm - Phân 1: Cac phép đanh gia ngoài.
- TCVN 8703:2011 (ISO/IEC 9126-3) Công nghệ thông tin - Chất lượng sản phẩm phân mềm - Phân 2: Cac phép đanh gia trong.
- TCVN 8704:2011 (ISO/IEC 9126-4) Công nghệ thông tin - Chất lượng sản phẩm phân mềm - Phân 3: Cac phép đanh gia đanh gia chất lượng sử dụng.
- TCVN 8705:2011 (ISO/IEC 14598-1 và ISO/IEC 14598-2) Công nghệ thông tin - Đanh gia sản phẩm phân mềm - Phân 1: Tổng quan.
- TCVN 8706:2011 (ISO/IEC 14598-5) Công nghệ thông tin - Đanh gia sản phẩm phân mềm - Phân 2: Quy trình cho bên đanh gia.
- TCVN 8707:2011 (ISO/IEC 14598-3) Công nghệ thông tin - Đanh gia sản phẩm phân mềm - Phân 3: Quy trình cho người phat triển.
- TCVN 8708:2011 (ISO/IEC 14598-4) Công nghệ thông tin - Đanh gia sản phẩm phân mềm - Phân 4: Quy trình cho người mua sản phẩm.
- TCVN 10539:2014 (ISO/IEC 12207:2008) Kỹ thuật hệ thông và phân mềm - Cac qua trình vòng đời phân mềm.
- TCVN 10540:2014 (ISO/IEC 25051:2006) Kỹ thuật phân mềm - Yêu câu và đanh gia chất lượng sản phẩm phân mềm - Yêu câu chất lượng và hương dẫn kiểm tra sản phẩm phân mềm sẵn sàng phổ biến và thương mại hóa (COTS).
- Bộ TCVN 10607 (ISO/IEC 15026) Kỹ thuật phần mềm và hệ thống gồm cac tiêu chuẩn sau:
+ TCVN 10607-1:2014 (ISO/IEC 15026-1:2013) Kỹ thuật phân mềm và hệ thông - Đảm bảo phân mềm và hệ thông - Phân 1: Khai niệm và từ vựng;
+ TCVN 10607-2:2014 (ISO/IEC 15026-2:2011) Kỹ thuật phân mềm và hệ thông - Đảm bảo phân mềm và hệ thông - Phân 2: Trường hợp đảm bảo;
18
+ TCVN 10607-3:2014 (ISO/IEC 15026-3:2011) Kỹ thuật phân mềm và hệ thông - Đảm bảo phân mềm và hệ thông - Phân 3: Mưc toàn vẹn hệ thông;
+ TCVN 10607-4:2014 (ISO/IEC 15026-4:2012) Kỹ thuật phân mềm và hệ thông - Đảm bảo phân mềm và hệ thông - Phân 4: Đảm bảo trong vòng đời.
- Bộ tiêu chuẩn TCVN 10606 (ISO/IEC 29110) Kỹ thuật phần mềm gồm cac tiêu chuẩn sau:
+ TCVN 10606-1:2014 (ISO/IEC TR 29110-1:2011) Kỹ thuật phân mềm - Hồ sơ vòng đời cho cac tổ chưc rất bé - Phân 1: Tổng quat;
+ TCVN 10606-2:2014 (ISO/IEC 29110-2:2011) Kỹ thuật phân mềm - Hồ sơ vòng đời cho cac tổ chưc rất bé - Phân 2: Khung và sơ đồ phân loại;
+ TCVN 10606-3:2014 (ISO/IEC TR 29110-3:2011) Kỹ thuật phân mềm - Hồ sơ vòng đời cho cac tổ chưc rất bé - Phân 3: Hương dẫn đanh gia;
+ TCVN 10606-4-1:2014 (ISO/IEC 29110-4-1:2011) Kỹ thuật phân mềm - Hồ sơ vòng đời cho cac tổ chưc rất bé - Phân 4-1: Đặc tả hồ sơ: Nhóm hồ sơ chung;
+ TCVN 10606-5-1-1:2014 (ISO/IEC TR 29110-5-1-1:2012) Kỹ thuật phân mềm - Hồ sơ vòng đời cho cac tổ chưc rất bé - Phân 5-1-1: Hương dẫn quản lý và kỹ thuật: Nhóm hồ sơ chung - Hồ sơ sơ khởi;
+ TCVN 10606-5-1-2:2014 (ISO/IEC TR 29110-5-1-2:2012) Kỹ thuật phân mềm - Hồ sơ vòng đời cho cac tổ chưc rất bé - Phân 5-1-2: Hương dẫn quản lý và kỹ thuật: Nhóm hồ sơ chung - Hồ sơ cơ bản.
- Bộ tiêu chuẩn TCVN 10252 (ISO/IEC 15504) về “Công nghệ thông tin - Đanh gia qua trình” bao gồm cac tiêu chuẩn sau:
+ TCVN 10252-1:2013 (ISO/IEC 15504-1:2004), Phần 1: Khái niệm và từ vựng;
+ TCVN 10252-2:2013 (ISO/IEC 15504-2:2003 và ISO/IEC 15504-2:2003/C or 1:2004), Phần 2: Thực hiện đánh giá;
+ TCVN 10252-3:2013 (ISO/IEC 15504-3:2004), Phần 3: Hướng dẫn thực hiện đánh giá;
+ TCVN 10252-4:2013 (ISO/IEC 15504-4:2004), Phần 4: Hướng dẫn cải tiến quá trình và xác định khả năng quá trình;
+ TCVN 10252-5:2013 (ISO/IEC 15504-5:2012), Phần 5: Mô hình đánh giá quá trình vòng đời phần mềm mẫu;
+ TCVN 10252-6:2013 (ISO/IEC 15504-6:2013), Phần 6: Mô hình đánh giá quá trình vòng đời hệ thống mẫu;
+ TCVN 10252-7:2013 (ISO/IEC TR 15504-7:2008), Phần 7: Đánh giá sự thuần thục tổ chức;
+ TCVN 10252-9:2013 (ISO/IEC TS 15504-9:2011), Phần 9: Tóm lược quá trình đích;
+ TCVN 10252-10:2013 (ISO/IEC TS 15504-10:2011), Phần 10: Mở rộng an toàn.
- TCVN ISO 9000, Hệ thông quản lý chất lượng - Cơ sở và từ vựng
19
- TCVN ISO 9001 (ISO 9001), Hệ thông quản lý chất lượng - Cac yêu câu
- TCVN 8695-1 (ISO/IEC 20000-1), Công nghệ thông tin - Quản lý dịch vụ - Phân 1: Cac yêu câu.
Nhận xét: - Cac tiêu chuẩn trên đều nằm trong hệ thông cac tiêu chuẩn ISO về kỹ thuật hệ thông
và phân mềm do tiểu ban SC7 chịu trach nhiệm (xem hình 1). - Cac tiêu chuẩn được xây dựng ở trên có môi liên hệ chặt chẽ vơi nhau từ tiêu chuẩn
mang tính chất bổ trợ cho tơi cac tiêu chuẩn mang tính chất hương dẫn chung: vòng đời sản phẩm, đanh gia và triển khai cac qua trình; và cac tiêu chuẩn về đặc tính sản phẩm.
- Tuy nhiên, chưa có tiêu chuẩn về kiểm thử phân mềm. Theo hình 1 cho thấy ISO/IEC/IEEE 29119 là một bộ tiêu chuẩn quôc tế về kiểm thử phân mềm có môi quan hệ chặt chẽ vơi cac tiêu chuẩn TCVN đã xây dựng ở trên như bộ tiêu chuẩn về chất lượng phân mềm, bộ tiêu chuẩn về đanh gia sản phẩm phân mềm, cac qua trình vòng đời phân mềm…. Bộ tiêu chuẩn này đã được nhiều nươc xây dựng làm tiêu chuẩn quôc gia hoàn toàn tương đương.
Năm 2015, Bộ Thông tin và truyền thông đã cho xây dựng 03 dự thảo về kiểm thử phân mềm dựa trên bộ tiêu chuẩn ISO/IEC/IEEE 29119 và đang chuẩn bị ban hành, bao gồm cac dự thảo được trình bày trong bảng sau.
Bảng 2 - Một số dự thảo TCVN về kiểm thử phần mềm đã được xây dựng
Ký hiệu Tên dự thảo
TCVN xxxx-1:2019 (ISO/IEC/IEEE 29119-1:2013)
Kỹ thuật hệ thông và phân mềm - Phân 1: Khai niệm và Định nghĩa (ISO/IEC/IEEE 29119-1, “Software and systems engineering - Software testing - Part 1: Concepts and definitions”)
TCVN xxxx-2:2019 (ISO/IEC/IEEE 29119-2:2013)
Kỹ thuật hệ thông và phân mềm - Phân 2: Quy trình kiểm thử (ISO/IEC/IEEE 29119-2, “Software and systems engineering - Software testing - Part 2: Test process”)
TCVN xxxx-3:2019 (ISO/IEC/IEEE 29119-3:2013)
Kỹ thuật hệ thông và phân mềm - Phân 3: Tài liệu kiểm thử (ISO/IEC/IEEE 29119-3, “Software and systems engineering - Software testing - Part 3: Test documentation”).
Trên đây là 3 phân đâu của bộ tiêu chuẩn về kiểm thử phân mềm được xây dựng năm dựa trên 3 phân đâu của bộ tiêu chuẩn ISO/IEC/IEEE 29119. Phân 4 của bộ tiêu chuẩn quôc tế này được xuất bản thang 12/2015 và được Trung tâm Đo lường và Ứng dụng công nghệ - Viện Khoa học Kỹ thuật Bưu điện xây dựng để hoàn thiện bộ tiêu chuẩn về kiểm thử phân mềm dựa trên bộ tiêu chuẩn quôc tế ISO/IEC/IEEE 29119.4. Phương pháp xây dựng tiêu chuẩn4.1. Lý do và mục đích xây dựng tiêu chuẩnTheo như trình bày ở trên thì năm 2015 đã có 3 dự thảo về kiểm thử phân mềm đã được Viện KHKT Bưu điện xây dựng trên cơ sở chấp thuận nguyên vẹn bộ tiêu chuẩn ISO/IEC/IEEE 29119, đó là:
- TCVN xxxx-1:2019 (ISO/IEC/IEEE 29119-1:2013)
20
- TCVN xxxx-2:2019 (ISO/IEC/IEEE 29119-2:2013) - TCVN xxxx-3:2019 (ISO/IEC/IEEE 29119-3:2013).
Trong đó dự thảo TCVN xxxx-2:2019 (ISO/IEC/IEEE 29119-2:2013): Các quy trình kiểm thử là phân côt lõi của bộ tiêu chuẩn ISO/IEC/IEEE 29119, nó có liên quan trực tiếp đến cac kỹ thuật kiểm thử. Cac kỹ thuật kiểm thử này được nêu trong ISO/IEC/IEEE 29119-4:2015 được sử dụng cho Quy trình Thiết kế và chuẩn bị kiểm thử của TCVN xxxx-2:2019 (ISO/IEC/IEEE 29119-2:2013).Do đó, việc xây dựng tiêu chuẩn về cac kỹ thuật kiểm thử phân mềm để hoàn thiện bộ TCVN về kiểm thử để phục vụ cho công tac kiểm thử phân mềm tại Việt Nam là hết sưc cân thiết.4.2. Nhu cầu thực tế và khả năng áp dụng4.2.1. Nhu cầu thực tế và khả năng áp dụngTiêu chuẩn này có thể làm sở cư để phục vụ cho công tac kiểm thử phân mềm. Nó được dùng cho cac kỹ sư kiểm thử, trưởng nhóm kiểm thử, người phat triển và người quản lý dự an mà chịu trach nhiệm quản lý và thực hiện kiểm thử phân mềm.Qua khảo sat một sô doanh nghiệp về kiểm thử phân mềm cho thấy, chỉ có sô ít cac doanh nghiệp hiện nay thực hiện kiểm thử theo CMMI như: Fsoft, Tinh Vân, Viettel, công ty cổ phân Viễn thông - Tin học Bưu điện… Nhóm chủ trì đã gửi bản dự thảo cho một sô đơn vị nghiên cưu, xem xét đôi chiếu vơi đơn vị họ. Họ đều có những phản hồi tích cực và rất thích tài liệu này. Đây là bộ tiêu chuẩn của ISO nên rất thích hợp vơi cac đơn vị đang ap dụng CMMI. Bản thân ISO chỉ mang tính khuyến khích và tự nguyện ap dụng, không xung đột vơi cac tiêu chuẩn hiện có mà cac đơn vị đang ap dụng. Mặt khac bộ tiêu chuẩn này còn giúp họ thông nhất được cach gọi về cac thuật ngữ chuyên ngành.Còn đôi vơi cac doanh nghiệp không sử dụng CMMI và chưa tuân theo tài liệu quôc tế nào (sô lượng này chiếm đa sô vì không phải doanh nghiệp nào cũng đủ điều kiện để theo đuổi chuẩn CMMI vì nó rất tôn kém và phải có sự nỗ lực, quyết tâm cao của lãnh đạo doanh nghiệp) thì đây là một tài liệu hữu ích nhằm giúp họ thông nhất về cach gọi cac thuật ngữ chuyên ngành, giúp họ thực hiện cac quy trình kiểm thử và xây dựng cac trường hợp kiểm thử một cach bài bản, đây đủ và chính xac nhằm đảm bảo chất lượng sản phẩm phân mềm tôt nhất. 4.2.2. So sánh giữa CMMI và ISO4.2.2.1 Sự Khac biệt Thực Tiễn
Sự khac biệt cơ bản giữa CMMI và ISO là về khai niệm. CMMI là một mô hình quy trình, trong khi ISO lại là một tiêu chuẩn đanh gia.
CMMI là một tập hợp “cac phương phap thực thi tôt nhất – best practices” bắt nguồn từ những doanh nghiệp dẫn đâu trong ngành và liên quan đến cac sản phẩm kỹ thuật và phat triển phân mềm. Cac doanh nghiệp có thể đạt được CMMI từ mưc độ 1 đến 5 tùy thuộc vào mưc độ tuân thủ của cac lĩnh vực hoạt động vơi cac vùng quy trình theo yêu câu của CMMI.
ISO là một công cụ đanh gia cấp chưng chỉ cho cac doanh nghiệp có quy trình phù hợp vơi cac tiêu chuẩn đặt ra.
4.2.2.2 Hương Tiếp Cận
21
CMMI yêu câu việc đồng bộ hóa cac quy trình vơi nhu câu của doanh nghiệp để chúng trở thành một phân của văn hóa doanh nghiệp và không bao giờ bị pha vỡ dươi ap lực của deadlines. ISO thường xac định sự phù hợp, tuy nhiên cũng có một sô bất cập như ISO trong một vài trường hợp không giúp doanh nghiệp xac định được nó có thực sự phù hợp vơi chiến lược kinh doanh của doanh nghiệp hay không.
4.2.2.3 Triển Khai
Cả CMMI và ISO đều không yêu câu doanh nghiệp phải thiết lập quy trình mơi. CMMI sẽ so sanh cac quy trình sẵn có của doanh nghiệp vơi cac phương phap thực thi tôt nhất trong ngành, trong khi ISO thường sẽ yêu câu điều chỉnh cac quy trình đó phù hợp hơn vơi cac yêu câu cụ thể của ISO.
Kết luận: Qua so sanh giữa CMMI và ISO cho thấy rằng trong khi CMMI chuyên biệt, phưc tạp và liên quan đến cac mục tiêu kinh doanh của doanh nghiệp thì ISO lại linh hoạt hơn, phạm vi ap dụng rộng hơn và không liên quan trực tiếp đến cac mục tiêu kinh doanh. Tuy vậy, việc đạt được cả hai chưng chỉ ISO và CMMI sẽ giúp doanh nghiệp không những xây dựng một hệ thông quản trị chất lượng mà còn giúp họ tập trung cải tiến liên tục.4.3. Lựa chọn tài liệu tham chiếu chính 4.3.1. Phân tích các tài liệuCac tài liệu về cac kỹ thuật kiểm thử phân mềm gồm BS 7925-2:1998 và ISO/IEC/IEEE 29119-4:2015. Tuy nhiên, tiêu chuẩn BS 7925-2:1998 đã bị hủy bỏ và được thay thế bằng ISO/IEC/IEEE 29119-4:2015. Tiêu chuẩn ISO/IEC/IEEE 29119-4:2015 mơi được xuất bản lân đâu vào ngày 01/12/2015 và là phiên bản mơi nhất hiện nay, tiêu chuẩn này được rất nhiều nươc trên thế giơi biên dịch và có tiêu chuẩn quôc gia hoàn toàn tương đương vơi phiên bản của ISO/IEC/IEEE 29119-4:2015 như: Anh (BS ISO/IEC/IEEE 29119-4:2015), Đan Mạch (DS/ISO/IEC/IEEE 29119-4:2015), Na-uy (NS-ISO/IEC/IEEE 29119-4:2015)… Tiêu chuẩn này đưa ra đây đủ cac kỹ thuật thiết kế kiểm thử như kiểm thử dựa trên đặc tả, kiểm thử dựa trên cấu trúc và kiểm thử dựa trên kinh nghiệm cũng như hương dẫn về việc ap dụng cụ thể của từng kỹ thuật kiểm thử nhằm giúp cac đơn vị kiểm thử phân mềm viết được đây đủ cac trường hợp kiểm thử để đạt được độ bao phủ yêu câu.
22
4.3.2. Lựa chọn sở cứ chính Dựa trên cac sở cư đã đưa ra cùng vơi nhưng phân tích, căn cư vào mục đích, yêu câu của đề tài, căn cư vào giơi hạn phạm vi thực hiện của đề tài, nhóm thực hiện lựa chọn tài liệu sở cư chính là:ISO/IEC/IEEE 29119-4:2015 “Softwave and systems engineering - Sofwave testing - Part 4: Test Techniques” Làm cơ sở tài liệu chính để thực hiện đề tài 31-16-KHKT-TC vì :
- Tài liệu phù hợp vơi mục tiêu đề tài;
- Tài liệu được sử dụng rộng rãi ở nhiều nươc trên thế giơi;
- Tài liệu phù hợp vơi cac QCVN/TCVN hiện tại.4.4. Hình thức xây dựng tiêu chuẩn4.4.1. Sở cứ- TCVN 1-1: 2008 “Xây dựng tiêu chuẩn - phân 1: Quy trình xây dựng tiêu chuẩn Quôc
gia”.
- TCVN 1-2: 2008 “Xây dựng tiêu chuẩn - phân 2: Quy định về trình bày và thể hiện nội dung tiêu chuẩn Quôc gia”.
- TCVN 6709-1: 2007 ISO/IEC GUIDE 21-1:2005 “Chấp nhận tiêu chuẩn Quôc tế và tài liệu khac của ISO và IEC thành tiêu chuẩn Quôc gia hoặc tiêu chuẩn khu vực - phân 1: Chấp nhận tiêu chuẩn Quôc tế ISO và IEC”.
- TCVN 6709-2: 2007 ISO/IEC GUIDE 21-2:2005 “Chấp nhận tiêu chuẩn Quôc tế và tài liệu khac của ISO và IEC thành tiêu chuẩn Quôc gia hoặc tiêu chuẩn khu vực - phân 1: Chấp nhận tài liệu khac của ISO và IEC”
- Thông tư 03/2011/TT-BTTTT “Quy định hoạt động xây dựng quy chuẩn kỹ thuật quôc gia và tiêu chuẩn quôc gia thuộc Bộ Thông tin và Truyền thông” do Bộ Thông tin và Truyền thông ban hành ngày 04/01/2011.
4.4.2. Phương pháp xây dựng TCVN- Thông tư 03/2011/TT-BTTTT “Quy định hoạt động xây dựng quy chuẩn kỹ thuật quôc
gia và tiêu chuẩn quôc gia thuộc Bộ Thông tin và Truyền thông” do Bộ Thông tin và Truyền thông ban hành ngày 04/01/2011.
- TCVN 6709-1: 2007 ISO/IEC GUIDE 21-1:2005
- Mưc độ tương đương: tương đương có sửa đổi.
- Phương phap chấp nhận: xuất bản lại (biên dịch). 5. Giới thiệu tổng quan bộ tiêu chuẩn quốc tế về kiểm thử phần mềm ISO/IEC/IEEE
291195.1. Giới thiệu tổng quan bộ tiêu chuẩn ISO/IEC/IEEE 29119Thang 5 năm 2007, ISO đã thành lập một nhóm làm việc để xây dựng một bộ tiêu chuẩn mơi về kiểm thử phân mềm - một lĩnh vực mơi đôi vơi ISO - ba phân đâu của bộ tiêu chuẩn này đã được công bô vào đâu thang 9 năm 2013. Sang kiến này được IEEE và BSI hỗ trợ chu đao, cả IEEE và BSI đã tặng cac tiêu chuẩn hiện có của họ về kiểm thử (IEEE đã tặng
23
IEEE 829 và IEEE 1008; BSI đã tặng BS 7925-1 và BS 7925-2) cho ISO làm tài liệu nguồn để xây dựng bộ tiêu chuẩn mơi về kiểm thử phân mềm (Hình 4 cho thấy cac tiêu chuẩn về kiểm thử phân mềm của IEEE và BSI được dùng để xây dựng cac phân từ phân 1 đến phân 4 của bộ tiêu chuẩn mơi về kiểm thử. Cac tiêu chuẩn này hiện đã bị hủy bỏ).Bộ tiêu chuẩn mơi về kiểm thử phân mềm ISO/IEC/IEEE 29119 gồm 5 phân: - ISO/IEC/IEEE 29119: 2013 - Khai niệm và định nghĩa (thay thế BS 7925-1:1998)- ISO/IEC/IEEE 29119: 2013 - Cac quy trình kiểm thử- ISO/IEC/IEEE 29119: 2013 - Tài liệu kiểm thử (thay thế IEEE 829:2008)- ISO/IEC/IEEE 29119: 2015 - Cac kỹ thuật kiểm thử (thay thế BS 7925-2:1998)- ISO/IEC/IEEE 29119 - Kiểm thử hương từ khóa (hiện vẫn đang dự thảo)
Hình 5 - Các phần của bộ các tiêu chuẩn ISO/IEC/IEEE 29119 đã ban hành
24
Phần 1(ISO/IEC/IEEE 29119-1:2013)
Phần 4(ISO/IEC/IEEE 29119-4:2015)
Các kỹ thuật kiểm thử
Phần 2(ISO/IEC/IEEE 29119-2:2013)
Quy trìnhkiểm thử
Phần 3(ISO/IEC/IEEE 29119-3:2013)
Tài liệukiểm thử
Khái niệm và định nghĩa
BS 7925-2:1998
BS 7925-1:1998
IEEE 829:2008
Hình 6 - Các mốc thời gian phát triển các phần bộ tiêu chuẩn ISO/IEC 291195.2. Giới thiệu tổng quan tiêu chuẩn ISO/IEC/IEEE 29119-4: Các kỹ thuật kiểm thửISO/IEC/IEEE 29119-4:2015 là phiên bản mơi nhất hiện nay được xuất bản ngày 01/12/2015 có tên gọi đây đủ là ISO/IEC/IEEE 29119-4 Software and systems engineering-Software testing - Part 4: Test techniques. ISO/IEC/IEEE 29119-4 được chuẩn bị bởi Ủy ban kỹ thuật liên hợp ISO/IEC JTC 1 về công nghệ thông tin (Joint Technical Committee ISO/IEC JTC) và Tiểu ban SC 7 về cac kỹ thuật và hệ thông phân mềm (Subcommittee SC 7, Software and systems engineering) hợp tac cùng vơi Ủy ban cac tiêu chuẩn về kỹ thuật hệ thông và phân mềm của hiệp hội may tính IEEE, dươi sự thỏa thuận hợp tac của tổ chưc phat triển cac tiêu chuẩn giữa ISO và IEEE. ISO/IEC/IEEE 29119-4:2015 không mô tả quy trình Thiết kế và chuẩn bị kiểm thử; thay vào đó, nó mô tả một tập cac kỹ thuật có thể được sử dụng trong tiêu chuẩn ISO/IEC/IEEE 29119-2. Mục đích của ISO/IEC/IEEE 29119-4:2015 là cung cấp cac kỹ thuật thiết kế kiểm thử phân mềm (còn được gọi là kỹ thuật thiết kế trường hợp kiểm thử hoặc cac phương phap kiểm thử) có thể được sử dụng trong quy trình thiết kế và chuẩn bị kiểm thử được định nghĩa trong ISO/IEC/IEEE 29119-2.
25
Hình 7 - Quy trình Thiết kế và chuẩn bị kiểm thử trong ISO/IEC/IEEE 29119-2: 2013
Quy trình Thiết kế và chuẩn bị kiểm thử đưa ra 6 bươc để cac kỹ thuật kiểm thử trong ISO/IEC/IEEE 29119-4 thực hiện theo để tạo ra cac trường hợp kiểm thử, từ đó xac định mưc độ bao phủ kiểm thử đạt được. Việc sử dụng kỹ thuật kiểm thử nào còn phải tùy thuộc vào từng dự an, từng giai đoạn kiểm thử và kinh nghiệm của từng kỹ sư kiểm thử.Cac kỹ thuật kiểm thử trong ISO/IEC/IEEE 29119-4:2015 được trình bày trong Hình 8
26
Hình 8 - Các kỹ thuật thiết kế kiểm thử được trình bày trong ISO/IEC/IEEE 29119-4
Cac kỹ thuật thiết kế kiểm thử hay còn gọi là cac kỹ thuật thiết kế cac trường hợp kiểm thử đều có chung mục đích là giúp phân tích tài liệu và đưa ra cac trường hợp kiểm thử phù
27
Kiểm thử tất cả cac định nghĩa của biến (điều 5.3.7.2)
Kiểm thử tất cả cac c-use (điều 5.3.7.3)
Kiểm thử tất cả cac p-use (điều 5.3.7.4)
Kiểm thử tất cả sử dụng (điều 5.3.7.5)
Kiểm thử tất cả cac đường định nghĩa-sử dụng (5.3.7.6)
Cac kỹ thuật kiểm thửdựa trên cấu trúc (điều 5.3)
Kiểm thử câu lệnh(điều 5.3.1)
Kiểm thử nhanh(điều 5.3.2)
Kiểm thử quyết định(điều 5.3.3)
Kiểm thử điều kiện nhanh (điều 5.3.4)
Kiểm thử kết hợp đ/k nhanh (điều 5.3.5)
Kiểm thử MCDC(điều 5.3.6)
Kiểm thử luồng dữ liệu (điều 5.3.7)
Kiểm thử tất cả cac tổ hợp (điều 5.2.5.3)
Kiểm thử từng cặp (điều 5.2.5.4)
Kiểm thử từng lựa chọn (điều 5.2.5.5)
Kiểm thử lựa chọn cơ sở (điều 5.2.5.6)
Cac kỹ thuật kiểm thửdựa trên đặc tả (điều 5.2)
Phân vùng tương đương (điều 5.2.1)
Phương phap cây phân loại (điều 5.2.2)
Phân tích gia trị biên (điều 5.2.3)
Kiểm thử cú phap (điều 5.2.4)
Cac kỹ thuật kiểm thử tổ hợp (điều 5.2.5)
Kiểm thử bảng quyết định (điều 5.2.6)
Đồ thị nguyên nhân – kết quả (điều 5.2.7)
Kiểm thử chuyển đổi trạng thai (điều 5.2.8)
Kiểm thử kịch bản (điều 5.2.9)
Kiểm thử ngẫu nhiên (5.2.10)
Cac kỹ thuật kiểm thử trình bày trong ISO/IEC/IEEE 29119-4
Cac kỹ thuật kiểm thửdựa trên kinh nghiệm (điều 5.4)
Đoan lỗi(điều 5.4.1)
hợp để kiểm thử ưng dụng, sản phẩm,... cân kiểm thử, bảo đảm ưng dụng, sản phẩm,... được kiểm thử sẽ có chất lượng tôt nhất và làm hài lòng khach hàng.Cac kỹ thuật thiết kế kiểm thử bao gồm kỹ thuật kiểm thử dựa trên đặc tả (kiểm thử hộp đen), kỹ thuật kiểm thử dựa trên cấu trúc (kiểm thử hộp trắng) và kỹ thuật kiểm thử dựa trên kinh nghiệm (xem hình 7). Tại sao lại có nhiều kỹ thuật thiết kế kiểm thư như vậy? Cac kỹ thuật này sẽ ap dụng như thế nào cho kết quả tôt nhất? Có phải ưng vơi mỗi chương trình, module, chưc năng,... thì phải ap dụng tất cả những kỹ thuật trên đây?Thật sự khi thiết kế cac trường hợp kiểm thử thì không cân phải ap dụng tất cả cac kỹ thuật trên, mà chỉ ap dụng một hoặc một vài kỹ thuật trên là đủ, tùy loại hình của yêu câu mà mình ap dụng kỹ thuật tương ưng, nhiều yêu câu có thể ap dụng được nhiều kỹ thuật cùng lúc, nhưng cũng có nhiều yêu câu chỉ ap dụng được một loại kỹ thuật thiết test cases nào đó thôi. Ví dụ về sơ đồ di chuyển màn hình của web hoặc ưng dụng thì không thể ap dụng kỹ thuật phân vùng tương đương hay phân tích gia trị biên hoặc bảng quyết định, hoặc nếu ap dụng được thì cũng không hiệu quả. Vơi yêu câu này tôt nhất nên ap dụng kỹ thuật bảng chuyển đổi trạng thai.
6. Nội dung tiêu chuẩn6.1. Tên tiêu chuẩnKỹ thuật hệ thông và phân mềm - Kiểm thử phân mềm - Phân 4: Cac kỹ thuật kiểm thử
6.2. Bố cục của tiêu chuẩn1. Phạm vi ap dụng
2. Sự phù hợp
3. Tài liệu viện dẫn
4. Thuật ngữ và định nghĩa
5. Cac kỹ thuật thiết kế kiểm thử
5.1 Tổng quan
5.2 Cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
5.3 Cac kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
5.4 Cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
6. Tính độ bao phủ kiểm thử
6.1 Tổng quan
6.2 Tính độ bao phủ cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
6.3 Tính độ bao phủ cac kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
6.4 Tính độ bao phủ cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
Phụ lục A (Tham khảo) Cac đặc tính chất lượng kiểm thử
Phụ lục B (Tham khảo): Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử dựa trên đặc tả
28
Phụ lục C (Tham khảo): Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
Phụ lục D (Tham khảo): Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
Phụ lục E (Tham khảo) Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử thay đổi cho nhau
Phụ lục F (Tham khảo): Hiệu quả bao phủ của kỹ thuật thiết kế kiểm thử
Phụ lục G (tham khảo): Đôi chiếu kỹ thuật thiết kế kiểm thử giữa TCVN xxxx-4:2019 (ISO/IEC/IEEE 29119-4:2015) và BS 7925-2.
6.3 Đối chiếu TCVN với tài liệu gốc
29
Bảng 3 - Bảng đối chiếu dự thảo TCVN xxxx-4:2019 với tài liệu gốc
Nội dung TCVN xxxx-4:2019Tài liệu tham khảo
ISO/IEC/IEEE 29119-4:2015Phương pháp
xây dựngGiải thích lý do sửa đổi, bổ sung
Lời giơi thiệu Introduction Chấp thuận nguyên vẹn
1. Phạm vi ap dụng 1. Scope Chấp thuận nguyên vẹn
2. Sự phù hợp 2. Conformance Chấp thuận nguyên vẹn
3. Tài liệu viện dẫn 3. Normative references Chấp thuận nguyên vẹn
4. Thuật ngữ và định nghĩa 4. Terms and definitions Chấp thuận nguyên vẹn
5. Cac kỹ thuật thiết kế kiểm thử 5. Test Design Techniques Chấp thuận nguyên vẹn
5.1 Tổng quan 5.1 Overview Chấp thuận nguyên vẹn
5.2 Cac kỹ thuật thiết kế kiểm thử dựa trên đặc tả
5.2 Specification-Based Test Design Techniques
Chấp thuận nguyên vẹn
5.3 Cac kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
5.3 Structure-Based Test Design Techniques
Chấp thuận nguyên vẹn
5.4 Cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
5.4 Experience-Based Test Design Techniques
Chấp thuận nguyên vẹn
6. Tính độ bao phủ kiểm thử 6 Test Coverage Measurement
6.1 Tổng quan 6.1 Overview Chấp thuận
30
Nội dung TCVN xxxx-4:2019Tài liệu tham khảo
ISO/IEC/IEEE 29119-4:2015Phương pháp
xây dựngGiải thích lý do sửa đổi, bổ sung
nguyên vẹn
6.2 Tính độ bao phủ cac kỹ thuật thiết kế kiểm thử dựa trên đặc tả
6.2 Test Measurement for Specification-Based Test Design Techniques
Sửa đổivà bổ sung
1. Thay cụm từ: “shall be calculated using the following definitions - sẽ được tính bằng cách sử dụng các định nghĩa sau:” bằng cụm từ: “sẽ được tính bằng công thức tính độ bao phủ nêu trong điều 6.1, trong đó” vì:
- Tất cả kỹ thuật kiểm thử đều sử dụng công thưc trong điều 6.1 để tính toan độ bao phủ.
- Tất cả cac ví dụ ở trong cac phụ lục B, C, D, E đều viết là sử dụng công thức nêu trong điều… nhưng đôi chiếu đến điều đó lại không có công thưc tính nào cả.
Ví dụ: B.2.2.9 Tính độ bao phủ của phương phap cây phân loại (nếu dịch đúng theo tài liệu gôc và đôi chiếu vơi điều 6.2.2 thì không có công thưc nào cả)
2. Bỏ gạch đâu dòng thư nhất trong cac đề mục nhỏ “coverage is …” vì bản thân từng đề mục đã nhắc đến độ bao phủ của kỹ thuật này. Người đọc chỉ cân đọc đề mục là đã biết đến độ bao phủ của kỹ thuật cân tính.
Ví dụ: Điều 6.2.1 (trang 26, tài liệu gôc), gạch đâu dòng thư nhất viết là:
- Coverage is the equivalence partition coverage => nhắc lại đề mục 6.2.1
6.3 Tính độ bao phủ cac kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
6.3 Test Measurement for Structure-Based Test Design Techniques
6.4 Tính độ bao phủ cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiêm
6.4 Test Measurement for Experience-Based Testing Design Techniques
Phụ lục A (tham khảo): Cac đặc tính chất lượng kiểm thử
Annex A (informative) Testing Quality Characteristics
Chấp thuận nguyên vẹn
31
Nội dung TCVN xxxx-4:2019Tài liệu tham khảo
ISO/IEC/IEEE 29119-4:2015Phương pháp
xây dựngGiải thích lý do sửa đổi, bổ sung
A.1 Cac đặc tính chất lượng A.1 Quality Characteristics Chấp thuận nguyên vẹn
A.2 Cac kiểu kiểm thử liên quan đến chất lượng
A.2 Quality-Related Types of Testing
Chấp thuận nguyên vẹn
A.3 Ánh xạ cac đặc tính chất lượng đến cac kiểu kiểm thử
A.3 Mapping Quality Characteristics to Types of Testing
Chấp thuận nguyên vẹn
A.4 Ánh xạ cac đặc tính chất lượng đến cac kỹ thuật thiết kế kiểm thử
A.4 Mapping Quality Characteristics to Test Design Techniques
Chấp thuận nguyên vẹn
Phụ lục B (tham khảo): Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử dựa trên đặc tả
Annex B (informative) Guidelines and Examples for the Application of Specification-Based Test Design Techniques
Chấp thuận nguyên vẹn
B.1 Hương dẫn và ví dụ về kỹ thuật thiết kế kiểm thử dựa trên đặc tả
B.1 Guidelines and Examples for Specification-Based Testing
Chấp thuận nguyên vẹn
B.2 Cac ví dụ về kỹ thuật thiết kế kiểm thử dựa trên đặc tả
B.2 Specification-Based Test Design Technique Examples
Chấp thuận nguyên vẹn
Phụ lục C (tham khảo): Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
Annex C (informative) Guidelines and Examples for the Application of Structure-Based Test Design Techniques
Chấp thuận nguyên vẹn
C.1 Hương dẫn và ví dụ về kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
C.1 Guidelines and Examples for Structure-Based Testing
Chấp thuận nguyên vẹn
C.2 Cac ví dụ về kỹ thuật thiết kế kiểm thử dựa trên cấu trúc
C.2 Structure-Based Test Design Technique Examples
Chấp thuận nguyên vẹn
32
Nội dung TCVN xxxx-4:2019Tài liệu tham khảo
ISO/IEC/IEEE 29119-4:2015Phương pháp
xây dựngGiải thích lý do sửa đổi, bổ sung
Phụ lục D (tham khảo): Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
Annex D (informative) Guidelines and Examples for the Application of Experience-Based Test Design Techniques
Chấp thuận nguyên vẹn
D.1 Hương dẫn và ví dụ về kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
D.1 Guidelines and Examples for Experience-Based Testing
Chấp thuận nguyên vẹn
D.2 Cac ví dụ về kỹ thuật thiết kế kiểm thử dựa trên kinh nghiệm
D.2 Experience-Based Test Design Technique Examples
Chấp thuận nguyên vẹn
Phụ lục E (tham khảo): Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử thay thế cho nhau
Annex E (informative) Guidelines and Examples for the Application of Interchangeable Test Design Techniques
Chấp thuận nguyên vẹn
E.1 Hương dẫn và ví dụ về việc ap dụng cac kỹ thuật thiết kế kiểm thử thay thế cho nhau
E.1 Guidelines and Examples for Interchangeable Test Design Techniques
Chấp thuận nguyên vẹn
Phụ lục F (tham khảo): Hiệu quả bao phủ của kỹ thuật thiết kế kiểm thử
Annex F (informative) Test Design Technique Coverage Effectiveness
Chấp thuận nguyên vẹn
F.1 Hiệu quả bao phủ của kỹ thuật thiết kế kiểm thử
F.1 Test Design Technique Coverage Effectiveness
Chấp thuận nguyên vẹn
Phụ lục G (tham khảo): Đôi chiếu kỹ thuật thiết kế kiểm thử giữa TCVN xxxx-4:2019 (ISO/IEC/IEEE 29119-4:2015) và BS 7925-2
Annex G (informative) ISO/IEC/IEEE 29119-4 and BS 7925-2 Test Design Technique Alignment
Chấp thuận nguyên vẹn
33
7. Kiến nghị- Đề xuất sửa đổi tên đăng ký theo đề cương “Nghiên cưu, xây dựng tiêu chuẩn quôc
gia “Kiểm thử phân mềm - Phân 4: Cac kỹ thuật kiểm thử” thành “Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 4: Các kỹ thuật kiểm thử” theo đúng tên tài liệu gôc ISO/IEC/IEEE 29119-4: 2015 để phù hợp vơi cac TCVN đã ban hành.
- Đề xuất ban hành tiêu chuẩn TCVN xxxx-4:2019, Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 4: Các kỹ thuật kiểm thử cùng vơi TCVN xxxx-1:2019, TCVN xxxx-2:2019, TCVN xxxx-3:2019 được xây dựng năm 2015 để cho trọn bộ tiêu chuẩn kiểm thử về phân mềm để ap dụng tại cac đơn vị kiểm thử trong nươc.
34
Thư mục tài liệu tham khảo[1] ISO/IEC/IEEE 29119-1, Software and systems engineering - Software testing - Part 1: Concepts and definitions (ISO/IEC/IEEE 29119-1, “Kỹ thuật hệ thông và phân mềm - Kiểm thử phân mềm - Phân 1: Khai niệm và định nghĩa”).
[2] ISO/IEC/IEEE 29119-2, Software and systems engineering - Software testing - Part 2: Test processes (ISO/IEC/IEEE 29119-1, “Kỹ thuật hệ thông và phân mềm - Kiểm thử phân mềm - Phân 2: Quy trình kiểm thư”).
[3] ISO/IEC/IEEE 29119-3, Software and systems engineering - Software testing - Part 3: Test documentation (ISO/IEC/IEEE 29119-3, “Kỹ thuật hệ thông và phân mềm - Kiểm thử phân mềm - Phân 3: Tài liệu kiểm thử”)
[4] Giao trình kiểm thử, PGS.TS. Trương Anh Hoàng, PGS.TS. Phạm Ngọc Hùng, TS. Đặng Văn Hưng, - Đại học Quôc gia Hà nội.
[5] Giải thuật và lập trình, Lê Minh Hoàng - Đại học Sư phạm Hà nội.
[6] http://pda.vietbao.vn/Cong-nghe/Loi-phan-mem-gay-thiet-hai-hang-ty-USD/20200532/224/
[7] http://www.baomoi.com/nhung-lo-hong-phan-mem-co-gia-hang-tram-trieu-usd/c/9049905.epi
[8] http://www.bloomberg.com
[9] https://en.wikipedia.org/wiki/HealthCare.gov
[10] http://genk.vn/loi-phan-mem.htm
[11] http://www.theverge.com/2015/5/1/8530737/787-dreamliner-software-bug-faa
[12] http://tuyensinh.nld.com.vn/tieu-diem-tuyen-sinh
[13] http://www.kinhtedothi.vn/o-to-xe-may/thi-truong-xe/2016/05/81033FEC/hon-2-400-xe-camry-2-0e-bi-thu-hoi-do-loi-phan-mem/
[14] http://www.theborneopost.com/2013/06/27/increasing-demand-for-software-test-professionals
[15] http://www.technavio.com/report/outsourced-software-testing-market-in-india-2014-2018
[16] https://www.sqs.com/us/software-testing-skills-to-advance-your-career.php?cn=1
[17] https://www.quora.com/Is-software-testing-a-good-career-choice
[18] http://aptech.fpt.edu.vn/chitiet.php?id=3473
35