RTCA DO-330Software Tool Qualification Considerations

Airton Lastori

3-set-2013

CE-230Prof. CunhaProf. V. Dias

● Introdução● Propósitos● Como usar● Processos e Anexos● Apêndices● SCADE e DO-330● Conclusão● Referências

Agenda

Introduçãoqualificação de ferramentas

A norma DO-330 explica o processo e objetivos para qualificação de ferramentas.●é um suplemento da norma DO-178C que trata da conformidade com regulamentações nos sistemas de software aeronáuticos.●neste contexto, uma ferramenta é um software ou uma de suas partes funcionais, que serve para apoiar o desenvolvimento, geração ou transformação de código, testes ou análises de outro software, os seus dados e ou documentação.●exemplos: geradores automáticos de código, compiladores, ferramentas de testes e ferramentas de gestão de configuração.

O que é?

4

A norma DO-178C determina que:

● sempre que processos são eliminados, reduzidos ou automatizados pelo uso de ferramentas, sem que suas saídas sejam sempre verificadas como especificado na seção 6 (Software Verification Process).

● o propósito é garantir a confiabilidade pelo menos equivalente ao processo sem apoio de ferramentas

É necessário qualificar?

DO-178C, seção 12.2 – Tool Qualification

5

Propósitosqualidade, confiabilidade e segurança

● garantir que ferramentas de apoio ao desenvolvimento de software tenham QUALIDADE, evitando que erros sejam introduzidos no software-alvo devido a problemas nas ferramentas

● o processo de qualificação é necessário para obter CONFIABILIDADE nas funcionalidades da ferramenta

● o esforço no processo de qualificação depende do potencial impacto que um erro na ferramenta pode ter na SEGURANÇA (safety) do sistema - quanto maior o risco, maior o rigor na qualificação

Por que usar?

DO-330, seção 2 – Purpose of Tool Qualification

7

● orientação para desenvolvedores e usuários de ferramentas

● orientação específica para desenvolvedores de ferramentas, já que DO-178C ou DO-278A cobrem o software final e não ferramentas de apoio ao desenvolvimento

● orientação para software presente no ar ou em terra, mas também pode orientar outros domínios como automotivo, espacial, sistemas, hardware eletrônico, bancos de dados aeronáuticos e processos de validação de segurança (safety).

Motivações para criar a norma

DO-330, seção 1 – Introduction

8

● usuário da ferramenta

◦ identifica a ferramenta a ser usada

◦ verifica seu impacto no processo de desenvolvimento do software

◦ instala e adequa a ferramenta ao processo de desenvolvimento

◦ executa a qualificação da ferramenta no contexto requerido para aprovação do software

● desenvolvedor da ferramenta

◦ descreve o processo de desenvolvimento e verificação da ferramenta

◦ garante que a ferramenta atende aos requisitos dos usuários com QUALIDADE

● outros (opcionais):◦ integrador da ferramenta

◦ entidade certificadora

◦ etc

Quem participa?

DO-330, seção 3 – Characteristics

9

Como usarcritérios e níveis de qualidade

1. certificar-se que a qualificação é necessária

2. classificar a ferramenta de acordo com Critérios

‣ para definir o impacto que um possível erro na ferramenta teria sobre a segurança (safety) do software-alvo

3. de acordo com o Software Level (seção 2.3 da DO-178C) e os Critérios, determina-se qual o TQL (Nível de Qualificação da Ferramenta)

‣ sendo TQL-1 mais rigoroso e TQL-5 menos rigoroso

3 passos iniciais

DO-178C, seção 12.2 – Tool Qualification

11

Certificar-se que a qualificação é necessária:●sempre que processos da DO-178C são eliminados, reduzidos ou automatizados pelo uso de ferramentas sem que suas saídas seja sempre verificadas como especificado na seção 6 (Software Verification Process).

●o processo de qualificação pode ser aplicado para uma única ferramenta, uma coleção de ferramentas ou funções específicas da ferramenta

◦ no caso de ferramentas com múltiplas funções é necessário demonstrar proteção entre funções, ou seja, uso de um mecanismo que garante que uma função não é impactada por outra

●o escopo do processo de qualificação é definido para uso em um sistema específico (detalhado no PSAC - Plan for Software Aspects of Certification)

◦ para outros sistemas, a ferramenta deve ser re-qualificada

Passo 1/3

12

Classificar de acordo com 3 Critérios:●critério 1: ferramenta cuja saída é parte integral do software-alvo e consequentemente pode inserir um erro●critério 2: ferramenta que realiza a verificação automática de partes dos processos no ciclo de vida do software - no caso de falha, não haverá identificação de erros nos processos de verificação ou desenvolvimento, o que pode deixar passar defeitos no software-alvo●critério 3: qualquer outra ferramenta que pode falhar na detecção de um erro em seu escopo de uso

Passo 2/3

13

De acordo com o Software Level e os critérios de 1 a 3, determina-se qual o TQL:

Passo 3/3

Software LevelCriteria

1 2 3

A TQL-1 TQL-4 TQL-5

B TQL-2 TQL-4 TQL-5

C TQL-3 TQL-5 TQL-5

D TQL-4 TQL-5 TQL-5

DO-330, seção 3 – Characteristics

14

Como a DO-278A (domínio CNS & ATM) define os critérios de qualificação de ferramentas e TQL aplicável:

Exemplo em outro domínio

Assurance Level

Criteria

1 2 3

AL1 TQL-1 TQL-4 TQL-5

AL2 TQL-2 TQL-4 TQL-5

AL3 TQL-3 TQL-5 TQL-5

AL4 TQL-4 TQL-5 TQL-5

AL5 TQL-4 TQL-5 TQL-5

DO-330, apêndice B

15

Processosplanejamento, desenvolvimento e integrais

● Planejamento● Desenvolvimento● Processos Integrais◦ Verificação◦ Gerência de Config.◦ Qualidade◦ Consolidação

● Dados de Qualificação● Considerações

adicionais

Ciclo de Vida de Ferramentasprocessos

17

● Para cada processo, a norma define os objetivos e atividades.

● Há uma relação entre eles do tipo: para atender determinado objetivo, as atividades a, b, c deverão ser executadas.

● O Anexo A traz uma tabela que evidencia esta relação.

Objetivos e Atividades

18

● O Anexo A também especifica se o Objetivo+Atividades é aplicável.

● A aplicabilidade é determinada de acordo com o nível de rigor TQL estabelecido anteriormente.

Aplicabilidade dos Objetivos e Atividades

19

● Ao executar atividades são gerados dados de saída que qualificarão ou não a ferramenta.

● A norma descreve na seção 10 orientações sobre os dados mínimos coletados em cada atividade dos processos.

● As tabelas do Anexo A também relacionam objetivos, atividades e dados de saída para qualificação.

Dados de qualificação

DO-330, seção 10 – Tool Qualification Data

20

DO-330, anexo A

Tabelasexemplo

21

● Dados do ciclo de vida da ferramenta podem ser atribuídas a uma das duas Categorias de Controle: CC1e CC2.

● Estas categorias estão relacionadas aos controles necessários sobre os dados no processo de Gerência de Configuração (TCM) descrito na seção 7.

● Para cada atividade do processo é definida a necessidade de CC1 e/ou CC2 de acordo com o nível de rigor TQL pré-estabelecido.

● Atividades CC2 são um subconjunto de CC1.

● O anexo A relaciona as Categorias de Controle de acordo com o nível de rigor TQL.

DO-330, seção 7.3 – Data Control Categories

Categorias de Controleprocesso de Gerência de Configuração

22

ApêndicesInformações de suporte

● A Membros◦ 5 da Embraer, 4 da Esterel Technologies (~420 total)

● B Exemplo de Aplicabilidade◦ slide anterior “Como Usar”

● C FAQ geral◦ como adaptar a outros domínios, além de Airbone

● D FAQ específico◦ domínios Airbone e CNS/ATM

Apêndices informações de suporte

24

SCADE e DO-330conformidade da ferramenta com a norma

A norma DO-330 determina que:

● empresas que oferecem ferramentas COTS (Commercial Off-The-Shelf) estão sujeitas a auditorias por parte das autoridades de certificação, permitindo acesso completo ao código fonte, especificações e todos os artefatos de certificação.

Ferramentas comerciais

DO-330, seção 11.3 – Qualifying COTS Tools

26

De acordo com a Esterel Technologies:

● SCADE UA DF Generator Certification Kit contém material demonstrando a autoridades de certificação que o SCADE UA DF Generator foi desenvolvido em conformidade com objetivos da DO-330 em TQL-1. O kit permite o acesso aos documentos necessários às tarefas de qualificação e certificação.

● Compliance Analysis of SCADE UA DF Generator wrt. objectives of DO-330 at TQL-1

SCADE e DO-330

http://www.esterel-technologies.com/products/scade-arinc-661/user-application/generate/scade-ua-df-generator-do-178c-level-certification-

kit27

De acordo com a Esterel Technologies:● Os processos SCADE que são usados, atualmente baseados na DO-178B, adaptam-

se facilmente a um workflow típico SCADE DO-178C. ◦ O Suplemento MBDV será aplicável via ferramenta de modelagem do SCADE.

◦ O documento STQC será aplicável via Reporter, MTC, KCG e QTE (Ambiente de Teste Qualificado), porém terão que ser qualificados em contexto específico.

● Os principais benefícios desta abordagem são:◦ DO-178B/C Tabela A-5 - Nenhuma revisão de código como SCADE Suíte KCG requer qualificação

◦ DO-178B/C Tabela A-6 - O teste pode ser realizado através de uma combinação de testes HLR executadas no host e target; Teste de uma amostra representativa de código-fonte, o Kit Verificação Compiler (CVK) no target

◦ DO-178B/C Tabela A-7 – Objetivos de Cobertura Estrutural podem ser alcançados através da realização de Model Coverage Analysis: executando MTC no modelo SCADE com base dos testes HLR acima (tal como descrito no FAQ #11 do Suplemento MBDV)

SCADE e DO-178C

http://www.esterel-technologies.com/industries/do-178b-and-do-178c/do-178c-and-scade/

28

● A norma DO-330 trata especificamente de como garantir QUALIDADE, CONFIABILIDADE E SEGURANÇA (safety) em software aeronáutico, quando ferramentas automatizam parcialmente ou integralmente processos do seu ciclo de vida.

● Como responsáveis por aferir tais atributos, faz-se necessário conhecer, entender e aplicar a norma.

● O SCADE UA, segundo o seu fabricante, foi desenvolvido antendendo requisitos da norma no seu nível mais rigoroso (TQL-1) e pode ser auditado com o seu Certification Kit. Vários processos podem ser automatizados com o apoio da Suite SCADE.

Conclusão

29

● Norma RTCA DO-330● Norma RTCA DO-178C● Norma RTCA DO-278A● Paper: DO-330/ED-215 - Benefits of the New Tool

Qualification Document, Pothon, jan-2013, open-do.org● Website Esterel Technologies, em 28ago2013:◦ http://www.esterel-technologies.com/products/scade-arinc-

661/user-application/generate/scade-ua-df-generator-do-178c-level-certification-kit◦ http://www.esterel-technologies.com/products/scade-arinc-

661/user-application/generate/scade-ua-df-generator-do-178c-level-certification-kit

Referências

30

31