Построение компилятора на базе llvm — Павел Сычев

Построение компилятора на базе LLVM

Сычев Павел (luckygeck@yandex-team.ru)

Чем будем заниматься

Построение компилятора на базе LLVM

Чем будем заниматься

〉Расскажу вкратце про компиляторы и их архитектуру

〉Обзор LLVM - что это такое и зачем он нам нужен

〉Написание компилятора простого Языка Программирования

4

Компилятор

Построение компилятора на базе LLVM

Компилятор

Вход: описание программы на исходном языке компилятора

Выход: описание той же программы, но на другом языке (зачастую в машинном коде или assembler-е)

6

Чтобы не переписывать компилятор “с нуля” под каждую целевую платформу - используется трехэтапная компиляция программ

Трехэтапная компиляция

7

Обработка и генерация дерева

разбораОптимизатор Генератор

машинного кода

Исходный код Машинный код

Frontend Backend

Трехэтапная компиляция

8

Haskell Frontend Оптимизатор

x86 Backend

Haskell

x86

PowerPC Backend

PowerPC

ARM BackendARM

C++ FrontendC++

Rust FrontendRust

LLVM-based compiler

9

Построение компилятора на базе LLVM

Обработка и генерация дерева разбора

11

1. Лексический анализ (производится Лексером)

2. Синтаксический анализ (производится Парсером)

Обработка и генерация дерева разбора

Лексер

12

Lexer:

>> (3 + 4.1) * a [«(», «3», «+», «4.1», «)», «*», «a»]

<< (LPAR) (INT, «3») (PLUS) (FLOAT, «4.1») (RPAR) (MUL) (ID, «a»)

1. Лексический анализ: 〉 Разбиение текста программы на токены

Можно использовать генераторы лексеров: Lex, Flex, JLex

Парсер

2. Синтаксический анализ:

〉 Преобразуем последовательность токенов в дерево разбора (AST) в соответствии с грамматикой языка.

13

Можно использовать генераторы парсеров: Yacc, Bison, JavaCC

*

a+

3 4.1

(LPAR) (INT, «3») (PLUS) (FLOAT, «4.1») (RPAR) (MUL) (ID, «a»)

LLVM

Построение компилятора на базе LLVM

LLVM

LLVM (Low Level Virtual Machine, compiler infrastructure)

〉Набор модулей и инструментов для разработки компиляторов

〉В основе LLVM лежит промежуточное представление (Intermediate Representation, IR) кода - типизированный трёхадресный код в SSA-форме

〉Реализует VM c RISC-подобными инструкциями и бесконечным количеством регистров

〉Есть API для написания frontend-а на С++ и OCaml

15

Возможности LLVM

〉Оптимизация промежуточного представления кода

〉Компилятор байт-кода в машинный код

〉 x86, x86-64, ARM, PowerPC, SPARC, MIPS, IA-64, Alpha

〉Интерпретация и JIT-компиляция байт-кода

〉 x86, x86_64, PowerPC, MIPS

〉Имеет множество frontend-ов: С, C++, Objective-C, Fortran, Ada, Haskell, Java, Python, Ruby, JavaScript, GLSL

16

Типы данных в LLVM

Построение компилятора на базе LLVM

Простые типы

Целые числа произвольной разрядности

〉 i1, i32, i17, i256, …

Числа с плавающей точкой

〉 float, double, …

Пустое значение

〉 void

18

Сложные типы

Указатели (тип*)

〉 i1*, i32*, float*, ...

Массивы ([число элементов х тип])

〉 [10 x float], [2 x i32]

Вектор (для упрощения SIMD операций)

〉 <4 x i32>

Структуры

〉 {i1, i32, double}

Функции:

〉i32 (i32, i32)

〉float ({float, float}, i1*)

19

Операции над стандартными типами в LLVM

Построение компилятора на базе LLVM

Операции

〉 Полный набор арифметических операций

〉 Тип операндов нужно всегда указывать явно

〉 Есть операции приведения типов (аналоги static_cast<> и reinterpret_cast<>)

21

; x = (a + b) * c - d / e

%tmp1 = add float %a, %b %tmp2 = mul float %tmp1, %c %tmp3 = fdiv float %d, %e %x = sub float %tmp2, %tmp3

Операции - 2

Инструкции для передачи управления Инструкции работы с памятью

〉 load, store, malloc, alloca

Работа с исключениями

〉 invoke, unwind

Работа с указателями

〉 getelementptr, extractvalue, insertvalue

22

Оптимизация кода в LLVM

Построение компилятора на базе LLVM

Общая схема работы алгоритма оптимизации

〉Ищем определенный шаблон в коде для преобразования

〉Проверяем, что преобразование ничего не сломает

〉Проводим преобразование

24

Простая оптимизация SimplifySubInst

〉Ищет выражения вида:

〉 X - X, X - 0, …

〉Проверяем, что преобразование ничего не сломает

〉 Если X - целое число, то данные выражения всегда можно оптимизировать

〉Проводим преобразование

〉 X - X = 0;

〉 X - 0 = X;

25

Встроенные алгоритмы оптимизации

〉Удаление неиспользуемого кода (dead code elimination)

〉Выделение одинаковых подвыражений (common subexpression elimination)

〉Распространение констант (constant propagation, condition propagation)

〉Inline-подстановка функций

〉Раскрутка и размыкание циклов, вынос инвариантов за пределы цикла

〉Оптимизация хвостовой рекурсии

26

Вспомогательные оптимизации

Преобразование может быть не только оптимизирующим, но и использоваться для анализа и инструментации

〉 Вывод графа потока управления в формате Graphviz

27

mkdir llvm_calc

Построение компилятора на базе LLVM

Постановка задачи

$> echo '2*2' | ./llvm_calc $< 4

$> echo '(1+1)*123/(6-3)' | ./llvm_calc $< 82

$> echo 'blah-blah' | ./llvm_calc $< Error: syntax error

Код лексера [Flex]

Построение компилятора на базе LLVM

Лексер [Flex]

31

%{

#include <string> #include "parser.hpp"

#define SAVE_TOKEN yylval.string = new std::string(yytext, yyleng) #define TOKEN(t) (yylval.token = t)

%}

%option noyywrap

32

%% [ \t\n] ; [0-9]+\.[0-9]* SAVE_TOKEN; return TDOUBLE; [0-9]+ SAVE_TOKEN; return TINT;

"(" return TOKEN(TLPAREN); ")" return TOKEN(TRPAREN);

"+" return TOKEN(TPLUS); "-" return TOKEN(TMINUS); "*" return TOKEN(TMUL); "/" return TOKEN(TDIV);

. printf("Unknown token!\n"); yyterminate(); %%

Код парсера [Bison]

Построение компилятора на базе LLVM

%% program : expr { ROOT_NODE = $1; };

numeric : TINT { $$ = new TInteger(atol($1->c_str())); delete $1; } | TDOUBLE { $$ = new TDouble(atof($1->c_str())); delete $1; } ;

expr : numeric | expr TMUL expr { $$ = new TBinaryOperator(*$1, $2, *$3); } | expr TDIV expr { $$ = new TBinaryOperator(*$1, $2, *$3); } | expr TPLUS expr { $$ = new TBinaryOperator(*$1, $2, *$3); } | expr TMINUS expr { $$ = new TBinaryOperator(*$1, $2, *$3); } | TLPAREN expr TRPAREN { $$ = $2; } ; %%

Код llvm-fronted [C++]

Построение компилятора на базе LLVM

LLVM AST

36

Value* TInteger::codeGen(TCodeGenContext& context) { return ConstantInt::get( Type::getInt64Ty(getGlobalContext()), value ); }

Value* TDouble::codeGen(TCodeGenContext& context) { return ConstantFP::get( Type::getDoubleTy(getGlobalContext()), value );

}

37

Value* TBinaryOperator::codeGen(TCodeGenContext& context) { Instruction::BinaryOps instr; switch (op) { case TPLUS: instr = Instruction::Add; break; case TMINUS: instr = Instruction::Sub; break; case TMUL: instr = Instruction::Mul; break; case TDIV: instr = Instruction::SDiv; break; default: return nullptr; }

return BinaryOperator::Create( instr, lhs.codeGen(context), rhs.codeGen(context), "op", context.mainBlock ); }

Генерация промежуточного представления кода

38

void TCodeGenContext::GenerateCode() { std::vector<Type*> argTypes; FunctionType* ftype = FunctionType::get( Type::getInt64Ty(getGlobalContext()), makeArrayRef(argTypes),false ); mainFunction = Function::Create(ftype, GlobalValue::InternalLinkage, "main", mainModule.get()); mainBlock = BasicBlock::Create(getGlobalContext(), "entry", mainFunction, 0); Value* result = root.codeGen(context); ReturnInst::Create(getGlobalContext(), result, mainBlock); }

39

$> echo '(1+1)*123/(6/2)' | ./llvm_calc

; ModuleID = 'module'

define internal i64 @main() { entry: %0 = add i64 1, 1 %1 = mul i64 %0, 123 %2 = sdiv i64 6, 2 %3 = sdiv i64 %1, %2 ret i64 %3 } Main returned: 82

Оптимизация генерируемого кода

40

void TCodeGenContext::GenerateCode() { ... ReturnInst::Create(getGlobalContext(), result, mainBlock); FunctionPassManager passManager(mainModule.get());

// Ликвидация общих подвыражений. passManager.add(createGVNPass());

passManager.doInitialization(); passManager.run(*mainFunction); }

41

$> echo '(1+1)*123/(6/2)' | ./llvm_calc

; ModuleID = 'module'

define internal i64 @main() { entry: ret i64 82 } Main returned: 82

Полезные ссылки по теме

Построение компилятора на базе LLVM

Полезные ссылки по теме

Lexer & Parser 〉http://ds9a.nl/lex-yacc/cvs/lex-yacc-howto.html 〉http://masters.donntu.org/2014/fknt/ianushkevych/ind/index.htm

LLVM Overview 〉http://habrahabr.ru/post/47878/ 〉http://www.aosabook.org/en/llvm.html

LLVM Tutorial 〉http://llvm.org/docs/tutorial/index.html 〉http://habrahabr.ru/post/119850/

HOWTO: Write your own toy compiler 〉http://gnuu.org/2009/09/18/writing-your-own-toy-compiler/all/1/ 〉https://github.com/lsegal/my_toy_compiler

43

Спасибо за внимание!

45

Павел Сычев

Разработчик

Контакты

luckygeck@yandex-team.ru