postgresql microconf

PostgreSQL â âûñîêîíàãðóæåííûõ ïðîåêòàõ

Âàñèëüåâ Àëåêñåé Þðüåâè÷leopard.in.ua

Èþíü 2011

Âàñèëüåâ Î.Þ. PostgreSQL â âûñîêîíàãðóæåííûõ ïðîåêòàõ

×òî òàêîå PostgreSQL?

Ââåäåíèå

PostgreSQL � ñâîáîäíàÿ îáúåêòíî-ðåëÿöèîííàÿ ñèñòåìàóïðàâëåíèÿ áàçàìè äàííûõ (ÑÓÁÄ).

Ïî÷åìó PostgreSQL?

Íàäåæíîñòü;

Ïîääåðæêà ÁÄ ïðàêòè÷åñêè íåîãðàíè÷åííîãî ðàçìåðà;

Ìîùíûå è íàä¼æíûå ìåõàíèçìû òðàíçàêöèé è ðåïëèêàöèè;

Íàñëåäîâàíèå;

Ëåãêàÿ ðàñøèðÿåìîñòü;


ÂâåäåíèåÏðîèçâîäèòåëüíîñòü â PostgreSQL

Íå èñïîëüçóéòå íàñòðîéêèïî óìîë÷àíèþ

Èñïîëüçóéòå àêòóàëüíóþâåðñèþ ñåðâåðà

Òåñòû ïðîèçâîäèòåëüíîñòèñëóæàò äëÿ ïðîäâèæåíèÿêîíêðåòíûõ ïðîäóêòîâ


Âûáîð îïòèìàëüíûõ íàñòðîåêÏðîèçâîäèòåëüíîñòü â PostgreSQL

Ìåòîä ñðàâíèòåëüíîãîòåñòèðîâàíèÿ

pgtune � íàñòðîéêè ïî¾æåëåçó¿


Îïòèìèçàöèÿ ÁÄ è ïðèëîæåíèÿÏðîèçâîäèòåëüíîñòü â PostgreSQL

Ãðàììîòíîåïðîåêòèðîâàíèå áàçû

Íàëè÷èå áûñòðûõ ïóòåéäîñòóïà ê äàííûì �èíäåêñîâ

Îáõîä èçâåñòíûõ ïðîáëåì(ìåäëåííûé count, unions èò.ä.)


×òî òàêîå ìàñøòàáèðîâàíèå?Ìàñøòàáèðîâàíèå PostgreSQL

Ìàñøòàáèðîâàíèå � ýòîïðîöåññ îáåñïå÷åíèÿ ðîñòàñèñòåìû, ò.å.ìàñøòàáèðóåìîñòè. Â ñâîþî÷åðåäü,ìàñøòàáèðóåìîñòü � ýòîñâîéñòâî ñèñòåìû, ñîõðàíÿÿïðîïóñêíóþ ñïîñîáíîñòü,ñïðàâëÿòüñÿ ñ óâåëè÷åíèåìíàãðóçêè ïðè óâåëè÷åíèèîïðåäåëåííûõ ðåñóðñîâñèñòåìû.


ÏðîáëåìûÌàñøòàáèðîâàíèå PostgreSQL

Îãðàíè÷åíèå ïðîïóñêíîéñïîñîáíîñòè ÷òåíèÿäàííûõ

Îãðàíè÷åíèå ïðîïóñêíîéñïîñîáíîñòè çàïèñè äàííûõ


ÏîäõîäûÌàñøòàáèðîâàíèå PostgreSQL

Âåðòèêàëüíîåìàñøòàáèðîâàíèå

Ãîðèçîíòàëüíîåìàñøòàáèðîâàíèå


ÌåòîäûÌàñøòàáèðîâàíèå PostgreSQL

Ïàðòèöèîíèðîâàíèå(ñåêöèîíèðîâàíèå) òàáëèö

Ðåïëèêàöèÿ

Øàðäèíã


Ïàðòèöèîíèðîâàíèå (ñåêöèîíèðîâàíèå) òàáëèöÌàñøòàáèðîâàíèå PostgreSQL

Ïàðòèöèîíèðîâàíèå (ñåêöèîíèðîâàíèå) � ýòî ðàçáèåíèåáîëüøèõ ñòðóêòóð áàç äàííûõ (òàáëèöû, èíäåêñû) íà ìåíüøèåêóñî÷êè. PostgreSQL ïîääåðæèâàåò äâà êðèòåðèÿ äëÿ ñîçäàíèÿïàðòèöèé:

Ïàðòèöèîíèðîâàíèå ïî äèàïàçîíó çíà÷åíèé (range)

Ïàðòèöèîíèðîâàíèå ïî ñïèñêó çíà÷åíèé (list)


Ìåòîäû äåëåíèÿ äàííûõ íà ïàðòèöèèÌàñøòàáèðîâàíèå PostgreSQL


Ïàðòèöèîíèðîâàíèå â PostgreSQLÌàñøòàáèðîâàíèå PostgreSQL


ÐåïëèêàöèÿÌàñøòàáèðîâàíèå PostgreSQL

Ðåïëèêàöèÿ �ìåõàíèçìñèíõðîíèçàöèè ñîäåðæèìîãîíåñêîëüêèõ êîïèé îáúåêòà(íàïðèìåð, ñîäåðæèìîãî áàçûäàííûõ). Óòèëèòû äëÿñîçäàíèÿ ðåïëèêàöèè âPostgreSQL:

Slony-I

pgpool-I/II

Bucardo

Londiste

RubyRep

Ïîòîêîâàÿ ðåïëèêàöèÿ


Slony-IÌàñøòàáèðîâàíèå PostgreSQL

Îñîáåííîñòè:

Ìàñòåð/ñëåéâ ðåïëèêàöèÿ

Ðàáîòà ÷åðåç òðèããåðû

Âîçìîæíîñòü ïîòàáëè÷íîéðåïëèêàöèè

Ïîääåðæêà êàñêàäíîéðåïëèêàöèè

Ïîääåðæêàîòêàçîóñòîé÷èâîñòè

Íåäîñòàòêè:

Ñëîæíàÿ íàñòðîéêà

Äîáàâëåíèå óçëà �òðóäîåìêàÿ îïåðàöèÿ

Òàáëèöû äîëæíû èìåòüprimary key


LondisteÌàñøòàáèðîâàíèå PostgreSQL





Âîçìîæíîñòüäâóõñòîðîííåãî ñðàâíåíèÿòàáëèö

Ïðîñòîòà óñòàíîâêè èíàñòðîéêè


Îòñóòñòâèå êàñêàäíîéðåïëèêàöèè

Îòñóòñòâèåîòêàçîóñòîé÷èâîñòè

Òàáëèöû äîëæíû èìåòüprimary key


BucardoÌàñøòàáèðîâàíèå PostgreSQL


Ìàñòåð/ìàñòåð èëèÌàñòåð/ñëåéâ ðåïëèêàöèÿ



Ïîääåðæêà êàñêàäíîéðåïëèêàöèè


Perl, òðåáóåòñÿ Pl/PgSQL èPl/PerlU



RubyRepÌàñøòàáèðîâàíèå PostgreSQL


Ìàñòåð/ìàñòåð èëèÌàñòåð/ñëåéâ ðåïëèêàöèÿ



Ïðîñòîòà óñòàíîâêè èíàñòðîéêè


Ruby, ¾ïîåäàåò¿ ïàìÿòü èïðîöåññîð ïðè áîëüøèõîáúåìàõ äàííûõ



Streaming Replication (Ïîòîêîâàÿ ðåïëèêàöèÿ)Ìàñøòàáèðîâàíèå PostgreSQL


Èç êîðîáêè íà÷èíàÿ ñ 9âåðñèè PostgreSQL


Ðàáîòà ÷åðåç WAL ëîãè

Ðåïëèöèðóåòñÿ èíñòàíñPostgreSQL, à íå îòäåëüíàÿáàçà äàííûõ (ñîçäàåòñÿòî÷íàÿ êîïèÿ èíñòàíñàÑÓÁÄ)


Îòäåëüíî áàçó äàííûõðåïëèöèðîâàòü íåëüçÿ



PgPool-IIÌàñøòàáèðîâàíèå PostgreSQL

PgPool-II ýòî ïðîñëîéêà,ðàáîòàþùàÿ ìåæäó ñåðâåðàìèPostgreSQL è êëèåíòàìè ÑÓÁÄPostgreSQL. Îíà ïðåäîñòàâëÿåòñëåäóþùèå ôóíêöèè:

Îáúåäèíåíèå ñîåäèíåíèé

Ðåïëèêàöèÿ

Áàëàíñèðîâêà íàãðóçêè

Îãðàíè÷åíèå ëèøíèõñîåäèíåíèé

Ïàðàëëåëüíûå çàïðîñû

Êåøèðîâàíèå çàïðîñîâ


PgPool-II ðåïëèêàöèÿÌàñøòàáèðîâàíèå PostgreSQL

Ìèíóñ � ïàäåíèå ïðîèçâîäèòåëüíîñòè (ñèíõðîííàÿ ðåïëèêàöèÿ,áëîêèðîâêà òàáëèöû)


Ïðèìåð ðåøåíèÿ ïðîáëåìû ÷òåíèÿ äàííûõÌàñøòàáèðîâàíèå PostgreSQL

Ñîçäàíèå êëàñòåðà PostgreSQL äëÿ ðåøåíèÿ ïðîáëåìû ÷òåíèÿäàííûõ:

PgPool-II 3 + PostgreSQL 9


Âçàèìîäåéñòâèå PgPool-II 3 ñ PostgreSQL 9PgPool-II 3 è PostgreSQL 9

Íåäîñòàòêè ïîòîêîâîé ðåïëèêàöèè â PostgreSQL 9:

Îòñóòñòâèå îòêàçîóñòîé÷èâîñòè

Íåò ïóëîâ ñîåäèíåíèé

Íåò áàëàíñèðîâêè íàãðóçêè

Íóæíî ó÷èòûâàòü, êàêèå çàïðîñû íå ïðèíèìàþò ñëåéâû(INSERT, UPDATE, DELETE, COPY FROM, TRUNCATE èò.ä.)


Âçàèìîäåéñòâèå PgPool-II 3 ñ PostgreSQL 9PgPool-II 3 è PostgreSQL 9


Ïëþñû è ìèíóñûPgPool-II 3 è PostgreSQL 9

Ïëþñû:

Ïðîèçâîäèòåëüíîñòü çàïèñè ïàäàåò íåçíà÷èòåëüíî

Îòêàçîóñòîé÷èâîñòü

Ïóëû ñîåäèíåíèé

Áàëàíñèðîâêà íàãðóçêè � óâåëè÷åíèå ïðîèçâîäèòåëüíîñòèíà ÷òåíèå

Ìèíóñû:

Àñèíõðîííàÿ ðåïëèêàöèÿ � õîòü è çàäåðæêà ðåïëèêàöèèîòíîñèòåëüíî íèçêàÿ, ìîãóò âîçíèêàòü ïðîáëåìû ïðèáàëàíñèðîâêå


Íîâûå âîçìîæíîñòè â pgpool-II 3PgPool-II 3 è PostgreSQL 9

Íîâûé ïàðàìåòð ¾sub_mode¿ äëÿ ïîòîêîâîé ðåïëèêàöèè

Îòïðàâêà íà ìàñòåð çàïðîñîâ íà çàïèñü

Èíòåëëåêòóàëüíàÿ áàëàíñèðîâêà íàãðóçêè: ïðîâåðêàçàäåðæêè ðåïëèêàöèè ìåæäó ìàñòåðîì è ñëåéâîì.

Äîáàâëåíèå ñëåéâîâ áåç îñòàíîâêè pgpool-II


Îáíàðóæåíèå çàäåðæêè ðåïëèêàöèèPgPool-II 3 è PostgreSQL 9

Îáíàðóæåíèå çàäåðæêè ðåïëèêàöèè: êàê ýòî ðàáîòàåò?

(SELECT pg_current_xlog_location())-

(SELECT pg_last_xlog_receive_location())=

åñëè ðåçóëüòàò ïðåâûøàåò ¾delay_threshold¿ � çàïðîñîòïðàâëÿåòñÿ íà ìàñòåð.


Ëîãèðîâàíèå çàäåðæêè ðåïëèêàöèèPgPool-II 3 è PostgreSQL 9

Ïàðàìåòð ¾log_standby_delay¿ ìîæåò áûòü:

none: íå ëîãèðîâàòü çàäåðæêó

if_over_threshold: ëîãèðîâàòü, åñëè ðåçóëüòàò ïðåâûñèëdelay_threshold

always: âñåãäà ëîãèðîâàòü çàäåðæêó


Çàäåðæêà ðåïëèêàöèè Slony-IPgPool-II 3 è PostgreSQL 9 vs Slony-I


Íèçêîå ïàäåíèå ïðîèçâîäèòåëüíîñòè ìàñòåðàPgPool-II 3 è PostgreSQL 9 vs Slony-I


Íèçêàÿ çàäåðæêà ðåïëèêàöèèPgPool-II 3 è PostgreSQL 9 vs Slony-I


ÈòîãPgPool-II 3 è PostgreSQL 9

Ïðîñòîòà â íàñòðîéêå èîáñëóæèâàíèè

Ìû ìîæåì äîáàâëÿòüñëåéâ ñåðâåðà áåç ïîòåðèïðîèçâîäèòåëüíîñòè íàçàïèñü

Áîëüøå ñëåéâ ñåðâåðîâ �áîëüøåïðîèçâîäèòåëüíîñòü íà÷òåíèå

Íèçêàÿ çàäåðæêàðåïëèêàöèè ìåæäóìàñòåðîì è ñëåéâîì


ØàðäèíãÌàñøòàáèðîâàíèå PostgreSQL

Øàðäèíã � ðàçäåëåíèåäàííûõ íà óðîâíå ðåñóðñîâ.Êîíöåïöèÿ øàðäèíãàçàêëþ÷àåòñÿ â ëîãè÷åñêîìðàçäåëåíèè äàííûõ ïîðàçëè÷íûì ðåñóðñàì èñõîäÿ èçòðåáîâàíèé ê íàãðóçêå.Óòèëèòû äëÿ ñîçäàíèÿøàðäèíãà â PostgreSQL:

PL/Proxy

Sequoia

GridSQL for EnterpriseDBAdvanced Server

Greenplum Database

HadoopDB


Ïóëû ñîåäèíåíèéÓçêèå ìåñòà â PostgreSQL

Ìóëüòèïëåêñîðû ñîåäèíåíèé(ïðîãðàììû äëÿ ñîçäàíèÿïóëà êîííåêòîâ) � ïîçâîëÿþòóìåíüøèòü íàêëàäíûå ðàñõîäûíà áàçó äàííûõ, â ñëó÷àå, êîãäàîãðîìíîå êîëè÷åñòâîôèçè÷åñêèõ ñîåäèíåíèé âåäåò êïàäåíèþ ïðîèçâîäèòåëüíîñòèPostgreSQL.

PgBouncer

Pgpool


Âîïðîñû è Îòâåòû

Ñïàñèáî çà âíèìàíèå!


postgresql microconf

Technology