Proces

Proces je abstrakce, kterou operační systém používá ke spuštění vašeho kódu. Zabalí váš kód do tohoto procesu a přiřadí mu paměť a další sdílené prostředky. Abstrakce procesu umožňuje operačnímu systému „rozlišovat“ mezi spuštěnými programy, takže mezi nimi vznikají konflikty. Například proces 1 nemůže přistupovat k paměti rezervované procesem 2. Je také důležitá z hlediska bezpečnosti uživatelů. Pokud uživatel 1 spustí proces, bude tento proces moci číst soubory přístupné tomuto uživateli.

Následující schéma obsahuje vizuální znázornění procesu. Proces obsahuje kód, který má vykonat, alokovanou paměť RAM a všechna data vytvořená programem (proměnné, otevřené soubory atd.).

Nyní můžeme vidět stejný „program“ (stejný kus kódu) běžící ve více procesech současně.

Můžeme nyní přejít k druhé fázi: jak je vlastně souběžnosti (nebo dokonce paralelismu) dosaženo? Z pohledu vás jako vývojáře existují dva mechanismy, které můžete použít k dosažení „souběžnosti“: multithreading nebo multiprocessing.

Multithreading

Vlákna jsou souběžné toky provádění v rámci jednoho procesu. Proces spouští několik vláken provádění, která se „vyvíjejí“ nezávisle na tom, co mají dělat.

Řekněme, že máme program, který musí stáhnout data ze tří webových stránek a pak je spojit do závěrečné zprávy. Reakce každé webové stránky s daty trvá přibližně dvě sekundy. Jednovláknový program by vypadal nějak takto:

d1 = get_website_1() # 2 secs
d2 = get_website_2() # 2 secs
d3 = get_website_3() # 2 secscombine(d1, d2, d3) # very fast

Celková doba provádění bude >6 sekund:

Vícevláknový program začne stahovat data ze tří webových stránek současně a počká, až budou všechny hotové, aby mohl vytvořit závěrečnou zprávu.

t1 = Thread(get_website_1)
t2 = Thread(get_website_2)
t3 = Thread(get_website_3)wait_for_threads()d1 = t1.result()
d2 = t2.result()
d3 = t3.result()combine(d1, d2, d3)

Vykonání se nyní bude blížit ~2 sekundám, protože tři webové stránky budou reagovat přibližně ve stejnou dobu:

V Pythonu se vlákna vytvářejí pomocí třídy Thread, z modulu threading, a několik příkladů můžete vidět v prvním sešitě z repozitáře mého výukového programu: 1. Základy vláken.ipynb.

Vlákna a sdílená data

Vlákna jsou explicitně vytvořena vaším programem, takže žijí v rámci jednoho procesu. To znamená, že sdílejí všechna stejná data z procesu. Mohou číst a měnit místní proměnné a přistupovat ke stejné paměti nebo stejným prostředkům (soubory, síťové sokety atd.).

To může způsobit některé problémy, speciálně neočekávané mutace sdílených dat a Race Conditions. Příklad závodní podmínky si můžete prohlédnout v sešitě 2. Data vláken & Podmínky závodu.ipynb. Ve stejném sešitě zavádíme některé mechanismy „synchronizace“ vláken, abychom se vyhnuli Race Conditions, ale tytéž mechanismy mohou potenciálně přinést problém Deadlock. V sešitě je příklad Deadlocku: 3. Deadlocks.ipynb.

Producenti, konzumenti a fronty

Problémy se synchronizací lze vyřešit pouhou změnou paradigmatu.

Nejlepším způsobem, jak se vyhnout problémům se synchronizací, je vyhnout se synchronizaci úplně.

Toho lze dosáhnout použitím vzoru Producer-Consumer. Vlákna Producer vytvářejí „čekající úkoly“, které je třeba provést, a poté je umístí do sdílené fronty. Vlákna konzumentů tyto úkoly z fronty přečtou a provedou vlastní práci.

V jazyce Python je třída Queue z modulu queue frontou bezpečnou pro vlákna, která se pro tyto účely používá.

V sešitě
4 je příklad modelu Producer-Consumer. Model Producer-Consumer.ipynb.

Globální zámek interpretu Pythonu

GIL je jednou z nejnenáviděnějších funkcí Pythonu. Ve skutečnosti není tak špatná, ale má hroznou pověst.

GIL je „globální“ zámek, který umisťuje interpret jazyka Python a který zaručuje, že v daném okamžiku může k procesoru přistupovat pouze 1 vlákno. To zní hloupě: proč se budete starat o vícevláknový kód, když k CPU bude mít v daném okamžiku stejně přístup jen jedno vlákno?“

Tady je důležité pochopit, že váš kód není jen o využití CPU. Váš kód bude provádět různé úlohy, jako je čtení souborů, získávání informací ze sítě atd. Vzpomínáte si na naše přístupové časy s latencí? Tady jsou znovu: