Diskusijās, kurās tiek kritizēts Python, bieži tiek runāts par to, cik grūti ir izmantot Python daudzšķiedru darbam, norādot ar pirkstiem uz tā saukto globālo tulku ...

Piezīme: Pēc tautas pieprasījuma, lai es demonstrētu dažas alternatīvas metodes, tostarp asinhronizāciju/gaidīšanu, kas ir pieejamas tikai kopš Python 3.5 parādīšanās, esmu pievienojis daži atjauninājumi raksta beigās . Izbaudi!

Diskusijās, kurās tiek kritizēts Python, bieži tiek runāts par to, kā ir grūti izmantot Python daudzšķiedru darbam, norādot ar pirkstiem uz tā saukto globālo tulku bloķēšanu (sirsnīgi saukta par GIL ), kas neļauj vienlaikus darboties vairākiem Python koda pavedieniem. Šī iemesla dēļ daudzpavedienu modulis Python nedarbojas tā, kā jūs to gaidītu, ja neesat Python izstrādātājs un jūs nākat no citām valodām, piemēram, C ++ vai Java. Jāpaskaidro, ka Python joprojām var rakstīt kodu, kas darbojas vienlaikus vai paralēli, un būtiski mainīt iegūto veiktspēju, ja vien tiek ņemtas vērā dažas lietas. Ja vēl neesat to lasījis, iesaku apskatīt Eqbal Korānu raksts par vienlaicīgumu un paralēlismu rubīnā šeit Toptal Engineering Blog.

Šajā Python vienlaicīguma apmācībā mēs uzrakstīsim nelielu Python skriptu, lai lejupielādētu populārākos Imgur attēlus. Mēs sāksim ar versiju, kas attēlus lejupielādē secīgi vai pa vienam. Kā priekšnoteikums jums būs jāreģistrējas lietojumprogramma vietnē Imgur . Ja jums vēl nav Imgur konta, vispirms izveidojiet to.

Šo pavedienu piemēru skripti ir pārbaudīti ar Python 3.6.4. Ar dažām izmaiņām tiem vajadzētu darboties arī ar Python 2 - urllib ir tas, kas visvairāk mainījies starp šīm divām Python versijām.

mainīt pasīvo balsi uz aktīvo balss pārveidotāju

Darba sākšana ar Python multithreading

Sāksim, izveidojot Python moduli ar nosaukumu | _+_ |. Šajā failā būs visas funkcijas, kas vajadzīgas, lai ielādētu attēlu sarakstu un tos lejupielādētu. Mēs sadalīsim šīs funkcijas trīs atsevišķās funkcijās:

• download.py
• get_links
• download_link

Trešā funkcija | _+_ | tiks izmantota, lai izveidotu lejupielādes galamērķa direktoriju, ja tā vēl nav.

Imgur API prasa, lai HTTP pieprasījumos būtu | _+_ | galvene ar klienta ID. Šo klienta ID varat atrast tās lietojumprogrammas informācijas panelī, kuru esat reģistrējis vietnē Imgur, un atbilde būs JSON kodēta. Mēs varam izmantot Python standarta JSON bibliotēku, lai to atšifrētu. Attēla lejupielāde ir vēl vienkāršāks uzdevums, jo viss, kas jums jādara, ir iegūt attēlu pēc tā URL un ierakstīt failā.

Skripts izskatās šādi:

Palaižot šo Python pavedienu parauga skriptu tajā pašā datorā, kas tika izmantots iepriekš, lejupielādes laiks ir 4,1 sekunde! Tas ir 4,7 reizes ātrāk nekā iepriekšējā piemērā. Lai gan tas ir daudz ātrāk, ir vērts pieminēt, ka GIL dēļ šajā procesā vienlaikus tika izpildīts tikai viens pavediens. Tāpēc šis kods ir vienlaicīgs, bet nav paralēls. Iemesls, kāpēc tas joprojām ir ātrāks, ir tas, ka tas ir saistīts ar IO. Procesors gandrīz nesalauž sviedrus, lejupielādējot šos attēlus, un lielākā daļa laika tiek pavadīts, gaidot tīklu. Tāpēc Python daudzpavedieni var ievērojami palielināt ātrumu. Procesors var pārslēgties starp pavedieniem, kad viens no tiem ir gatavs veikt kādu darbu. Izmantojot pavedienu moduli Python vai jebkurā citā interpretētā valodā ar GIL, faktiski var samazināties veiktspēja. Ja jūsu kods veic ar CPU saistītu uzdevumu, piemēram, gzip failu atspiešanu, izmantojot | _+_ | moduļa izpildes laiks būs lēnāks. CPU saistītiem uzdevumiem un patiesi paralēlai izpildei mēs varam izmantot daudzapstrādes moduli.

Kamēr de facto atsauce Python ieviešanai - CPython - ir GIL, tas neattiecas uz visām Python ieviešanām. Piemēram, IronPython, Python ieviešanai, kurā tiek izmantota .NET sistēma, nav GIL, kā arī nav Java ieviešanai Jython. Jūs varat atrast strādājošo Python ieviešanu sarakstu šeit .

Saistīts: Toptal izstrādātāju Python paraugprakse un padomi ] ( https://www.toptal.com/python/tips-and-practices ) https://www.toptal.com/python/tips-and-practices ))

Vienlaicīgums un paralēlisms Python 2. piemērs: vairāku procesu nārstošana

Daudzapstrādes moduli ir vieglāk ievietot nekā pavedienu moduli, jo mums nav jāpievieno klase, piemēram, Python pavedienu piemērs. Vienīgās izmaiņas, kas mums jāveic, ir pamatfunkcijā.

Lai izmantotu vairākus procesus, mēs izveidojam daudzprocesu | _+_ |. Izmantojot tajā paredzēto kartes metodi, mēs nodosim URL sarakstu kopumam, kas savukārt radīs astoņus jaunus procesus un izmantos katru no tiem, lai paralēli lejupielādētu attēlus. Tas ir īsts paralēlisms, taču tam ir izmaksas. Visa skripta atmiņa tiek kopēta katrā apakšprocesā, kas tiek radīts. Šajā vienkāršajā piemērā tas nav liels darījums, bet tas var viegli kļūt par nopietnām izmaksām, kas nav svarīgas programmas.

Vienlaicīgums un paralēlisms Python 3. piemērs: izplatīšana vairākiem darbiniekiem

Lai gan pavedienu vākšanas un daudzapstrādes moduļi ir lieliski piemēroti skriptiem, kas darbojas jūsu personālajā datorā, kas jums jādara, ja vēlaties, lai darbs tiktu veikts ar citu mašīnu, vai arī jums ir jāpalielina līdz vairāk nekā CPU vienā mašīnā rokturis? Lielisks piemērs tam ir ilgstoši back-end uzdevumi tīmekļa lietojumprogrammām. Ja jums ir daži ilgstoši uzdevumi, jūs nevēlaties vienā ierīcē apkopot virkni apakšprocesu vai pavedienu, kuriem jāpalaiž pārējais lietojumprogrammas kods. Tas pasliktinās jūsu lietojumprogrammas veiktspēju visiem lietotājiem. Lieliski būtu šos darbus izpildīt citā vai daudzās citās mašīnās.

Lieliska Python bibliotēka šim uzdevumam ir RQ , ļoti vienkārša, bet spēcīga bibliotēka. Izmantojot bibliotēku, jūs vispirms ievietojat funkciju un tās argumentus. Šī marinēti gurķi funkciju izsaukuma attēlojums, kas pēc tam tiek pievienots a Redis sarakstu. Darba iesaukšana ir pirmais solis, bet pagaidām neko nedos. Mums ir nepieciešams arī vismaz viens darbinieks, kurš uzklausa šo darba rindu.

jenkins vs gitlab ci

Pirmais solis ir instalēt un palaist savā datorā Redis serveri vai piekļūt esošam Redis serverim. Pēc tam esošajā kodā ir veiktas tikai dažas nelielas izmaiņas. Vispirms mēs izveidojam RQ rindas gadījumu un nododam tam Redis servera instanci no redis-py bibliotēka . Tad tā vietā, lai tikai izsauktu mūsu | _+_ | metodi, mēs zvanām | _+_ |. Savākšanas metode kā pirmo argumentu ņem funkciju, pēc tam visi citi argumenti vai atslēgvārdu argumenti tiek nodoti šai funkcijai, kad darbs tiek faktiski izpildīts.

zebra lp 2824 plus tukšu uzlīmju drukāšana

Pēdējais solis, kas mums jādara, ir sākt dažus darbiniekus. RQ nodrošina ērtu skriptu, lai palaistu darbiniekus noklusējuma rindā. Vienkārši skrien | _+_ | termināļa logā, un darbinieks sāks klausīties noklusējuma rindā. Lūdzu, pārliecinieties, vai jūsu pašreizējais darba direktorijs ir tāds pats kā skriptu atrašanās vieta. Ja vēlaties klausīties citu rindu, varat palaist | _+_ | un tā noklausīsies šo nosaukto rindu. Lieliska lieta par RQ ir tā, ka, kamēr jūs varat izveidot savienojumu ar Redis, jūs varat vadīt tik daudz darbinieku, cik vēlaties, tik daudzās dažādās mašīnās, cik vēlaties; tāpēc, palielinoties lietojumprogrammai, to ir ļoti viegli palielināt. Šeit ir RQ versijas avots:

Tomēr RQ nav vienīgais Python darba rindas risinājums. RQ ir viegli lietojams, un tas ārkārtīgi labi aptver vienkāršus lietošanas gadījumus, bet, ja ir vajadzīgas papildu iespējas, citi Python 3 rindas risinājumi (piemēram, Selerijas ) Var izmantot.

Python multithreading vs Multiprocessing

Ja jūsu kods ir saistīts ar IO, jums noderēs gan daudzapstrāde, gan daudzpavedieni Python. Daudzapstrādi ir vieglāk iemest, nekā vītņot, bet tai ir lielāka atmiņas pieskaitāmā summa. Ja jūsu kods ir saistīts ar CPU, visticamāk, labāka izvēle būs daudzapstrāde, it īpaši, ja mērķa mašīnai ir vairāki kodoli vai CPU. Tīmekļa lietojumprogrammām un gadījumos, kad darbs ir jāsadala vairākās mašīnās, RQ jums būs labāks.

Saistīts: Kļūsti progresīvāks: izvairies no 10 visbiežāk sastopamajām kļūdām, ko pieļauj Python programmētāji ] ( https://www.toptal.com/python/top-10-mistakes-that-python-programmers-make ) https://www.toptal.com/python/top-10-mistakes-that-python-programmers-make ))

Atjaunināt

Python | _+_ |

Kopš Python 3.2 kaut kas jauns, kas sākotnējā rakstā netika skarts, ir pakotne | _+_ |. Šī pakete nodrošina vēl vienu veidu, kā izmantot vienlaicīgumu un paralēlismu ar Python.

Sākotnējā rakstā es minēju, ka Python daudzapstrādes moduli būtu vieglāk ievietot esošajā kodā nekā pavedienu moduli. Tas bija tāpēc, ka Python 3 vītņu modulim bija nepieciešama | _+_ | apakšklasēšana klasē, kā arī izveidojot | _+_ | pavedieniem, lai uzraudzītu darbu.

Izmantojot a vienlaicīgas. nākotnes. ThreadPoolExecutor padara Python pavedienu parauga kodu gandrīz identisku daudzapstrādes modulim.