Pas një viti e gjysmë zhvillimi, Fondacioni Apache Software ka lëshuar lansimi i versionit të ri të Apache Hadoop 3.3.0, version në të cilën ai shtoi përmirësime për platformat e ARM, mbështetje për caktimin e nisjeve të kontejnerëve dhe gjëra të tjera.
Apache Hadoop pozicionohet si një platformë falas për të organizuar përpunimi i shpërndarë i sasive të mëdha të të dhënave duke përdorur paradigma e hartës / zvogëlimit, në të cilën një detyrë ndahet në shumë copa më të vogla të izoluara, secila prej të cilave mund të ekzekutohet në një nyje të veçantë grumbullimi.
Magazinimi i bazuar në Hadoop mund të shtrihet në mijëra nyje dhe të përmbajë ekzabajt të të dhënave.
Rreth Apache Hadoop
Hadoop përfshin një zbatim të sistemit të skedarëve të shpërndarë Hadoop (HDFS), i cili siguron tepricë të dhënash automatikisht dhe optimizohet për aplikimet MapReduce.
Një funksionalitet kryesor është që për caktimin efektiv të punës, secili skedar sistem duhet të dijë dhe të sigurojë vendndodhjen e tij, emrin e raftit (më saktësisht, të ndërprerësit) ku është nyja e punëtorit.
Aplikacionet Hadoop mund ta përdorin këtë informacion për të ekzekutuar punën në nyjën ku ndodhen të dhënat dhe, duke mos arritur atë, në të njëjtën raft / ndërprerës, duke zvogëluar kështu trafikun e rrjetit.
Për të thjeshtuar aksesin në të dhëna në depon e Hadoop, Janë zhvilluar bazat e të dhënave HBase dhe gjuha e Derrit të ngjashme me SQL, i cili është një lloj SQL për MapReduce, pyetjet e të cilit mund të paralelizohen dhe përpunohen nga platforma të ndryshme Hadoop.
Projekti vlerësohet si plotësisht i qëndrueshëm dhe i gatshëm për funksionim industrial. Hadoop përdoret në mënyrë aktive në projekte të mëdha industriale, duke ofruar aftësi të ngjashme me platformën Google Bigtable / GFS / MapReduce, ndërsa Google i deleguar zyrtarisht Hadoop dhe projekte të tjerë Apache kanë të drejtë të përdorin teknologji të mbuluara me patentë në lidhje me metodën MapReduce.
Hadoop renditet i pari midis depove të Apache për sa i përket numrit të ndryshimeve të bëra dhe bazës së pestë më të madhe të kodit (afërsisht 4 milion rreshta kodi).
Çfarë ka të re në Apache Hadoop 3.3?
Ky version i ri i Hadoop pozicionohet si versioni i pare qe ka el mbështetje për platformat e bazuara në ARM, Me të cilin të interesuarit për të qenë në gjendje të zbatojnë këtë platformë do të jenë në gjendje të gjejnë binarin për ARM tashmë të disponueshëm.
Një tjetër nga ndryshimet kryesore që paraqitet në këtë version të ri është implementimi i versionit të ri të formatit Protobuf (Mbrojtësit e protokollit) që përdoren për renditjen e të dhënave të strukturuara është azhurnuar në versionin 3.7.1 për shkak të përfundimit të ciklit jetësor të degës protobuf-2.5.0.
Përveç saj, gjithashtu aftësitë e lidhësit S3A janë zgjeruar tashmë që tani e ka atë mbështetje e shtuar për vërtetim duke përdorur argumentet, mbështetje e përmirësuar për caching të përgjigjes me një kod 404, performancë më të lartë S3guard dhe besueshmëri të përmirësuar operacionale.
edhe Shërbimi i zgjidhjes DNS u shtua që klienti të përcaktojë serverat përmes DNS nga emrat e hostit, i cili ju lejon të shpërndani listën e të gjithë hostëve në konfigurim.
Si dhe mbështetje për caktimin e nisjes së kontejnerëve përmes një menaxheri të centralizuar të burimeve (ResourceManager), edhe me aftësinë për të shpërndarë kontejnerë duke marrë parasysh ngarkesën e secilës nyje.
Nga ndryshimet e tjera që bien në sy të këtij versioni të ri:
- Problemet me akordimin automatik janë zgjidhur në sistemin e skedarëve ABFS.
- Shtohet mbështetja vendase për sistemin e skedarëve Tencent Cloud COS për të hyrë në hapësirën e ruajtjes COS.
- Mbështetja e plotë për Java 11 u shtua.
- Stabilizoi zbatimin e HDFS RBF (Federata e bazuar në router). Kontrollet e sigurisë janë shtuar në routerin HDFS.
- Kërko Lista e aplikacioneve YARN (një tjetër negociator i burimeve) i shtuar.
Më në fund, nëse doni të dini më shumë rreth tij, mund të kontrolloni detajet e versionit të ri në postimi origjinal.
Për ata që janë të interesuar të jenë në gjendje të marrin versionin e ri, ata mund të shkarkojnë binaret e përgatitura Në lidhjen vijuese.