Ce este Emrfs?
Ce este Emrfs?

Video: Ce este Emrfs?

Video: Ce este Emrfs?
Video: Что такое Amazon EMR и как его использовать для обработки данных? 2024, Noiembrie
Anonim

Sistemul de fișiere EMR ( EMRFS ) este o implementare a HDFS pe care toate clusterele Amazon EMR o folosesc pentru citirea și scrierea fișierelor obișnuite din Amazon EMR direct pe Amazon S3. Criptarea datelor vă permite să criptați obiecte care EMRFS scrie pe Amazon S3 și activează EMRFS pentru a lucra cu obiecte criptate în Amazon S3.

În ceea ce privește acest lucru, care este vizualizarea consecventă Emrfs?

The Vedere consecventă EMRFS creează și utilizează metadate într-un tabel Amazon DynamoDB pentru a menține a vedere consecventă a obiectelor dvs. S3. Acest tabel urmărește anumite operațiuni, dar nu deține niciuna dintre datele dvs.

care este diferența dintre s3 și s3a? Acesta este diferență între cei trei: s3 este o suprapunere bazată pe blocuri peste Amazon S3 , în timp ce s3n/ s3a nu sunt. Acestea sunt bazate pe obiecte. s3n acceptă obiecte de până la 5 GB atunci când dimensiunea este problema, în timp ce s3a suportă obiecte de până la 5TB și are performanțe mai mari.

În consecință, EMR folosește HDFS?

EMR Sistemul de fișiere (EMRFS) Tu poate utiliza fie HDFS sau Amazon S3 ca sistem de fișiere din clusterul dvs. Cel mai adesea, Amazon S3 este folosit pentru a stoca datele de intrare și de ieșire, iar rezultatele intermediare sunt stocate în HDFS.

Ce este s3a?

S3A (schema URI: s3a ) Un succesor al S3 Nativ, s3n fs, the S3a : sistemul folosește bibliotecile Amazon pentru a interacționa cu S3 . Asta permite S3a pentru a suporta fișiere mai mari (nu mai mult de 5 GB), operațiuni de performanță mai mare și multe altele.

Recomandat: