S3 este bazat pe HDFS?
S3 este bazat pe HDFS?

Video: S3 este bazat pe HDFS?

Video: S3 este bazat pe HDFS?
Video: Which filesystem to use HDFS or Amazon S3 2024, Noiembrie
Anonim

S3 este de fapt o stocare infinită în cloud dar HDFS nu este. HDFS este găzduit pe mașini fizice, astfel încât puteți executa orice program acolo. Nu poți executa nimic pe S3 deoarece este doar Object Store și nu FS.

Atunci, s3 este un sistem de fișiere distribuit?

S3 nu este o sistem de fișiere distribuit . Este un magazin de obiecte binar care stochează date în perechi cheie-valoare. Este în esență un tip de bază de date NoSQL. Fiecare găleată este o nouă „bază de date”, cu cheile fiind „calea folderului” și valorile fiind obiectele binare ( fișiere ).

Se poate întreba, de asemenea, AWS este bazat pe Hadoop? Hadoop este un cadru care ajută la procesarea unor seturi mari de date pe mai multe computere. Include Map/Reduce (procesare paralelă) și HDFS (sistem de fișiere distribuite). AWS este un depozit de date construit pe lângă o tehnologie proprie dezvoltată inițial de ParAccel.

Pe lângă aceasta, cum transfer fișiere de la s3 la HDFS?

Răspuns. Nu există directă modalitate de a copia fișiere din S3 în HDFS fără a trece prin local fișiere . Cu toate acestea, puteți utiliza componenta tSystem într-un Job standard pentru a apela nativul Hadoop comanda pe care o folosești de obicei copiați fișierele , de exemplu, s3 -dist-cp.

Ce este baza de date s3?

Amazon S3 sau Amazon Simple Storage Service este un serviciu oferit de Amazon Web Services (AWS) care oferă stocare de obiecte printr-o interfață de serviciu web. Amazon S3 folosește aceeași infrastructură de stocare scalabilă pe care o folosește Amazon.com pentru a-și rula rețeaua globală de comerț electronic.

Recomandat: