please translate any text, pharases, word, ... to persian and noting any other and any…
- User
please translate any text, pharases, word, ... to persian and noting any other and any message: "Knowing a little more about what data engineering is, and what data engineers do, you should start to get a sense of the responsibilities and skills that data engineers need to acquire. The following section will elaborate on these skills. Required skills and knowledge to be a data engineer In the preceding example, it should be clear that data engineers need to be familiar with many different technologies, and we haven't even mentioned the business processes or needs. At the start of a data pipeline, data engineers need to know how to extract data from files in different formats or different types of databases. This means data engineers need to know several languages used to perform many different tasks, such as SQL and Python. During the transformation phase of the data pipeline, data engineers need to be familiar with data modeling and structures. They will also need to understand the business and what knowledge and insight they are hoping to extract from the data because this will impact the design of the data models. The loading of data into the data warehouse means there needs to be a data warehouse with a schema to hold the data. This is also usually the responsibility of the data engineer. Data engineers will need to know the basics of data warehouse design, as well as the types of databases used in their construction. Lastly, the entire infrastructure that the data pipeline runs on could be the responsibility of the data engineer. They need to know how to manage Linux servers, as well as how to install and configure software such as Apache Airflow or NiFi. As organizations move to the cloud, the data engineer now needs to be familiar with spinning up the infrastructure on the cloud platform used by the organization – Amazon, Google Cloud Platform, or Azure. Having walked through an example of what data engineers do, we can now develop a broader definition of data engineering."
- Assistant
با دانستن کمی بیشتر در مورد مهندسی داده چیست و مهندسان داده چه کارهایی انجام میدهند، باید شروع به درک مسئولیتها و مهارتهایی کنید که مهندسان داده نیاز به کسب آنها دارند. بخش بعدی به تفصیل در مورد این مهارتها توضیح خواهد داد.
مهارتها و دانشهای لازم برای یک مهندس داده
در مثال قبل، باید واضح باشد که مهندسان داده نیاز دارند با فناوریهای مختلف آشنا باشند و ما حتی به فرآیندها یا نیازهای کسب و کار اشاره نکردهایم.
در ابتدای یک خط لوله داده، مهندسان داده باید بدانند چگونه دادهها را از فایلها با فرمتهای مختلف یا انواع مختلف پایگاههای داده استخراج کنند. این بدان معناست که مهندسان داده باید چندین زبان برنامهنویسی را که برای انجام وظایف مختلف استفاده میشوند، مانند SQL و Python، بشناسند.
در مرحله تبدیل خط لوله داده، مهندسان داده نیاز دارند با مدلسازی داده و ساختارها آشنا باشند. همچنین باید کسب و کار را درک کنند و بدانند چه دانش و بینشی را قصد دارند از داده استخراج کنند، زیرا این امر بر طراحی مدلهای داده تأثیر خواهد گذاشت.
بارگذاری دادهها به انبار داده به این معناست که باید یک انبار داده با یک اسکیمای مناسب برای نگهداری دادهها وجود داشته باشد. این معمولاً مسئولیت مهندس داده نیز هست.
مهندسان داده باید اصول طراحی انبار داده را بدانند، همچنین انواع پایگاههای داده استفاده شده در ساختار آنها را بشناسند.
در نهایت، زیرساخت کامل که خط لوله داده روی آن اجرا میشود میتواند مسئولیت مهندس داده باشد. آنها باید بدانند چگونه سرورهای لینوکس را مدیریت کنند و همچنین چگونه نرمافزارهایی مانند Apache Airflow یا NiFi را نصب و پیکربندی کنند. با انتقال سازمانها به ابر، مهندس داده اکنون باید با راهاندازی زیرساخت در پلتفرم ابری مورد استفاده سازمان – آمازون، پلتفرم ابری گوگل یا آزور – آشنا باشند.
پس از مرور یک مثال از آنچه مهندسان داده انجام میدهند، اکنون میتوانیم تعریف گستردهتری از مهندسی داده توسعه دهیم.