Codefinity

Tata Consultancy Services

Engineer

Location: Irving, TX

Salary: $90k-$110k

Skills: Data Analysis, Web Development, Machine Learning

About the Job

Job Description Job Description:

We are seeking a highly skilled and motivated Data Engineer to play a pivotal role in designing, building, and optimizing our next\-generation scalable data pipelines. This position requires expertise in processing massive datasets using cutting\-edge technologies like Apache Spark, PySpark, and Hive within a dynamic cloud environment. Your primary objective will be to ensure the utmost data reliability, speed, and efficiency, providing a robust foundation for downstream business intelligence and advanced analytics initiatives.

Roles \& Responsibilities

Data Pipeline Development \& Maintenance: Design, build, and maintain highly scalable and efficient ETL/ELT data pipelines utilizing PySpark and Spark SQL for complex data transformations.
Cloud Data Infrastructure Management: Deploy, manage, and scale critical data infrastructure components on leading cloud platforms such as Amazon Web Services (AWS) (e.g., EMR, Glue), Microsoft Azure (e.g., Databricks, Synapse), or Google Cloud Platform (GCP).
Data Warehousing \& Storage Optimization: Strategically manage data layout, partitioning, and indexing within Apache Hive and various cloud data lake solutions to optimize performance and accessibility.
Performance Tuning \& Optimization: Proactively identify and resolve performance bottlenecks in Spark jobs, leveraging Spark UI for in\-depth analysis, effectively managing data skewness, and optimizing memory utilization.
Diverse Data Integration: Develop robust solutions for ingesting high\-volume and diverse datasets from both structured relational databases and unstructured flat files into our data ecosystem.
Automated Workflow Orchestration: Implement and manage automated data workflows using industry\-standard scheduling tools like Apache Airflow or platform\-native schedulers, ensuring timely and reliable data delivery.
Strategic Collaboration: Partner closely with data scientists, business analysts, and cross\-functional enterprise teams to translate complex business requirements into technically sound and efficient data solutions.

Qualifications

Big Data Frameworks Expertise: Demonstrated high proficiency in Apache Spark architecture, including a deep understanding of drivers, executors, and Directed Acyclic Graphs (DAGs).
Advanced Programming: Exceptional coding skills in Python and extensive experience with the PySpark API for developing intricate data transformations and processing logic.
Querying \& Schema Management: Strong command of HiveQL and ANSI SQL, coupled with expertise in data partitioning techniques and effective schema definition.
Optimized Storage Formats: In\-depth understanding and practical experience with optimized big data storage file formats such as Parquet, ORC, and Avro.
Cloud Ecosystem Development: Hands\-on development experience utilizing cloud\-native big data utilities (e.g., AWS EMR, Azure Databricks) within major cloud platforms.
Data Warehousing Fundamentals: Solid foundation in Dimensional Data Modeling, including Star and Snowflake schemas, and practical experience with Data Lakes concepts and implementation.

Preferred Qualifications

CI/CD \& DevOps Automation: Experience with Continuous Integration/Continuous Deployment (CI/CD) practices and automation tools like Git , Jenkins, or Ansible.
NoSQL Database Integration: Exposure to and experience with NoSQL databases such as HBase, Cassandra, or MongoDB.
Professional Cloud Certifications: Relevant professional cloud certifications (e.g., AWS Certified Data Engineer, Microsoft Certified: Azure Data Engineer Associate) are highly valued

TCS Employee Benefits Summary Discretionary Annual Incentive.

Comprehensive Medical Coverage: Medical \& Health, Dental \& Vision, Disability Planning \& Insurance, Pet Insurance Plans.

Family Support: Maternal \& Parental Leaves.

Insurance Options: Auto \& Home Insurance, Identity Theft Protection.

Convenience \& Professional Growth: Commuter Benefits \& Certification \& Training Reimbursement.

Time Off: Vacation, Time Off, Sick Leave \& Holidays.

Legal \& Financial Assistance: Legal Assistance, 401K Plan, Performance Bonus, College Fund, Student Loan Refinancing.

Salary Range: $90,000 – 110,000 a year

Qualifications: BACHELOR OF COMPUTER SCIENCE

Related Courses

Introdução ao Python

Python é uma linguagem de programação de alto nível, interpretada e de uso geral. Diferenciando-se de linguagens como HTML, CSS e JavaScript, que são utilizadas principalmente no desenvolvimento web, Python destaca-se por sua versatilidade em diversos domínios, incluindo desenvolvimento de software, ciência de dados e desenvolvimento back-end. Este curso irá guiá-lo pelos conceitos fundamentais de Python, capacitando-o a criar suas próprias funções ao final do programa.

Estruturas de Dados em Python

Explore as estruturas de dados fundamentais da linguagem de programação Python, incluindo listas, dicionários, tuplas e conjuntos, e aprenda como aplicá-las de forma eficaz para resolver desafios de programação do mundo real.

Fundamentos do Databricks: Um Guia para Iniciantes

Uma introdução prática ao Databricks, seus conceitos fundamentais e manipulação de dados na prática utilizando Python e SQL. Este curso é destinado a iniciantes absolutos, com foco em clareza, simplicidade e aplicação no mundo real.

Python Ninja

Bem-vindo ao Curso Python Ninja! Este curso envolvente e interativo foi desenvolvido para apresentar a você os fundamentos da programação em Python por meio de um jogo divertido e educativo. Você irá guiar um Ninja por diversos desafios, utilizando Python para controlar movimentos e interagir com objetos como sushi. Começando pelo básico, você aprenderá a navegar pelo mapa, pegar e posicionar sushi, e avançará gradualmente para conceitos mais complexos de programação, como funções, loops e estruturas condicionais. Cada capítulo oferece prática prática para reforçar seu aprendizado, culminando em desafios empolgantes que testam suas habilidades. Seja você um iniciante completo ou alguém que deseja aprimorar suas habilidades de programação, este curso proporciona uma experiência de aprendizado abrangente e agradável. Junte-se a nós e torne-se um Ninja da programação!

Tipos de Dados em Python

Adquira uma compreensão sólida dos principais tipos de dados do Python e aprenda a utilizá-los de forma eficaz. Explore números, booleanos, strings e como converter e comparar valores com segurança entre diferentes tipos. Desenvolva confiança ao realizar operações aritméticas, lógicas e com strings, além de construir as habilidades fundamentais necessárias para escrever códigos Python limpos e confiáveis.

Tutorial de Laços em Python

Construa confiança no domínio de laços em Python! Comece com os fundamentos dos laços for e while e avance para conceitos avançados como laços aninhados, instruções de controle e condições dinâmicas. Com prática prática e exemplos do mundo real, adquira habilidades para escrever código eficiente, limpo e poderoso. Ideal para iniciantes e para quem deseja aprimorar sua expertise em Python!