Anish Chakraborty
Verified Expert in Engineering
Software Developer
Anish是一位经验丰富的软件工程师,对后端系统有着非常深入的了解, databases, data warehousing, data engineering, 构建数据驱动的产品和服务. Although he's self-taught in SQL, Scala, and Python, Anish以前赢得过国际SQL编码竞赛.
Portfolio
Experience
Availability
Preferred Environment
Visual Studio Code (VS Code), IntelliJ IDEA, MacOS, Slack
The most amazing...
...我开发了一个智能镜子,作为飞利浦黑客马拉松的一部分.
Work Experience
软件、DevOps和后端工程师
Ask Iggy
- 在Google Kubernetes Engine (GKE)上为路由引擎开发完整的后端基础架构, 运行用于机器学习(ML)特征生成的地理空间算法的核心组件.
- 用于路由引擎的可扩展后端服务,使其吞吐量在800的范围内运行,000, 大约每秒一百万个请求.
- 对房地产投资地理空间算法和空间搜索引擎进行迭代研发.
- 设计并创建了一个地理空间数据仓库,用于BigQuery中的数据交付, 运行自定义空间数据处理算法,并使用Argo进行容器编排, Kubernetes原生容器编排系统.
首席软件开发工程师|软件架构师
Freelance
- 开发核心后端基础设施,管理80多个微服务, including CI/CD, authentication, service discovery, and edge layer API gateway.
- 使用GitLab的版本管理,在GCS和Firebase的支持下,设计并开发了一个云配置管理系统,部署在GKE的微服务上, Cloud Run, and App Engine.
- 指导开发人员进行数据工程, DevOps, 以及在谷歌云上构建微服务的后端规程.
Senior Software Engineer
Spotify
- 担任Spotify核心支付和订阅引擎的数据和后端工程师,该引擎每月处理超过1亿的用户和60亿美元的收入(2019年初).
- 对开源软件如Scio (Apache Beam的Scala API)做出贡献. 我是DBeam(用于Apache Beam的RDBMS iOS)的共同维护者。.
- 创建课程,并通过结构化课程向几位工程师同事教授工程实践, 引导工程师在跨职能团队中工作.
- 设计框架和创建工具,用于创建和管理具有自动监控和容错功能的高SLO数据管道. 监督该工具的采用,降低了SLO违规行为.
- 为高吞吐量和低延迟而设计和开发的基础设施, 推荐系统的实时特性查找服务.
Data Engineer
Philips
- 打造基于微服务的大数据平台, 允许数据分析师和科学家访问飞利浦收集的用于再营销的匿名数据.
- 设计了一个框架,使用Adobe SiteCatalyst在机器学习模型中处理从移动应用程序收集的大量移动点击流数据,用于流失预测.
- 与Philips R联合开发的产品化数据挖掘算法&D通过摄像头监控来检测婴儿的睡眠模式. 使用Apache Spark实现该数据产品.
- 实现了从连接设备收集和存储传感器数据的接口, 使用基于微服务的架构,哪些产品可以支持各种数据驱动的物联网用例.
- 使用Apache Spark作为处理引擎,设计并开发了一个基于规则的引擎来检测和增强分布式和可扩展环境中的数据质量.
Experience
婴儿监视器的睡眠模式检测
Real-time Analytics
应用程序从Google Pubsub获取事件日志,并在Apache Beam中处理它们, 将结果存储在谷歌云数据存储中,并用于实时仪表板.
实时数据处理物联网数据平台
用于报警框架的Scala DSL
将PyTorch建模迁移到云端
Optimizing Payment Retries
Financial Accounting for Payouts
Scio: Apache Beam的开源Scala API
http://github.com/spotify/scio比特币交易风险特征工程
数据仓库|赌场游戏业务
这是在AWS上使用EMR、Apache Spark (Python)、AWS Glue和AWS Athena等技术构建的. 仓库支持对Kafka的数据进行实时查询,并使用Terraform配置基础设施.
基于sql的Fivetran、DBT和Snowflake数据平台
这个平台是从零开始建造的, 然后管道从自定义Scala框架迁移到Kafka, Fivetran, Snowpark, and dbt on Snowflake. 使用的技术栈包括通过dbt Cloud与Amazon Managed Workflows (Apache Airflow和Terraform)对Snowflake SQL进行编排,以管理基础设施. 我们使用SnowPark进行大量定制的管道,并使用AWS作为云平台.
Web应用的边缘层基础设施
这包括围绕安全问题分析需求, user authentication, CDN setups, 评估实现身份验证和API网关设计的几个选项, monitoring traffic, 理解微服务在域中的使用, 最后用八个月的时间在所有服务上规划和推出这个架构.
Geospatial Processing Infra
Skills
Languages
Scala, Python, SQL, Java, Python 3, Go, Bash Script, Snowflake
Frameworks
Apache Spark, Spark, Django, Hadoop, Spark Structured Streaming, Akka, Play SDK, Google Cloud Endpoints
Libraries/APIs
PySpark, Django ORM, REST api, Redis Queue, PyTorch, TensorFlow, spray, Terragrunt, Luigi
Tools
GIS, IntelliJ IDEA, Spark SQL, Apache Beam, Apache Airflow, SBT, BigQuery, Composer, Google Cloud Composer, Terraform, Google Kubernetes Engine (GKE), Postman, pgAdmin, Grafana, Slack, Amazon Simple Queue Service (SQS), RabbitMQ, AWS Fargate, Cloud Dataflow, AWS Glue, Amazon Athena, Amazon Elastic MapReduce (EMR), Amazon Simple Notification Service (Amazon SNS), Flink, Google Cloud Dataproc, Docker Compose, Envoy Proxy
Paradigms
ETL, Database Design, Testing, DevOps, Data Science, HIPAA Compliance, Anomaly Detection, Microservices, REST
Platforms
Google Cloud Platform (GCP), AWS Lambda, Amazon Web Services (AWS), Firebase, Kubernetes, Visual Studio Code (VS Code), Docker, Apache Kafka, Azure, MacOS, Apache Flink, VMware Tanzu Application Service (TAS) (Pivotal Cloud Foundry (PCF)), Google App Engine
Storage
PostgreSQL, MySQL, Database Management, Google Cloud, Database Migration, Firebase Realtime Database, Redis, Databases, NoSQL, Database Administration (DBA), Data Pipelines, Database Architecture, Data Integration, Distributed Databases, Redshift, Google Cloud Spanner, Google Cloud Datastore, Apache Hive, MongoDB, Amazon S3 (AWS S3)
Other
Data Analysis, Google BigQuery, Pub/Sub, Data Engineering, Data, Data Modeling, Data Migration, Data Build Tool (dbt), Database Schema Design, Google Cloud Functions, Geospatial Data, CI/CD Pipelines, Data Profiling, Data Cleaning, Data Cleansing, Big Data, Scaling, Big Data Architecture, Data Warehousing, Data Architecture, Architecture, ELT, Shell Scripting, API Integration, Database Optimization, APIs, Real-time Data, Geospatial Analytics, Mobile Analytics, Snowpark, 机器学习操作(MLOps), Revenue Management, Electronic Medical Records (EMR), 电子数据交换(EDI), Machine Learning, Akka HTTP, SDKs, Data Processing, Streaming, Amazon Managed Workflows for Apache Airflow (MWAA), Dbt Cloud, Content Delivery Networks (CDN), Prometheus, Cloud, Fivetran, Data Warehouse Design, API Design
How to Work with Toptal
在数小时内,而不是数周或数月,我们的网络将为您直接匹配全球行业专家.
Share your needs
Choose your talent
开始你的无风险人才试验
Top talent is in high demand.
Start hiring