Vivek Ramaswamy，加拿大安大略省多伦多的开发者
Vivek is available for hire
Hire Vivek

Vivek Ramaswamy

验证专家  in Engineering

SQL Developer

Location
加拿大安大略省多伦多
至今成员总数
2022年2月22日

Vivek是一位拥有15年设计和构建系统经验的IT专业人士, 过去五年在大数据系统中. 他擅长多种工具、技术和编程语言，包括SQL、 .. NET、Java、Scala和JavaScript. Vivek处理过Excel、VBA、Access、RDBMS和分布式系统中的数据.

工程数据SQLETLApache KafkaBig Data分布式系统数据库管理系统(DBMS)RDBMSApache SparkApache MavenSparkSpark SQLApache HiveJava 8.NET谷歌云数据流HDPIBM MQDomo并行计算HDFSHBase

Portfolio

Pogo科技有限公司.
亚马逊网络服务(AWS)， PostgreSQL, Dagster, Snowflake, Python 3, Python...
领先的外汇交易平台
Google BigQuery, Cloud Dataflow, MuleSoft, Apache Kafka, Java 8, Kdb+， OneTick...
领先保险经纪公司
StreamSets, Amazon S3 (AWS S3)， Cloudera, Impala，大数据

Experience

Apache Spark - 6年Apache Kafka - 5年Spark SQL - 5年火花流 - 5年火花- 5年StreamSets - 4年BigQuery - 2年Google BigQuery - 2年

Availability

Part-time

首选的环境

Apache Kafka, Apache Hive, Spark, SQL, Excel VBA, Apache Impala, Cloudera, Scala, Java 8, Python

最神奇的...

...我所做的是提高数据加载器的效率，同时为过程带来更多的可见性.

Work Experience

Data Engineer

2022 - 2022
Pogo科技有限公司.
  • 收集需求以了解不同的数据源及其数据导出模式. 执行概念的快速验证，以确定用于构建数据管道的适当工具.
  • 在Dagster中构建标准化的数据管道，从多个数据源获取数据，并以预定的方式在Snowflake中放置数据. 将运行通知路由到空闲通道，以便于监控和监督.
  • 重新利用并启用了一个实时阶段区域，以便为湿运行和验证提供类似于测试的环境.
技术:亚马逊网络服务(AWS)， PostgreSQL, Dagster, Snowflake, Python 3, Python, Slack, SQL, ETL Tools, ETL

软件工程师

2020 - 2021
领先的外汇交易平台
  • 在谷歌云数据流中设置流媒体管道，从内部部署中获取数据, 无模式Kafka主题到BigQuery. 捕获和存储模式漂移，以确保平稳运行.
  • 评估了不同的tick数据库供应商来存储tick数据. 运行poc，并通过设置绿地环境和运行常见用例模拟来比较不同产品的基准性能.
  • 使用MuleSoft数据流代替Informatica作业.
  • 在Google IAP上构建了一个基于Java Spring框架的包装器服务，用于查询Domo并以CSV格式向经销商发送数据. 根据已有的仪表板重建Domo仪表板.
技术:Google BigQuery, Cloud Dataflow, MuleSoft, Apache Kafka, Java 8, Kdb+， OneTick, ExtremeDB, Apache Airflow, BigQuery, Spring Boot, 谷歌云平台(GCP), SQL, ETL, ETL Tools, Domo, Apache Beam, Apache Maven

大数据工程师|副总监

2019 - 2020
领先保险经纪公司
  • 使用StreamSets Data Collector构建ETL管道，将来自不同来源的数据投放到基于S3的云数据平台中，并由Impala支持.
  • 评估使用StreamSets Transformer作为批处理的补充ETL工具.
  • 评估Apache Airflow在编排方面的使用，并决定它是否适合多租户环境.
技术:StreamSets、Amazon S3 (AWS S3)、Cloudera、Impala、大数据

高级大数据工程师

2018 - 2019
领先的法国投资银行
  • 重新设计了流应用程序，使其更具上下文性，更符合数据的本质.
  • 将登录功能整合到ELK中，以获得更多的实时度量和分析.
  • 改进了部署过程，使用Unix帮助程序使其更加高效和独立.
技术:火花, Spark SQL, 火花流, Apache Hive, Orc, ELK(弹性堆叠), StreamSets, Java 8, HDFS, HBase, Apache Kafka, Big Data, Java, Hadoop, Apache Maven

高级副

2013 - 2018
私人和投资银行领域的全球银行领导者
  • 通过识别瓶颈并应用技术和功能修复改进了Dynamics CRM应用程序的性能和加载时间. 通过利用来扩展数据加载器 .. NET多线程和Dynamics CRM的批量处理能力.
  • 通过使用Hive和Spark SQL表的缓存功能，加快了Spark作业的计时速度.
  • 使用Akka Streams来改善边缘节点上的大量文件加载过程.使用最少的资源来规避吞吐量和内存争用问题.
技术:Scala中, .NET, Dynamics CRM 2011, Dynamics CRM 2013, Greenplum, Cloudera, Apache Hive, Spark, Spark SQL, 火花流, HBase, Parquet, Informatica, Big Data, Microsoft SQL Server, Hadoop

IT Analyst

2010 - 2013
领先的咨询公司
  • 确定瓶颈并改进SQL查询的性能.
  • 从Dynamics CRM 4迁移应用程序.0到Dynamics CRM 2011. 修改了应用程序以使用新的, 同时还结合了Silverlight来显示一个新的自定义UI.
  • 将IBM MQ与VB 6集成以取代屏幕清除过程.
  • 构建一个基于Excel的工具，使用宏从多个Excel文件中捕获数据用于报告.
技术:Dynamics CRM 2011, Microsoft Dynamics CRM, Dynamics CRM插件，SQL Server 2008 R2， .NET, MS Silverlight, Visual Basic 6 (VB6), IBM MQ, Microsoft SQL Server, Microsoft Excel, Visual Basic, Visual Basic for Applications (VBA)

研究工程师

2008 - 2009
VoIP服务提供商
  • 支持Linux后端系统与基于windows的前端系统之间的系统集成.
  • 建立了一个基于flash的SIP软电话，集成在浏览器中，用于基于windows的MIS系统，方便显示座席可用性和直接进行内部SIP呼叫.
  • 通过将内部系统从vb5迁移到vb6，确定并优化了内部系统.
  • 使用VBA/Macros创建了一个基于excel的对账工具，以突出显示和报告计费错误.
技术:星号, C++, Visual Basic 6 (VB6), PostgreSQL, Slackware, Flash ActionScript, ActionScript 3, 会话发起协议(SIP), Visual Basic, Visual Basic for Applications (VBA), Microsoft Excel

批量数据仓库向实时数据湖的迁移

这个项目的目的是摆脱一天结束, 从数据仓库系统到实时更新的数据湖系统的批处理式提要. 该系统旨在充当所有下游应用程序的数据源，这些应用程序需要功能和分析用例的实时数据.

我们使用CDC工具将数据库提要更新移动到Kafka，并编写Spark流应用程序在HBase中处理和存储数据. 数据湖之外还有一个缓存系统，以便更快地访问数据.

OUTCOME
由于这种迁移，关键的下游应用程序可以实时访问数据. 他们不再需要等待T+1天来获得feed，或者在批处理失败的情况下处理陈旧的数据. 由于接近实时的数据馈送, 它还创造了新的机会来识别误用和潜在的交叉销售产品.

资本市场数据的本地数据湖

基于Hortonworks数据平台的内部数据湖，方便了在资本市场交易的企业和投资银行存储数据. 这个数据湖为计算提供了必要的数据, tweaking, testing, 校准风险模型和策略. 不同的前台应用系统将通过Kafka向平台发送数据和文件. 基于spark的批处理和流应用程序将处理和转换数据，并将其以ORC格式存储在HDFS中，并通过hive表公开供消费. 应用程序日志也集成到ELK中，以实现对应用程序的实时监控.

OUTCOME
该项目对整个组织的贸易数据进行了整理，并为科学家提供了一个环境, actuaries, 还有风险建模者来分析, test, 调整他们现有的和新的模式.

蜱虫数据库评估

能够处理“行情”数据的不同数据库的评估、POC和基准比较. 对TimescaleDB、Kdb+、eXtremeDB和OneTick数据库进行评估. 数据库被设计成在通用硬件上运行，并加载了示例数据. 然后，对它们进行查询性能、易用性、可伸缩性和成本的基准测试. 评估和POC提供了所有必要的数据点，使企业能够做出更明智的决策.

Languages

Orc, SQL, Excel VBA, Java 8, Scala, C++, Python, Power Query M, Visual Basic 6 (VB6), Flash ActionScript, ActionScript 3, Java, Snowflake, Python 3, Visual Basic, Visual Basic for Applications (VBA)

Paradigms

ETL，并行计算

Platforms

Apache Kafka, Hortonworks数据平台(HDP), MuleSoft, Slackware, 谷歌云平台(GCP), 亚马逊网络服务(AWS)

Storage

HDFS, Apache Hive, 数据库管理系统(DBMS), RDBMS, HBase, Microsoft SQL Server, Kdb+, ExtremeDB, Amazon S3 (AWS S3), PostgreSQL, Greenplum, SQL Server 2008 R2, Neo4j

Other

StreamSets, 工程数据, Google BigQuery, 分布式系统, ELT, Big Data, APIs, OneTick, Dynamics CRM 2011, Dynamics CRM 2013, Parquet, Informatica, 会话发起协议(SIP), Dynamics CRM插件, Dagster, ETL Tools, GraphDB

Frameworks

Spark, .. NET, Apache Spark, Spring Boot, Hadoop

Libraries/APIs

火花流，Protobuf

Tools

Spark SQL, ELK(弹性堆叠), Cloudera, Impala, Apache Airflow, IntelliJ IDEA, Apache Impala, BigQuery, Apache Maven, Cloud Dataflow, Asterisk, Microsoft Dynamics CRM, MS Silverlight, IBM MQ, Jenkins, Stash, Git, Control-M, Slack, Tableau, Domo, Apache Beam, Microsoft Excel, Microsoft Power BI

2006 - 2008

信息技术硕士学位

孟买大学-孟买，印度

2003 - 2006

信息技术学士学位

孟买大学-孟买，印度

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

分享你的需求

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

选择你的才能

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring