马车mapreduce google
MapReduce Terasort算法分析
转：https://blog.csdn.net/Trend_H/article/details/95625381 1.概述 1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209 ......
统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？
开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎。本文旨在分享阿里云Prometheus对EMR平... ......
通过Google Cloud Storage(GCS)管理Terraform的状态State
管理Terraform状态文件的最佳方式是通过云端的统一的存储，如谷歌云就用GCS。 首先要创建一个Bucket： $ gsutil mb -p pkslow -l us-west1 -b on gs://pkslow-terraform Creating gs://pkslow-terraform ......
Google分布式文件系统GFS论文学习
GFS作为最著名的分布式文件系统，首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统，但是它里面的设计思想还是值得现代分布式系统设计参考的，并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面，列举了设计预期，也就是 GFS 是 ......
使用Google OR-Tools分析过去20年中国金融资产最佳配置组合
前两天，在朋友圈里看到一张截至2022年Q2的金融资产历年收益图如下，图中列举了国内从2005年到2022年近20年主要的金融资产历年收益率，随产生想法分析和验证下面几个问题： 过去20年，基于怎样的资产配置才能让收益最大化？ 如果完全拒绝风险，是否可以理财，收益率会是多少？ 是否有风险小，收益高的 ......