-
![[arxiv weekly] 分布式，并行计算，集群计算论文速递 [2021.05.31]](https://www.ijkxs.com/wp-content/themes/b2/Assets/fontend/images/default-img.jpg)
[arxiv weekly] 分布式，并行计算，集群计算论文速递 [2021.05.31]
[arxiv daily] New submissions for Wed, 19 May 21 ,today papers 6### 今日论文总数：6 # 学科: Distributed, Parallel, and Cluster Computing(cs.DC) ### A Scalable Concurrent Algorithm for Dynamic Connectivity - **…...- 0
- 1
- 366
-
Raft协议的一些总结
Raft协议的一些总结转载于 : https://zhuanlan.zhihu.com/p/51358042参考资料什么一致？一致性协议都是为了保证所有的节点状态是一致的，而一致的日志输出到状态机就可以产生一致的状态，所以只需要保证日志是一致的。怎么保证？简化问题首先明确一下适用的场景：异步网络通信环境，非拜占庭错误。设想一种理想情况，没有节点宕机和网络分区发生。这样保证起来就会很简单，所有的请求…...- 0
- 0
- 585
-
TiKV 的 multi-raft 设计与实现
TiKV 的 multi-raft 设计与实现参考资料：https://segmentfault.com/a/1190000008007027https://toutiao.io/posts/cq8pq8/preview什么是Multi-Raft这里引用Cockroach(Multi-Raft的先驱，出来的比TiDB早，哈哈)对Multi-Raft的定义：In CockroachDB, we us…...- 0
- 0
- 1k
-
MULTI-RAFT-GROUP kv 小记
参考资料：https://www.sofastack.tech/blog/sofa-jraft-rheakv-multi-raft-group/Single-Raft模式既然我们有multi-raft模式，那也就是说还有对应的single-raft模式。这里说的Single-raft模式其实是最早RaftServer实现的模式，一个节点上面只启动一个RaftServer实例，它的正常server …...- 0
- 0
- 406
-
PAXOS性能建模-3
头图源自 xp现在越来越多的人把 Paxos 应用到了广域网 比如Google Spanner and CockroachDB 。这篇文章中，我们将研究EPaxos and wPaxos 。这里将跳过一些如何达到模型的解释，它们都依赖于排队论的近似处理开销和k阶统计量来计算群体大小的影响。（queuing theory approximations for processing overheads…...- 0
- 0
- 120
-
PAXOS性能建模-2
头图源自 xp在这篇文章中，我们将研究在队列 queue 或处理管道 pipeline 的帮助下估计处理开销。我将展示这些开销如何限制性能并影响不同集群负载下的延迟。我看可伸缩性有几个原因：一是在云时代，3个或5个节点的集群可能不足以提供良好的弹性，特别是在节点位置控制有限的环境中。毕竟，一个好的集群需要避免共享的节点常见故障点。第二，我认为这有助于更多地了解paxos及其风格，以及为什么某些应用…...- 0
- 0
- 98
-
PAXOS性能建模-第1.5部分
头图源自 xpPAXOS性能建模-第1.5部分这是关于第一部分的一个快速总结。网络的变化有什么影响吗？在前面的模拟中，展示了从3个节点到5个节点的一些小的性能下降。事实上，对于paxos来说，网络行为对可伸缩性 scalability 影响很小，在某些情况下根本没有区别。要了解我的意思，请看下图：看看4、6和36节点在模拟中如何执行相同的操作？5个、7个甚至35个节点的集群如何略优于4个节点？偶数…...- 0
- 0
- 78
-
Paxos性能建模（一）
头图源自 xp不要把PAXOS的可伸缩性问题归咎于网络。在过去的几个月里，我们的实验室对不同风格的paxos共识算法做了大量的工作。Paxos及其众多风格广泛应用于当今的云基础设施中。分布式系统依靠它完成许多不同的任务，以确保安全运行。例如协调服务使用一些一致的协议风格来提供诸如领导选举、集群成员、服务发现和元数据管理等服务。数据库，例如 Spanner 或 CockroachDB，使用paxos…...- 0
- 0
- 339
-
FAST 2020 摘要概览
FAST 2020 摘要概览(18th USENIX Conference on File and Storage Technologies)https://www.usenix.org/conference/fast20/technical-sessions原文查看:https://bbs.geekscholar.net/d/19-fast-2020防止无脑爬虫，欢迎大家一起讨论目录Cloud …...- 0
- 0
- 120
-
CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data
论文翻译。摘要1 介绍2 相关工作3 CRUSH算法3.1 集群拓扑映射3.2 副本位置3.2.1 冲突，故障和过载3.2.2 复制排名3.3 映射改变和数据移动3.4 桶类型3.4.1 一致桶3.4.2 链表桶3.4.3 树结构桶3.4.4 签桶4 评价4.1 数据分布4.1.1 过载保护4.1.2 差异性与局部故障4.2 结构重组数据移动4.3 算法性能4.3.1 疏忽老化4.4 可靠性5 后…...- 0
- 0
- 51
-
[译] [论文] Dynamo: Amazon's Highly Available Key-value Store（SOSP 2007）
摘要Amazon 是世界上最大的电商之一。在这里我们所遇到的最大挑战之一就是超大规模下的稳定性问题（reliability at massive scale）。即使是最微小的故障（the slightest outage），也会造成巨大的经济 损失，而且会降低客户对我们的信任。Amazon.com 作为一个为全球提供 web 服务的平台， 其底层的基础设施是由分布在全球的数据中心中成千上万的服务器…...- 0
- 0
- 52
-
Google三大论文之MapReduce
摘要 MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map 函数处理一个基于 key/value pair 的数据集合，输出中间的基于 key/value pair 的数据集合；然后再创建一个 Reduce 函数用来合并所有的具有相同中间 key 值的中间 value 值。现实世界中有很多满足上述处理模型的例子，本论文…...- 0
- 0
- 95
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×