-
Raft一致性算法原理与实现————日志压缩快照技术
Log Compaction 在一个实际的分布式存储系统中，不可能让节点中的日志无限增加。冗长的日志导致系统重启时需要花费很长的时间进行回放，影响系统整体可用性。Raft与Chubby、Zookeeper等类似，都采用了snapshot技术进行日志压缩，丢弃snapshot之前的日志项目。 Raft中每个节点独立的对自己的系统状态进行snapshot操作，当然只能对已经committed日志项(已…...- 0
- 0
- 123
-
raft协议为什么有election和heartbeat timeout的区分？
转：https://www.zhihu.com/question/263684969/answer/1572960482 根据论文的说法，election timeout是Follower转换成Candidate状态的超时 Followers (§5.2):• Respond to RPCs from candidates and leaders• If election timeout elap…...- 0
- 0
- 234
-
Bipartisan Paxos 两党Paxos
两党派的Paxos（BPaxos）。BPaxos 是一系列协议，它实现了三件事：低延迟（2 条消息延迟）、高吞吐量（无领导）和简单性（模块化）。 BPaxos 系列由简单的 BPaxos、一致的 BPaxos和大多数提交 BPaxos 组成。出于教育目的，这些协议之间还有一些其他协议（Unsafe BPaxos 和 Deadlock BPaxos），但不是最终 BPaxos 协议的一部分。BPax…...- 0
- 0
- 159
-
共识解耦 Compartmentalized Consensus
在状态机复制系统中，人们试图通过引入更多的技术来提高系统的吞吐量。这些技术并不总是有帮助的。有些技术在某些情况下会提高系统性能，而有些技术在其他情况下会损害系统。 本文介绍了围绕着解耦和缩放的分块技术。解耦组件是指将组件分成若干个子组件，然后扩大子组件的规模。 在Compartmentizated共识协议中，有三个启发式方法。 启发式-1：将控制流与数据流解耦。启发式-2：将不可扩展的节点与可扩展…...- 0
- 0
- 247
-
PigPaxos 共识协议
Paxos是一个基本的共识协议，在很多论文中都有很好的研究和定义。然而，Paxos不是一个可扩展的协议。这意味着当集群中的节点数量超过一定数量时，Paxos的性能会下降。 这种性能瓶颈是由领导节点上的高通信量引起的。为了解决这个瓶颈，PigPaxos将通信过程与领导节点的共识过程解耦。 那么，究竟什么是PigPaxos？ PigPaxos是一个基于回合（round-based）的共识协议。领导从接…...- 0
- 0
- 161
-
EPaxos 恢复场景
EPaxos是一个无领导的Paxos变体，它试图通过使客户端使用具有最低往返延迟的副本作为操作领导，并通过操作间冲突检测优化地跳过一轮副本通信，从而减少地理分布式副本组的延迟。 在这篇文章中，我将不解释EPaxos，而是通过一个例子来说明恢复协议是如何工作的。这个例子让我困惑了一阵子，因为它实际上并没有在SOSP'13论文中得到解决--完整的恢复协议在技术报告中。因此，我建议你在开始用例…...- 0
- 0
- 168
-
Raft 作者亲自出的 Raft 试题，你能做对几道？
本文转自知乎：https://zhuanlan.zhihu.com/p/268571088 1.（4 分）下面的每张图都显示了一台 Raft 服务器上可能存储的日志（日志内容未显示，只显示日志的 index 和任期号）。考虑每份日志都是独立的，下面的日志可能发生在 Raft 中吗？如果不能，请解释原因。 2.（6 分）下图显示了一个 5 台服务器集群中的日志（日志内容未显示）。哪些日志记录可以安全…...- 0
- 0
- 253
-
Raft 引入 no-op 的作用
今天在看 tikv 社区的文章：TiKV 源码解析系列 - Lease Read 的时候，看到一句话： 也就是 leader 刚通过选举成为 leader 的时候，这时候的 commit index 并不能够保证是当前整个系统最新的 commit index，所以 Raft 要求当 leader 选举成功之后，首先提交一个 no-op 的 entry，保证 leader 的 commit inde…...- 0
- 0
- 381
-
YCSB ，Go-YCSB及其 Workloads 介绍
随着大数据时代的到来和云计算的不断发展，作为云计算最基础的设施存储产品也越来越多，开源分布式存储系统有BigTable-like系统HBase，dynamo-like系统Cassandra，voldemort，Riak，淘宝开源的OceanBase等。当然还有一些未开源系统如Yahoo! 的PNUTS，Google的BigTable等。没有一种系统能够在所有的workload下都是最合适的。 各个…...- 0
- 0
- 480
-
TiKV搭建本地镜像并测试benchmark
本文操作均在 root 权限下进行。仅对自己的搭建做记录，供大家参考。 我的工作目录 /usr/local/workplace/ ，创建一个新的文件夹叫 mirror 来存放tidb 的镜像 mkdir -p /usr/local/workplace/tidb_deply/mirrors cd /usr/local/workplace/tidb_deply/ 1.下载安装 tiup curl --…...- 0
- 0
- 232
-
tidb相关：快速部署(playground)后，默认配置文件在哪里？
使用 TiUP Playground 快速部署安装后，各组件（tidb、tikv、pd等）的配置文件默认放在哪个目录？ tiup playground 快速部署后会在 .tiup/data 下生成一个子目录，里面有相应的信息，类似：...- 0
- 0
- 211
-
云计算、虚拟机和容器
云计算云计算的道理是简单的，说白了，就是把计算机资源集中起来，放在网络上。但是，云计算的实现方式，就非常复杂了。举个例子，如果你只是在公司小机房摆了一个服务器，开个FTP下载服务，然后用于几个同事之间的电影分享，当然是很简单的。如果是“双11”的淘宝购物节，全球几十亿用户访问阿里巴巴的淘宝网站，单日几十PB（1PB=1024TB=1024×1024GB）的访问量，每秒几百GB的流量……这个，就不是…...- 0
- 0
- 75
-
Paxos Made Live(译)
Paxos Made Live(译)作者：Tushar Chandra&Rebert Griesemer&Joshua Redstone 2007 Google.Inc原文：http://labs.google.com/papers/paxos_made_live.pdf译者：phylips@bmy 2012-11-28译文：http://duanple.blog.163.com/…...- 0
- 0
- 43
-
分布式系统(Distributed System)资料
分布式系统(Distributed System)资料希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友能够学到更多．《Reconfigurable Distributed Storage for Dynamic Networks》介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分…...- 0
- 0
- 59
-
分布式一致性算法概览
1.CAP原理要想数据高可用，就得写多份数据写多分数据就会导致数据一致性问题数据一致性问题会引起性能问题2.一致性模型弱一致性最终一致性（一段时间达到一致性）强一致1、2 异步冗余；3是同步冗余3.扩展服务的方案数据分区： uid % 16数据镜像：让多有的服务器都有相同的数据，提供相当的服务（冗余存储，一般3份为好）4.两种方案的事务问题A向B汇钱，两个用户不在一个服务器上镜像：在不同的服务器上…...- 0
- 0
- 37
-
MIT6.824 Lab2B TestBackup2B 分析
TestBackup2B 分析：1.01234All add a log and commit l1 leader 00: <l1,1>1: <l1,1>2: <l1,1>3: <l1,1>4: <l1,1>2.2,3,4 offline0,1 add a log but not commit3.0,1 offline2,3,4 reco…...- 0
- 0
- 286
-
raft mit 6.824 实现领导者选举（LAB2A）
1.程序结构lab2的实验是要实现以下接口// create a new Raft server instance: rf := Make(peers, me, persister, applyCh) // start agreement on a new log entry: rf.Start(command interface{}) (index, term, isleader) // ask…...- 0
- 0
- 163
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×