腾讯云 COS，阿里云 OSS，HW OBS 这些对象存储服务是独立自主实现的，还是基于什么开源项目（比如 ：MinIO ）实现的呢？
OSS minio 存储 对象30 条回复 • 2021-09-05 05:25:09 +08:00
Ianchen 1
Ianchen 6 天前
盲猜一个 Ceph
acbot 2
acbot 6 天前
@Ianchen *早我感觉也是 Ceph 但是后来我发现 MinIO 更像 特别是 Rest Api 和 微服务结合方面
ccde8259 3
ccde8259 5 天前 via iPhone
Ceph……
自研一套 API 不用几个钱
dynastysea 4
dynastysea 5 天前 ❤️ 1
明确的告诉你，这三家都是自研的，ceph 这东西当当玩具可以，真正大规模的实践坑很多。存储是云计算的根基，在这块上各家都是重金投入，而且不存在兼容性的问题，自研好处多多。
moult 5
moult 5 天前 via iPhone
腾讯和阿里有历史技术沉淀在，肯定自研的。像 HW，七牛这类厂商就不好说了。。。不过，感觉 ceph 和 minio 自用还可以，拿来卖服务还差口气儿。
tongz 6
tongz 5 天前
各位大佬, OSS 的话, 海量小文件存储靠谱吗, 单个文件平均在 1KB-10KB 之间, 每天产生 1 千万个左右, 还在持续增长, 写多读少
locoz 7
locoz 5 天前 via Android
底层可能部分用了 ceph，但是主体肯定是自己搞的，大厂又不差那点钱。
plko345 8
plko345 5 天前 via Android
@acbot 对象存储好像都是有标准的，api 和协议方面都差不太多，aws s3 也是，底层不一样，但提供给用户的接口一样，所以会有这种错觉
gstqc 9
gstqc 5 天前 via Android
主要是 s3 协议已经是事实上的业界标准了，不兼容就没人用
ospider 10
ospider 5 天前
ceph 确实支撑不了多大的场景，但是也不至于到玩具的地步。头条 2017 年才从 ceph 切换到自研的。
boyhailong 11
boyhailong 5 天前
了解的成都好几个做云存储的都是 ceph 。。。。 而且也都商用了
dongqihong 12
dongqihong 5 天前
大体都分三层，接入层（ API 、各种业务逻辑），索引层（基于 LSM ），持久化存储层（分部署存储，类似 HDFS ）
阿里腾讯华为都大致如此，S3 早期也一样
WebKit 13
WebKit 5 天前 via Android
@moult 七牛也是 go 开发，自研的
gstqc 14
gstqc 5 天前
AWS S3 这种，一个 bucket 放百亿量的文件，如何做检索的
opengps 15
opengps 5 天前
参考 aws 的对象存储
crowdwei 16
crowdwei 5 天前
Azure Storage:
https://azure.microsoft.com/en-us/blog/sosp-paper-windows-azure-storage-a-highly-available-cloud-storage-service-with-strong-consistency/
henvm 17
henvm 5 天前 via Android
对象存储不是基于对象的吗?
imbushuo 18
imbushuo 5 天前
https://dl.acm.org/doi/10.1145/2043556.2043571

scalable table as index + scalable persistent layer (stamp)，跟 SSD 的内部存储组织类似但是 scale 被放大了
acbot 19
acbot 5 天前
@boyhailong 曾经我看一个 私有云的商用产品存储方案也是用的 ceph
acbot 20
acbot 5 天前
@moult 也就是 一个中型公司自己服务用的话 ceph 和 minio 都没有问题是不？
acbot 21
acbot 5 天前
@ospider 是什么原因造成 ceph 不能支撑大的场景呢？如果自用只是存储量比较大的情况 ceph 能胜任不呢？
swulling 22
swulling 5 天前 via iPhone
说底层用 ceph 的可能对数据量缺乏想象力
dynastysea 23
dynastysea 5 天前 ❤️ 1
@moult 如果你是个存储行业的，你就知道 HW 的存储实力有多强了（软硬层面全栈都有自研，腾讯现在还停留在软件层面，阿里也在涉及存储硬件开发），互联网公司在华为面前就是跟玩似的，特别是腾讯，虽然是自研但基本也是跟着开源的节奏来（华为在国外都有专门的研究所，比如俄罗斯有专门的存储算法研究团队，存储部门内的博士更是一大堆，阿里也有美国研发团队，博士也不少。腾讯投入小很多，基本都是国内招本科生、研究生，存储行业好的博士基本不会选择腾讯，多数都是选择华为、阿里，很多在华为的挖都挖不动，对于那些深研技术的，目前国内差不多只有华为、阿里有更高的平台可以让他们接触到*前沿的存储技术）。华为存储做的很早，腾讯、阿里存储组里面很多华为跳槽过来的。
zmxnv123 24
zmxnv123 5 天前 via iPhone
hdfs+hbase 目前对象数大概几十万亿。
armyHcz 25
armyHcz 5 天前
@moult 七牛用的是阿里云包了一层
hemingway 26
hemingway 4 天前
除了 ceph 和 minio 还有其他选择么？对于小厂来说，不自研的话
henvm 27
henvm 4 天前
@dynastysea 这点比较赞同，我记得我公司之前一个客户买了一台华为的存储设备 15 万吧，他们用起来很舒服，
kerro1990 28
kerro1990 4 天前
用 AWS S3
yuyuko 29
yuyuko 2 天前 via iPhone
对象存储是存储中难度*小的了吧。。。协议层召点人怼一下，元数据层用开源方案，存储层随便搞搞就行，反正不要 iops，不要时延，吞吐大力出奇迹
yuyuko 30
yuyuko 2 天前 via iPhone
@dynastysea 哈哈，国内不还有 emc 嘛，我们这边好多 emc 出来的人?