文件去重
-
阿里云秒传是怎么判断文件已存在的:哈希校验与存储去重
同一份文件被反复上传,在设计素材、安装包、视频母版这类大文件场景里很常见。几个成员各传一遍,存储账单悄悄往上涨,直到有人抱怨上传太慢,才发现问题出在重复上传上。阿里云秒传要解决的就是这件事:上传前先确认服务端有没有内容完全相同的文件,有就直接建立引用,不再重新传一遍字节。这篇文章从判断逻辑讲起,再说在阿里云 OSS 上通常怎么落地。 什么是秒传 秒传判断的依…
同一份文件被反复上传,在设计素材、安装包、视频母版这类大文件场景里很常见。几个成员各传一遍,存储账单悄悄往上涨,直到有人抱怨上传太慢,才发现问题出在重复上传上。阿里云秒传要解决的就是这件事:上传前先确认服务端有没有内容完全相同的文件,有就直接建立引用,不再重新传一遍字节。这篇文章从判断逻辑讲起,再说在阿里云 OSS 上通常怎么落地。 什么是秒传 秒传判断的依…