网站建设做软件开发吗,中山360推广,wordpress id获取图片地址,中山网站推广服务参考文章#xff1a;
[分享] 极狐GitLab仓库瘦身 - 官方技术分享 - 极狐GitLab 论坛
一、瘦身概述
Git仓库随着时间推移会变得越来越大#xff0c;比如很多比较大的文件加入Git仓库时#xff0c;可能引起以下问题#xff1a;
下载仓库越来越慢#xff0c;因为每个人都…参考文章
[分享] 极狐GitLab仓库瘦身 - 官方技术分享 - 极狐GitLab 论坛
一、瘦身概述
Git仓库随着时间推移会变得越来越大比如很多比较大的文件加入Git仓库时可能引起以下问题
下载仓库越来越慢因为每个人都要下载文件占用服务器大量存储空间触发Git仓库存储限制
重写Git仓库可以移除不想要的仓库历史减少仓库大小。
工具方面我们推荐使用git filter-repo. 不推荐使用git filter-branch 或者 BFG.
git filter-repo可以实现以下目的 剥离大文件或大目录或大扩展名 按路径剥离不需要的文件 提取想要的路径及其历史剥离所有其他内容 重组文件布局例如将所有文件移动到一个子目录中以准备与另一个 repo 合并使子目录成为新的顶级目录或将两个具有独立文件名的目录合并到一个目录中 重命名标签也经常为与另一个 repo 合并做准备 替换或删除敏感文本例如密码 使用户名与电子邮件的邮件映射关系重写永久化 使移植或替换引用refs永久化 重写commits消息
特别注意 重写仓库是一种具有破坏性的操作不应轻易使用建议操作之前备份仓库最好的仓库备份方式就是导出项目。
从仓库历史删除文件
想要对仓库瘦身您必须首先从由 GitLab 自动创建的分支、标签和其他内部引用 (refs) 中删除对大文件的引用。这些引用refs包括
refs/merge-requests/* 用于合并请求。refs/pipelines/* 用于管道。refs/environments/* 用于环境。refs/keep-around/* 隐藏的refs防止数据库中被删除
我们可以首先将项目导出本地删除这些 refs然后推送回去。
二、操作步骤
1、准备好环境Java、Gitlab、Python(https://www.python.org/)
注意下载python要用微软商店中下载的python3自己下载安装的不好使。。。
2、下载git-filter-repo
官网GitHub - newren/git-filter-repo: Quickly rewrite git repository history (filter-branch replacement)
3、备份并导出项目
防止操作失败导致出现删库跑路的事情发生
4、使用 --bare 和 --mirror 参数从bundle中克隆仓库的新副本:
git clone --bare --mirror https://gitlab.fengqingx.com/project.git
5、清理克隆仓库中文件
进入project.git文件夹。理论上使用git filter-repo可以从仓库的历史包括master中清除任何的文件。 由于我们试图删除内部引用refs所以我们依靠每次运行生成的commit-map来告诉我们要删除哪些内部引用。
git filter-repo每次运行都会生成一个commit-map文件并覆盖上一次生成的commit-map。
比如在所有分支中包括master清理10M大小以上的文件使用参数--strip-blobs-bigger-than python3 D://Project//Gitlab//git-filter-repo-main//git-filter-repo --strip-blobs-bigger-than 10M
比如指定大文件的具体路径使用参数--path和--invert-paths python3 D://Project//Gitlab//git-filter-repo-main//git-filter-repo --path path/to/big/file.m4v --invert-paths参考git filter-repo的官方文档可以获取更多清理方式
6、配置remote远端仓库地址将本地代码推送到gitlab服务器
git remote add origin https://gitlab.fengqx.com/xuan.git 7.推送变更覆盖远程所有分支。 git push origin --force refs/heads/*如果远程分支是受保护的请先禁用保护然后推送然后重新启用分支保护。 8.从标签release中删除大文件。 git push origin --force refs/tags/*如果标签是受保护的请先禁用保护然后推送然后重新启用标签保护。 9.防止commit中存在死链。 git push origin --force refs/replace/*10.运行仓库清理。
三、仓库清理
仓库清理就是允许上传一个包含目标对象的TXT文件。GitLab会清理这些目标对象的内部引用refs。你可以使用git filter-repo生成这样的文件commit-map文件用于清理。
注意文件commit-map文件每次执行完python命令会生成一个commit-map文件路径在D:\test\约翰\fengqx.git\filter-repo 中有commit-map文件
从13.6开始安全的清理仓库需要确保在操作期间没有git push等写操作确保仓库是只读的否则清理仓库的请求将提交失败。
清理仓库步骤 打开项目 打开Settings Repository 上传清单文件比如git filter-repo生成的commit-map文件 如果commit-map文件大小超过250KB或者3000行那么可以拆分文件并一个一个上传 split -l 3000 filter-repo/commit-map filter-repo/commit-map-点击Start cleanup 页面会提示Repository cleanup has started. You will receive an email once the cleanup operation is complete.
将执行的动作
移除任何对旧commits的内部引用。运行git gc --prune30.minutes.ago删除未引用的对象临时重新打包仓库会导致仓库的大小显着增加因为在创建新的打包文件之前不会删除旧的打包文件。取消连接到项目的任何未使用的 LFS 对象释放存储空间。重新计算磁盘上仓库的大小。
清理完成后GitLab 会发送一封电子邮件通知其中包含重新计算的仓库大小。
如果仓库大小没有减少这可能是由于在过去 30 分钟内发生的 Git 操作中引用了松散对象而导致的。 在仓库休眠至少 30 分钟后尝试重新运行这些步骤。
四、注意事项
项目统计信息是有缓存的所以你可能需要等待 5-10 分钟才能看到存储使用率的降低。清理会修剪超过 30 分钟的松散对象也就是不会立即删除过去 30 分钟内添加或引用的对象。 如果你有权限访问 Gitlab 服务器你可以避开延迟并运行 git gc --prunenow 立即删除所有松散的对象。这个操作从 GitLab 缓存和数据库中删除了一些重写提交的副本但是覆盖范围仍然存在许多差距并且一些副本可能会无限期地持续存在。
五、执行完第三步此时重新拉代码就会是压缩之后的gitlab仓库了。瘦身完成
从500多MB直接变成40MB
