গিট ইতিহাস পার্ট 2 পরিষ্কার করুন08
22

সংবেদনশীল ডেটা বা অত্যধিক মেমরি খরচ: গিট ইতিহাস পরিবর্তন করতে চান এমন ভাল কারণ রয়েছে। এই ব্লগ পোস্টে , আমি ব্যাখ্যা করেছি কিভাবে বিএফজি ব্যবহার করে গিট ইতিহাস থেকে ফাইলগুলিকে পরিষ্কার করতে হয়। BFG-এর একটি দুর্বল দিক হল সরাসরি পাথগুলির জন্য সমর্থনের অভাব, তাই আপনি ইতিহাস থেকে সাবফোল্ডারগুলিতে ফাইল বা ফোল্ডারগুলিকে বিশেষভাবে সরাতে পারবেন না। এর সাথে, এটি বিকল্প সমাধানগুলি দেখার সময়।

---

সরকারীভাবে প্রস্তাবিত গিট ফিল্টার শাখা ছাড়াও , গিট-ফিল্টার-রেপো ইতিহাস পরিষ্কার করার অন্যতম সরঞ্জাম। একটি সংক্ষিপ্ত ইনস্টলেশনের পরে, আমরা প্রথমে সংগ্রহস্থলটি বিশ্লেষণ করি এবং খুঁজে পাই, উদাহরণস্বরূপ, ইতিহাসের বৃহত্তম ফোল্ডারগুলি:

git filter-repo --analyze

আচ্ছা ফোল্ডারে থাকুন .git/filter-repo/analysis সব ধরণের TXT ফাইল তৈরি করেছে:

• directories-all-sizes.txt
• extensions-all-sizes.txt
• path-all-sizes.txt
• ...

এটা ফাইল মূল্য directories-all-sizes.txt একটি ঘনিষ্ঠ কটাক্ষপাত:

=== All directories by reverse size ===



Format: unpacked size, packed size, date deleted, directory name



  4624417043 3796607988 <present>  <toplevel>

  4475940396 3778033787 <present>  wp-content

  4060236681 3694449320 <present>  wp-content/uploads

   305163809   70576241 <present>  wp-content/plugins

   123818107   15442735 <present>  wp-includes

...

এটি প্রায়শই ঘটে যে আপনি ইতিহাসের HEAD ডেটা থেকে দীর্ঘকাল উপেক্ষা করেছেন এবং মুছে ফেলেছেন (উদাহরণস্বরূপ, ওয়ার্ডপ্রেস মিডিয়া ফোল্ডার wp-content/uploads/ অথবা একটি ঘটনাক্রমে ধাক্কা এক node_modules- বা vendor-বাইন্ডার)।

সাধারণত সুপারিশ করে git-filter-repo পরিষ্কার করার পরে, একটি নতুন, খালি সংগ্রহস্থলে ঠেলে দেওয়া। এখানে তালিকাভুক্ত অনেক কারণ আছে, কেন এটি বোধগম্য হয় এবং অনেক সমস্যা এড়িয়ে যায়। তবুও, এটি ঘটতে পারে যে আপনি একই সংগ্রহস্থলে ধাক্কা দিতে চান এবং এটি কয়েকটি ইঙ্গিত দিয়েও সম্ভব।

গুরুত্বপূর্ণভাবে, প্রধান কোড হোস্টিং প্ল্যাটফর্ম গিটহাব এবং গিটল্যাব বিভিন্ন পদ্ধতির সুপারিশ করুন, যার মধ্যে কিছু একে অপরের থেকে আলাদা। উদাহরণস্বরূপ, গিটহাবে আমরা সরিয়ে ফেলি wp-content/uploads/ নিম্নলিখিত পদক্ষেপগুলি ব্যবহার করে git-filter-repo ইতিহাস থেকে:

mkdir tmp-repo
cd tmp-repo
git clone git@github.com:foo/bar.git .
cp .git/config /tmp/config-backup
git filter-repo --invert-paths --path wp-content/uploads/
# option 1: same repo
  mv /tmp/config-backup .git/config
  git push origin --force --all
# option 2: new repo
  git remote add origin git@github.com:foo/bar-new.git
  git push origin --force --all
cd ..
rm -rf tmp-repo

আমরা এখন দূরবর্তীভাবে আকারটিও পরীক্ষা করতে পারি (এপিআই এবং UI এর মাধ্যমে আকার পরিবর্তন করা 24 ঘন্টা পর্যন্ত সময় নিতে পারে)। এটি করার জন্য, সংগ্রহস্থল সেটিংস খুলুন (যদি সংগ্রহস্থলটি কোনও সংস্থার অন্তর্গত হয় তবে আপনাকে প্রথমে সংস্থায় আপনার নিজের অ্যাকাউন্ট যুক্ত করতে হবে)। এখন আমরা আকার দেখতে:

গিটল্যাবে পদ্ধতিটি কিছুটা আলাদা:

mkdir tmp-repo
cd tmp-repo
# option 1: same repo
  # Settings > General > Advanced > Export project > download tar.gz file into tmp-repo
  tar xzf 20*.tar.gz
  git clone --bare --mirror project.bundle
  cd project.git
  git filter-repo --invert-paths --path wp-content/uploads/
  cp ./filter-repo/commit-map /tmp/commit-map-1
  # copying the commit-map has to be done after every single command from git filter-repo
  # you need the commit-map files later
  git remote remove origin
  git remote add origin git@gitlab.com:foo/bar.git
  # Settings > Repository > Protected branches/Protected branches >
  # enable "Allowed to force push to main/master"
  git push origin --force 'refs/heads/*'
  git push origin --force 'refs/tags/*'
  git push origin --force 'refs/replace/*'
  # Settings > Repository > Protected branches/Protected branches >
  # disable "Allowed to force push to main/master"
  date
  # wait 30 minutes (😱)
  date
  # Settings > Repository > upload /tmp/commit-map-X
# option 2: new repo
  git clone git@gitlab.com:foo/bar.git .
  git filter-repo --invert-paths --path wp-content/uploads/
  git remote add origin git@gitlab.com:foo/bar-new.git
  # Settings > Repository > Protected branches/Protected branches >
  # enable "Allowed to force push to main/master"
  git push origin --force --all
  # Settings > Repository > Protected branches/Protected branches >
  # disable "Allowed to force push to main/master"
cd ..
rm -rf tmp-repo

~5 মিনিট অপেক্ষা করার পরে আমরা নীচে যেতে পারি Settings > Usage Quotas স্টোরেজ স্পেস দেখুন:

অপসারণের পরে, এটি গুরুত্বপূর্ণ যে জড়িত সমস্ত বিকাশকারীরা চূড়ান্ত পদক্ষেপে জড়িত: যদি কোনও ব্যবহারকারী এখন তাদের নিজস্ব স্থানীয় অনুলিপি দিয়ে একটি সাধারণ পুশ করে, এর ফলে বড় ফাইলগুলি কেন্দ্রীয় সংগ্রহস্থলে ফিরে যাবে। অতএব, নিম্নলিখিত 3 বিকল্প সুপারিশ করা হয়:

• "গরীব মানুষের তাজা ক্লোন"
  • rm -rf .git && git clone xxx temp && mv temp/.git ./.git && rm -rf temp
  • পরিবর্তিত ফাইলগুলির জন্য (অ্যাপ্লিকেশনের উপর নির্ভর করে): git checkout -- . বা git add -A . && git commit -m "Push obscure file changes." && git push
• "শুন্য থেকে শুরু করা"
  • rm -rf repo && git clone xxx .
• "রিবেস দিয়ে কুৎসিত টান"
  • git pull -r
  • এখানে আপনার এখনও অপরিষ্কার ইতিহাস রয়েছে, তবে বেশিরভাগ ক্ষেত্রেই আপনি আর দূরবর্তী সংগ্রহস্থলটি বড় স্থানীয় বৈকল্পিক দিয়ে ওভাররাইট করবেন না

বর্তমান কোটা চলাকালীন (বিশেষ করে গিটল্যাবের নতুন বিধিনিষেধের কারণে), আপনার সংগ্রহস্থলের ইতিহাসের আকার পরীক্ষা করা এবং প্রয়োজনে সেগুলি পরিষ্কার করা সর্বদা মূল্যবান।:

	গিটহাব ফ্রি	গিটল্যাব ফ্রি
সর্বোচ্চ ফাইলের আকার সীমা	100MB	∞
সর্বোচ্চ রেপো আকার সীমা	5,000MB	∞
সর্বোচ্চ রেপো গণনা সীমা	∞	∞
সর্বোচ্চ সামগ্রিক আকার সীমা	∞	5,000MB

অবশেষে, এটি একটি স্ব-হোস্টেড, বিনামূল্যে বৈকল্পিক মত একটি কটাক্ষপাত করা মূল্যবান গীতা নিক্ষেপ করা. সামান্য প্রচেষ্টার সাথে আপনি একটি খুব পাতলা সার্ভার একটি স্ব-হোস্টেড গিট উদাহরণ (প্রতি GUI SSL সুরক্ষিত, ব্যাকআপ অন্তর্ভুক্ত, নিয়ন্ত্রণ শক্তিশালী API) হোস্ট, যা চমৎকার সজ্জিত করা এবং ডেটা সুরক্ষার ক্ষেত্রেও উচ্চতর। এখানে, উপায় দ্বারা, আপনি এছাড়াও ব্যবহার করতে পারেন git-filter-repo সহজভাবে সংগ্রহস্থল স্ট্রীমলাইন:

mkdir tmp-repo
cd tmp-repo
git clone git@git.tld.com:foo/bar.git .
cp .git/config /tmp/config-backup
git filter-repo --invert-paths --path wp-content/uploads/
# option 1: same repo
  mv /tmp/config-backup .git/config
  git push origin --mirror
  # login on the remote command line and run in the repo-folder
  sudo -u git git reflog expire --expire=now --all
  sudo -u git git gc --aggressive --prune=now
  # if you face memory limit issues, modify the git configuration
  sudo -u git git config --global pack.windowMemory "100m"
  sudo -u git git config --global pack.packSizeLimit "100m"
  sudo -u git git config --global pack.threads "1"
  # if in web ui the size does not change, make a slight
  # modification to a file and push again normally
# option 2: new repo
  git remote add origin git@git.tld.com:foo/bar-new.git
  git push origin --force --all
cd ..
rm -rf tmp-repo

এখানে বিশেষভাবে কমান্ড sudo -u git git gc --aggressive --prune=now গুরুত্বপূর্ণ (ক্রন চলমান git gc অন্যথায় একটি খুব দীর্ঘ আছে ছাঁটাই সময় 2 সপ্তাহের)।