প্রশ্ন ব্যাকআপ কিভাবে 20 + টিবি তথ্য?


আমরা যে কোম্পানির জন্য কাজ করি তার একটি NAS সার্ভার আছে যা ফটোগ্রাফি সেশন সংরক্ষণের জন্য ব্যবহার করা হচ্ছে। প্রতিটি সেশন প্রায় 100gb হয়। গত কয়েক বছরে এই সার্ভারটি 10+ টিবি তথ্য সংগ্রহ করেছে এবং আমরা দ্রুত ফটোশটগুলির পরিমাণ বাড়িয়ে তুলছি। আমি অনুমান করি যে আগামী বছরের শেষে আমরা ২0+ টিবি এই NAS এ সংরক্ষণ করব। আমরা বর্তমানে সিমন্টেক ব্যাকআপএক্সেকের সাথে এলটিও -5 টেপগুলি ব্যবহার করে টেপ পর্যন্ত এই সার্ভারটিকে ব্যাকআপ করছি। যেহেতু এই সার্ভারটির আকার বেড়েছে, এই সার্ভারের সম্পূর্ণ ব্যাকআপগুলি রাতারাতি শেষ হচ্ছে না। যে কেউ এই পরিমাণ তথ্য ব্যাকআপ কিভাবে কোন পরামর্শ আছে? আমরা টেপ এটি ব্যাক আপ করা উচিত? ভাল হতে পারে যে অন্য কোন বিকল্প আছে?


82
2017-12-12 03:50


উত্স


কেন আপনি প্রতি রাতে পূর্ণ ব্যাকআপ সম্পাদন করছেন? কেন সপ্তাহে একবার একটি সম্পূর্ণ ব্যাকআপ চালান না এবং সপ্তাহের বাকি 6 দিনের বর্ধমান ব্যাকআপগুলি চালান? - joeqwerty
আমরা যা করছি, দুঃখিত, আমি তা উল্লেখ করিনি ... সাপ্তাহিক পূর্ণতাটি শেষ না হয়। - Jesus Fidalgo
একটি সাপ্তাহিক পূর্ণতা রাতারাতি পূরণ করতে চান? সপ্তাহান্তে যথেষ্ট পরিমাণে বড় ডেটাসেটের জন্য 24 ঘন্টার বেশি সময় নিতে অস্বাভাবিক নয়। - Stefan Lasiewski
আপনি কি ধরনের NAS ব্যবহার করছেন? - ewwhite
আপনি ফটোশট বৃদ্ধি নিশ্চিত ব্যাখ্যামূলক? - gerrit


উত্তর:


আপনাকে একটি পদক্ষেপ নিতে হবে এবং চিন্তা করা বন্ধ করতে হবে "আমার NAS তে 20TB আছে আমি ব্যাক আপ করতে হবে!" এবং একটি ডেটাবেস কৌশল বিকাশ করে যা আপনার ডেটা প্রকৃতির বিবেচনায় নেয়:

  • এটি কোথা থেকে আসছে এবং আপনি কত নতুন তথ্য পেয়েছেন? (আপনি আপনার প্রশ্নের এই পেয়েছেন)
  • আপনি এটি আছে একবার তথ্য ব্যবহার করা হয় কিভাবে? মানুষ ছবি সম্পাদনা করছেন? আপনি মূল রাখা এবং সম্পাদনা সংস্করণ জেনারেট করবেন?
  • কতক্ষণ আপনি সব তথ্য রাখা প্রয়োজন? মানুষ কি এখনও 2 বছর আগে ছবিতে পরিবর্তন করছে?

গত দুই প্রশ্নের উত্তরগুলির উপর নির্ভর করে আপনাকে সম্ভবত আরও একটি প্রয়োজন সংরক্ষণাগার সিস্টেম একটি মূলত বিভিন্ন ব্যাকআপ সিস্টেমের চেয়ে।

স্ট্যাটিক ডেটা (উদাঃ 2 বছরের পুরানো ছবি যা আপনি "ঠিকঠাক ক্ষেত্রে" রেখেছেন) প্রতি রাতে বা এমনকি প্রতি সপ্তাহে ব্যাক আপ করার প্রয়োজন নেই, এটি সংরক্ষণাগারভুক্ত করতে হবে। আপনি আসলে যা করতে পারেন তা আরো জটিল হতে পারে, কিন্তু ধারণাগতভাবে, পুরানো ছবিগুলি টেপে (বহু কপি!) লেখা যেতে পারে এবং কোনও ব্যাক আপ নেওয়া হবে না।

আপনার মন্তব্যের উপর ভিত্তি করে, কিছু অতিরিক্ত চিন্তাভাবনা:

  • যেহেতু আপনি প্রতিটি শ্যুটটির মূলগুলি অপরিবর্তিত রাখেন এবং অনুলিপি করে কাজ করেন, এবং অনুমান করছেন যে অন্তত কয়েকটি মূল ছবিগুলি কুৎসিত, আপনি অর্ধেক ব্যাক আপ হওয়া ডেটা পরিমাণ কাটাতে সক্ষম হতে পারেন।

  • আপনি যদি এখনও যে কোনও উইন্ডোর মধ্যে সম্পূর্ণ ব্যাকআপ শেষ করতে না পারেন তবে জিনিসগুলি দ্রুত গতিতে চালানোর একটি সাধারণ উপায় হল প্রথমে ডিস্ক-টু-ডিস্ক ব্যাকআপ করা এবং তারপরে ব্যাকআপ সেটটিকে টেপে অনুলিপি করা।


110
2017-12-12 04:19



মূল শ্যুটটি অপঠিত করা হয়, ফটোশটটির অন্য কপি সম্পাদনা করার জন্য ব্যবহার করা হয়। তথ্য প্রায় 2 বছর রাখা প্রয়োজন হতে পারে। - Jesus Fidalgo
+1 ভাল বলেছেন। আমি অবাক হচ্ছি কিভাবে ব্যাকআপ এবং আর্কাইভের মধ্যে পার্থক্যটি সাধারণভাবে খারাপভাবে বোঝা যায়। আমি আমার সিস্টেমের পূর্ণ ও ক্রমবর্ধমান ব্যাকআপ এবং ইমেল এবং নথি হিসাবে ক্ষণিক তথ্য, কিন্তু আমার ফটোগ্রাফি সংরক্ষণ (1.2TB এবং ক্রমবর্ধমান :-)। ইচ্ছা করলে ডিস্ক-টু-ডিস্ক পরামর্শের জন্য আমি অন্য +1 দিতে পারি। - Ex Umbris
+1 আমি চাই যে NAS এর 80% ডেটা কখনও একবার ব্যবহার করা হয় না। - Stefan Lasiewski
+1 এখানে সেরা বিকল্প পরিবর্তনগুলি ক্যাপচার করতে ডিস্ক ডেল্টা ট্রান্সফারগুলিতে দৈনিক এবং এমনকি ঘন ঘন ডিস্ক করতে হয় এবং তারপরে একটি সাপ্তাহিক বা আধা-সাপ্তাহিক ভিত্তিতে আর্কাইভ বা অফ-সাইট প্রদানকারী / অবস্থানের পূর্ণ বা ক্রমবর্ধমান ব্যাকআপগুলি সরাতে হয়। আমরা ডিআর দৃশ্যকল্পতে ডেটা হ্রাসের পরিমাণ হ্রাস করতে প্রতি 15 মিনিটে আমাদের এসকিউএল ফাইলগুলির ডেল্টা ব্যাকআপ গ্রহণ করতাম। - Brent Pabst


আপনার দুটি বিকল্প আছে:

বিকল্প 1:

  1. অন্য NAS কিনতে
  2. আপনার ব্যবহারকারীদের RO_ অ্যাক্সেস new_NAS তে দিন
  3. 2 বছরের পুরোনো সমস্ত ফাইল new_NAS এ সরান
  4. স্বাভাবিক হিসাবে old_NAS ব্যাক আপ রাখুন
  5. প্রতি 6 মাস নতুন ফাইলগুলি নতুন_এনএএস থেকে ২ বছরের পুরানো করে

বিকল্প 2:

  1. অন্য NAS কিনতে
  2. চালান rsync প্রতি ঘন্টা: old_NAS -> new_NAS

    অথবা, ভালো কিছু ব্যবহার করুন rdiff ব্যাকআপ যা rsync + ফাইল পরিবর্তনগুলির সাথে ডেল্টাস রাখে (আপনি ফাইলগুলির পুরানো সংস্করণগুলি পুনরুদ্ধার করতে পারেন)

    rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
    
  3. প্রতি 6 মাস পরিষ্কার পুরানো ফাইল কিছু চলমান:

    rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
    

12
2017-12-12 15:07





কেন আপনার ব্যাকআপ রাতারাতি সম্পন্ন করতে হবে? ফাইলার্সভার কর্মক্ষমতা? আপনি দিনের বেলায় প্রভাব সীমিত করতে আপনার ব্যাকআপ সফটওয়্যার ব্যান্ডউইথ বাধা দিতে সক্ষম হতে পারে। অথবা অন্য ট্র্যাফিকের উপর প্রভাব সীমাবদ্ধ করার জন্য আপনার NAS এ একটি ইন্টারফেসকে টেপ ড্রাইভে কথা বলতে উৎসর্গ করুন।

আপনি সপ্তাহান্তে পূর্ণ dumps চালাতে পারেন এবং সপ্তাহে শুধুমাত্র বৃদ্ধি বৃদ্ধি করতে পারেন? যদি সমস্যাটি সপ্তাহের শেষের দিকে কোনও টেপে পরিবর্তিত হয় তবে কোনও টেপ লাইব্রেরী / অটোকangerকে টেপ পরিবর্তন করতে অর্থ প্রদানের চেয়ে অনেক কম খরচ হয়।

আপনি আপনার ডেটা আপনার একাধিক গোষ্ঠীতে ভাগ করতে পারেন যা আপনার ব্যাকআপ উইন্ডোতে সম্পূর্ণরূপে যথেষ্ট ছোট?

আমাদের NAS তে প্রায় 50 টি বিবি তথ্য রয়েছে এবং 2 টেপ ড্রাইভগুলি ব্যবহার করে সমগ্র জিনিসটির পুরো ডাম্প পেতে সপ্তাহে বেশি সময় নেয় (এক ভলিউম প্রায় এক সপ্তাহ সময় নেয় কারণ এটিতে অনেকগুলি ছোট ফাইল থাকে)। আমরা কি একটি দ্বিতীয় NAS আমাদের তথ্য প্রতিলিপি হয়। আমাদের সেকেন্ডারি NAS সাইটে রয়েছে (তবে প্রাথমিক থেকে ভিন্ন ডেটাসেন্টারে), তাই আমরা এখনও অফ-সাইট ব্যাকআপের জন্য টেপে ডেটা বন্ধ করতে পারি। আমরা যে সেকেন্ডারি NAS থেকে ব্যাকআপ চালান তাই ব্যাকআপ কেউ নিচে ধীর না।

আপনি যদি আপনার সেকেন্ডারি নাসিকে যথেষ্ট দূরে দূরে রাখতে পারেন, তবে এটি আপনার ব্যাকআপ হতে পারে, কোন টেপ প্রয়োজন হয় না।


2
2017-12-12 18:47





আমি শুধু প্রতিটি শুটিং অধিবেশন আকার সম্পর্কে সন্দেহ করছি, এটা সত্যিই 100gb / অধিবেশন? আপনার কোম্পানীর প্রতি মাসে কত সেশন না?

যেহেতু আপনি বেশিরভাগ পুরানো সেশন সংরক্ষণ করছেন যা ঘন ঘন ব্যবহার করা হবে না ইত্যাদি, এবং সম্ভবত সেই তথ্যটি পুনরুদ্ধার করার প্রয়োজন নেই যা প্রায়শই পুনরাবৃত্তি করতে হবে, আমি আপনাকে বলব যে আপনি কিছু কোম্পানির পরিষেবাগুলি আপনার জন্য সেই কাজটি যত্ন নেওয়ার জন্য ব্যবহার করবেন। ।

উদাহরণস্বরূপ, উদাহরণস্বরূপ, অনলাইন অ্যাক্সেস ব্যবহার করে ২0 টিটি সঞ্চয় করে যেমন অ্যামাজন হিমবাহের দাম $ 200 / মাস বেশি। আপনি যদি সেই আর্কাইভগুলিকে ঘন ঘন পুনরুদ্ধার করতে চান, বা এমনকি সম্পূর্ণরূপে পুনরুদ্ধার করতে চান তবে এটি কিছু সময় / খরচ সীমাবদ্ধতা হ্রাস করবে। যদি আপনি কেবলমাত্র সেগুলি সংরক্ষণ করেন তবে "তারা নিশ্চিত হয়ে থাকে যে তারা সঞ্চয় করা হয়েছে", সম্ভবত একটি তৃতীয় অংশ ব্যবহার করে আপনার জীবনকে আরও সহজ করে তুলতে পারে (এবং অন্য NAS, টেপ, ইত্যাদি তুলনায় এমনকি সস্তা)


1
2017-12-12 12:15



100 গিগাবাইট প্রতি সেশন আমার কাছে একটু বেশি শোনাচ্ছে, কিন্তু অযৌক্তিক নয়। আমরা সাধারণত 32+ জিবি অধিবেশন করতাম যেখানে আমি কাজ করতাম, এবং আমাদের সরঞ্জাম মাঝারি স্তর ছিল। - Tom Marthenal


full backups of this server are not completing overnight
তারপর ক্রমবর্ধমান ব্যাকআপ চেষ্টা? এক পূর্ণ ব্যাকআপ প্রতি xx দিন, বাকি বৃদ্ধি।

Harddisks টেপ চেয়ে দ্রুত, ব্যাকআপ এবং ব্যাকআপ জন্য ব্যবহার করা যেতে পারে।

এছাড়াও ক্লাউড ব্যাকআপের জন্য ভাল বিকল্প রয়েছে তাই এটি আরও দ্রুত এবং দ্রুত টেপগুলি যুক্ত রাখতে প্রয়োজন হয় না।
উদাহরণ স্বরূপ:


1
2017-12-12 13:47



মন্তব্য দেখুন - এটি সম্পূর্ণ না হয় সাপ্তাহিক পূর্ণ। উপরন্তু, 20TB তথ্য জন্য ক্লাউড ব্যাকআপ ... একটি ভাল ধারণা না। অ্যামাজন হিমবাহের "সস্তা" বিকল্পটির খরচ ~ 2500 / বছর হবে, এবং সমস্ত তথ্য উদ্ধার করা হবে ~ $ 36,000। - HopelessN00b
যে আসলে একটি খুব না। - Sirex
আমি $ 2400 / বছর 20TB অপেক্ষাকৃত নিরাপদ এবং সম্পূর্ণ রক্ষণাবেক্ষণ মুক্ত স্টোরেজ জন্য অনেক হয় যদি এটা মতামত একটি ব্যাপার অনুমান। কোন শক্তি খরচ, কোন শীতল, কোন ব্যর্থ হার্ডওয়্যার, কোন SLA, র্যাক স্থান গ্রহণ করা হয় না। এবং অধিকাংশ সিস্টেমের সাথে আপনি প্রায় 0 সম্পূর্ণ পুনরুদ্ধারের ক্রিয়াকলাপগুলি আশা করতে পারেন। এবং যদি আপনার পুনরুদ্ধারের প্রয়োজন হয় তবে দাম $ 36000 এর চেয়ে 1800 ডলারের বেশি (আপনি যে নম্বরটি পেয়েছেন তা নিশ্চিত না)। - Tedd Hansen
গ্লাসিয়র জন্য, $ 36K বেশ কাছাকাছি। আমি 20TB থেকে পুনরুদ্ধারের খরচ হিসাবে এটি প্রায় 42KK হিসাবে গণনা। এটা এখনও alot না যদিও। ব্যান্ডউইথ একটি সমস্যা বেশি। - Sirex


আমি মনে করি এটির জন্য সর্বোত্তম সমাধান আমরা আমাদের প্যারোল ডেটা দিয়ে যা করি, যা আপনাকে বাস্তবায়নের জন্য সর্বনিম্ন প্রচেষ্টা নিতে হবে।

  • প্রাথমিকভাবে, এটি সার্ভার ডেটা অবশিষ্ট ডেটা যা প্রতিদিন ব্যাক আপ রাখে। যারা ব্যাকআপ উপর আমাদের ধারণার সময় 13 মাস।

  • একবার আমরা আর ডেটা পরিবর্তনের প্রয়োজন হবে না, তারপরে (দুইটি অর্থের সময়কাল পরে, আইআইআরসি) ডেটা (স্ক্রিপ্টের মাধ্যমে) নিয়মিত ব্যাকআপ থেকে বাদ দেওয়া একটি সংরক্ষণাগারের ভলিউমে সংরক্ষণ করা হয়।

  • আর্কাইভ ভলিউম বার্ষিক টেপ ব্যাক আপ করা হয়, এবং টেপ অনির্দিষ্ট সঞ্চয় জন্য Cintas বন্ধ পাঠানো হয়।

এটি আমাদের সেই অপরিবর্তনীয় ডেটাতে সহজ, অনলাইন অ্যাক্সেস করার অনুমতি দেয় (তাই কোনো অ্যাকাউন্টেন্ট যে কোনও সময় দেখতে চায় সেক্ষেত্রে আমাদের কোনও টেপে কল করতে হবে না), ডেটা অনির্দিষ্ট অফ-সাইট সংরক্ষণাগারগুলিকে বজায় রাখার জন্য আমাদের চিরকালের জন্য রাখতে হবে , এবং আমাদের ব্যাকআপ সিস্টেম নিষ্পেষণ ছাড়া। একই ধরনের সেটআপের মতো শব্দগুলি আপনার জন্য কাজ করতে পারে, যদিও আপনি অনলাইনে থাকা ডেটা পরিমাণটি সামঞ্জস্য করতে চান তবে আপনার সময়মত ফোনে এই ডেটা অ্যাক্সেস করার প্রয়োজনীয়তার উপর নির্ভর করে - 20 টিবি-এন্টারপ্রাইজ-গ্রেড সঞ্চয়স্থানটি অনেক বেশি ব্যয়বহুল। আপনি অফ-সাইট ভল্টে স্টোর করেন এমন LTO5 টেপগুলির দুটি বা তিন সেটের মধ্যে এটি সংরক্ষণ করার চেয়ে।


1
2017-12-12 16:58





হয়তো আপনি আপনার নিজের নির্মাণ করতে পারেন ব্যাকব্লজ পড: 135Tb জন্য 7384 $
আরও তথ্যের জন্য এখানে ক্লিক করুন: Backblaze পড বিল্ডিং তথ্য

আপনি প্রয়োজনীয় টুকরা কিনতে এবং নিজের দ্বারা এটি তৈরি করতে পারেন।

সম্ভবত আপনি তাদের 3 টি তৈরি করতে পারেন এবং 2 টি অন্সাইট এবং 1 অফসাইট রাখতে পারেন। তারপরে আপনি "অনলাইন তথ্য", প্রথম পডের ব্যাকআপ হিসাবে দ্বিতীয় অনসাইট পড এবং জরুরী অফসাইট ব্যাকআপ হিসাবে তৃতীয় অফসাইট পড হিসাবে একটি পড ব্যবহার করতে পারেন।

প্রতিটি পডের জন্য 135 টিবি স্টোরেজ দিয়ে আপনি এমনকি পরিবর্তনটির কিছু ইতিহাস রাখার কথা ভাবতে পারেন ...
135TB / 20TB = 19 সম্পূর্ণ ব্যাকআপ কপি
বিকল্প হিসাবে আপনি 10 পূর্ণ ব্যাকআপ প্লাস একটি হাস্যকর পরিমাণ ডিফল্ট ব্যাকআপ রাখতে পারেন।

স্বাভাবিকভাবেই, যদি আপনি অফসাইট ব্যাকআপ চান, তবে আপনার কোন ধরণের বড় ব্যান্ডউইথ দরকার ... :-)


0
2017-12-18 08:28



আপনার তথ্য এবং আপনার কাজ আপনার জন্য গুরুত্বপূর্ণ হলে, আপনার স্ক্র্যাচ থেকে আপনার নিজের ব্যাকলেজ পড তৈরি করার চেষ্টা করা উচিত নয়। এটি একটি ভাল ধারনা বলে মনে হয়, যতক্ষণ না আপনি বুঝতে পারেন যে আপনি আপনার সমস্ত ডিম এক বড় বড় ঝুড়িতে রেখেছেন। এখনো খারাপ, যে ঝুড়ি পুঙ্খানুপুঙ্খরূপে একটি সমন্বিত সংখ্যার হিসাবে পরীক্ষা করা হয় নি। ব্যাকব্লজ গোপন সস হল অনেক পড জুড়ে সফ্টওয়্যার প্রতিলিপি যা সম্পূর্ণ পডগুলিকে অবিচ্ছিন্নভাবে ব্যর্থ করতে দেয়। আমি পরিবর্তে একটি সুপারমাইকো স্টোরেজ সার্ভার, Centos, xfs এবং rdiff-backup সুপারিশ করবে। - bugaboo


আমার সহকর্মী একটি Synology 8-ডিস্ক NAS কেনা। এটি একটি সংকর RAID চালায়। তিনি নিউইগ থেকে আটটি 3 টিবি সিগেট বারাকুকু কিনেছিলেন কয়েক সপ্তাহ আগে 89 ডলারের জন্য। আপনি গিগাবাইটের উপরে এই নতুন NAS- এর উত্পাদনের NAS থেকে উত্পাদনের মিররটি রশ্মি করতে পারেন। যেহেতু আপনি শুধুমাত্র পার্থক্য স্থানান্তরিত হয়, স্থানান্তর একটি সংক্ষিপ্ত সময় লাগবে। তারপরে আপনি সম্পূর্ণ বা ক্রমবর্ধমান সঞ্চালনের জন্য ব্যাকআপ NAS ব্যবহার করতে পারেন। আপনি খরচ $ 2000 অধীনে একটি ব্যাক আপ জন্য দরজা নাশ হবে না।


-1
2017-12-12 16:38