প্রশ্ন ইউএসএ থেকে ইউকে ডেটাসেন্টারে 10 টি টিবি ফাইল স্থানান্তরিত করুন


আমি আমার সার্ভারটি মার্কিন যুক্তরাষ্ট্রে ইউকে থেকে এক ডাটা সেন্টারে স্থানান্তরিত করছি। আমার হোস্ট বলেন আমি প্রতি সেকেন্ডে 11 ​​মেগাবাইট অর্জন করতে সক্ষম হওয়া উচিত।

অপারেটিং সিস্টেম উভয় প্রান্তে উইন্ডোজ সার্ভার 2008 হয়।

আমার গড় ফাইলের আকার প্রায় 100 মেগাবাইট এবং তথ্য পাঁচটি টিবি ড্রাইভ জুড়ে বিভক্ত করা হয়।

এই ফাইল স্থানান্তর করার প্রস্তাবিত উপায় কি হবে?

  • FTP- র
  • সাহায্যে SMB
  • রাইনিং / রোবোকপি
  • অন্যান্য?

আমি নিরাপত্তার ব্যাপারে খুব বেশি উদ্বিগ্ন নই কারণ এটি যেকোনও সরকারী ফাইল, তবে আমি কেবল এমন একটি সমাধান চাই যা মোট 11 এমবি / গুলি স্থানান্তর হারকে মোট স্থানান্তর সময়কে কমিয়ে আনতে পারে।


91
2017-10-03 20:03


উত্স


11 এমবি / এস বা 11 এমবি / এস? - wim
বাইনারি মুষ্ট্যাঘাত কার্ড তথ্য হস্তান্তর এবং একটি ক্যারিয়ার কবুতর ব্যবহার :) - enterzero
আপনি বিস্তারিত প্রদান করা উচিত। কত ক্যারিয়ার পায়রা আপনি এটা নিতে হবে মনে করেন? তোমার কাজ দেখাও. - Evik James
@ ইভিক ইউরোপীয় বা আফ্রিকান? - wim
একপাশে, উলফ্রাম আলফা গণনার জন্য সবচেয়ে সুবিধাজনক উপায়, "10 টিবি 11 এমবি / এস"। wolframalpha.com/input/?i=10+TB+at+11MB%2Fs - pufferfish


উত্তর:


পরিবর্তে মহাসাগর জুড়ে হার্ড ড্রাইভ জাহাজ।

সম্পূর্ণ ব্যবহারে 11 এমবিপিএস এ, আপনি 10 টিবি স্থানান্তরের জন্য মাত্র 90 দিন লাজুক দেখছেন।


11 এমবিপিএস = 1.375 এমবিপিএস = 116.015 গিগাবাইট / দিন

10240 গিগাবাইট / 116.015 গিগাবাইট / দিন = ~ 88.3 দিন


171
2017-10-03 20:14



+1 জন্য Sneakernet। এছাড়াও, আপনি টিসিপি / আইপি ওভারহেড ভুলে গেছেন। এটি আদর্শ পরিস্থিতির অধীনে ~ 100 দিন বেশি। - Chris S
একজন জ্ঞানী ব্যক্তি একবার বলেছিলেন, "মহাসড়কে আঘাতপ্রাপ্ত টেপগুলি ভরা একটি স্টেশনের ওয়াগন ব্যান্ডউইথথাকে কম মূল্যায়ন করবেন না"। এই সমীকরণটি খুব সত্য এবং একটি নৌকা জন্য স্টেশন ওয়াগন পরিবর্তন করে উল্লেখযোগ্যভাবে পরিবর্তিত হয় না। (bpfh.net/sysadmin/never-underestimate-bandwidth.html) - Rob Moir
ড্রাইভের পরিবর্তে টেপগুলি বা ব্লুয়েই ডিস্কগুলি জাহাজে চালানো ভাল। আপনি ড্রাইভের সাথে যান তবে নিশ্চিত করুন যে মূলগুলি নিরাপদ রাখা এবং কেবলমাত্র ক্ষেত্রে উপলব্ধ। আমি নিজেকে ড্রাইভের জন্য যেতে চাই (যদি না আমি আল্ট্রিয়াম 4 ড্রাইভ না) কারণ 10 টিবি = 410 একক স্তর ব্লুয়েই ডিস্ক! - Allen
শুধু বুঝতে পেরেছি যে আমি 11 এমবিপিএস টাইপ করেছি, তবে আমার আসলে 11MB / গুলি ছিল। আমি মনে করি এটি একটি বড় পার্থক্য সৃষ্টি করে, আমার হিসাবগুলি প্রায় 11-14 দিন ধরে প্রায়শই ... এটা কি সঠিক? - Paul Hinett
এখনও বিশ্বাস করে যে অফিসিয়াল ডিস্কটি এখনও সেটআপ করার পরে 10 টি বিবি ব্যাকআপের তত্ত্বাবধানে একজন ব্যক্তির পাঠানো হয় তবে সেটআপ করার পরে নতুন সার্ভারটি আপডেট করার জন্য আপনি একটি rsync লাঞ্চ করতে পারেন। আপনি আপনার মেশিন আপ এবং একটি দিনের মধ্যে চলমান আছে। - Loïc Faure-Lacroix


আমি rsync বলব, 11 মেগাবাইট / সেকেন্ডে আপনি 10-14 দিন দেখতে পাবেন এবং এমনকি যদি আপনি বিরতিতে থাকেন তবে এমনকি শেষ সময়টি বন্ধ হয়ে গেলে rsync সহজেই শুরু হবে।

11 এমবিপিএস এ আমি উপরের প্রস্তাব মত হার্ড ডিস্ক জাহাজ :)


25
2017-10-03 22:00



আপনার অনুমানটি অন্যদের কী পোস্ট করেছে তা থেকে খুব উল্লেখযোগ্যভাবে ভিন্ন (এবং আমি সঠিক জানি না)। আপনি এই পরিসংখ্যান এ পৌঁছানোর জন্য আপনার পদ্ধতি সরবরাহ করতে পারেন? - John Gardeniers
পার্থক্যটি হ'ল অপারেটিং সিস্টেম থেকে 11 এমবিপি ভুল করে যখন প্রকৃতপক্ষে তার মানে 11 এমবিপিএস - যা 8 গুণ দ্রুত। বিটিডব্লিউ, একটি 10 ​​টি বিবি rsync পুনরায় শুরু করার সময় একটি বিরতি ক্ষেত্রে সম্ভবত সময় লাগবে, তাই না? ঘন্টা, নাকি বেশি? - Frank Farmer
@ ফ্রাঙ্কফার্মার: আমি rsync পুনরায় আরম্ভ সম্পর্কে চিন্তা করবেন না; আমি 30 এমবিপিএস বেতার লাইনের ~ 20 টিবি অফসাইট কপি রাখি এবং পুনরায় শুরু করা সেকেন্ডের সীমার মধ্যে। প্রাথমিক কপি কয়েক সপ্তাহ লেগেছে, কিন্তু রাতের আপডেট সাধারণত একটি দম্পতি ঘন্টা হয়। - Javier
@ ফ্রাঙ্কফার্মার - rsync খুব ভাল স্কেল বলে মনে হয়। আমার কাছে গ্রামীণ ADSL1 লাইনের একটি ~ 2TB লাইন আছে যা স্নিকেনেটের সাথে যুক্ত ছিল, তবে কিছুই পরিবর্তিত হলে প্রতি রাতে রাশিঙ্ক করতে ~ 5 মিনিট সময় লাগে। - Flexo
rsync ফাইল সংখ্যার সাথে সময় স্কেল পুনরায় আরম্ভ করুন (প্রধানত থেকে stat সময়, আমার অভিজ্ঞতা), মোট তথ্য সঙ্গে না। আমি কোন উল্লেখযোগ্য অপেক্ষা আশা করি (বেশিরভাগ সময়ে বেশ কয়েক মিনিট)। যদিও 5TB এর অধীনে সামান্যতম rsync এর সাথে আমার অভিজ্ঞতা। - derobert


কোর্স

অন্তত আপনি বিরতির পরে যে কোন সময় চালিয়ে যেতে পারেন এবং এটি কোনও ব্যথা ছাড়াই।


14
2017-10-03 20:07



100% ব্যবহার কপি 3 + মাস। দুঃখিত, কিন্তু যে অনেক তথ্য স্থানান্তর একটি ভয়ঙ্কর উপায়। - Chris S
আমি @ChrisS ব্যবহার করে, একমত হতে হবে rsync শুধু বড় ফাইল কপি দক্ষ নয়। আমার স্টাফ জন্য আমি ব্যবহার শেষ পর্যন্ত tar উপর netcat অথবা ssh প্রাথমিক স্থানান্তর জন্য। এটি খুব দ্রুত এবং অবিলম্বে স্থানান্তর শুরু হয় rsync সময় লাগে যা সব ফাইল স্ক্যান করবে। এই বিরতি পেতে হলে আপনি এখনও ব্যবহার করতে পারেন rsync পরে। আসলে, আমি কখনও কখনও এই পরে tar যাইহোক, সমস্ত অনুমতি, সকেট ফাইল ইত্যাদি নিশ্চিত করতে সঠিক। - Martin Scharrer
ওপিকে সংশোধন করার পরে তিনি ~ 100 এমবি সংযোগ পেয়েছেন, 11 মেগাবাইট নয়, আরএসআইএনসি অনেক বেশি জ্ঞান দেয়। প্রথম উল্লেখ করার জন্য +1। - Chris S


টেপগুলি পূর্ণ স্টেশন ওয়াগন ব্যান্ডউইথটি কমপক্ষে মূল্যায়ন করবেন না

- প্রথা।

আপনার ক্ষেত্রে, কুরিয়ার দ্বারা পাঠানো ডিস্ক বা টেপ, কিন্তু নীতি এখনও প্রযোজ্য। আপনি যদি বিলম্বিততার বিষয়ে উদ্বিগ্ন না হন তবে এটি নেটওয়ার্ক ব্যান্ডউইথের তুলনায় অত্যন্ত সস্তা হবে যেটি 10TB এর ডেটা কোন যুক্তিসঙ্গত সময়ের মধ্যে হস্তান্তর করতে পারে।


11
2017-10-04 11:32



জেফ এটউড তার পুরানো কোডিং হরর পোস্টগুলির মধ্যে একটি সংখ্যা দৌড়ে .. codinghorror.com/blog/2007/02/the-economics-of-bandwidth.html - tardate


আপনি rsync ব্যবহার করা উচিত। এটা হবে সংকোচন করা তথ্য এবং ডি ডুপ্লিকেট এটা পাঠানোর আগে। এটি আংশিক স্থানান্তর পুনরায় শুরু করতে পারে যা কোনও বড় স্থানান্তরের জন্য অত্যন্ত গুরুত্বপূর্ণ।

সম্ভবত এটি 10 ​​টিবি স্থানান্তর করে না; এটি লগ এবং পাঠ্য এবং যদি এটি 1 টিবির অধীনে হতে পারে; সম্ভবত 1 টিবি নিচে উপায়।

এমন সরঞ্জাম রয়েছে যা rsync এর তুলনায় সংকোচনের ভাল কাজ করে এবং সম্ভবত আরো মিল খুঁজে পায়। আপনি ব্যবহার করতে পারেন lrzipইত্যাদি

নির্দিষ্ট ধরনের তথ্য রয়েছে যা ভালভাবে সংকোচ করে না এবং এতে আক্ষরিক ডুপ থাকে না - উদাহরণস্বরূপ ভিডিও এবং অন্যান্য মিডিয়া। এ ক্ষেত্রে, এফটিপি এবং rsync অনেক একই প্রচেষ্টা করছেন।


9
2017-10-04 08:02



RSync তথ্য deduplicates? আমি মনে করি এটি কেবলমাত্র ফাইল স্তরের এই কাজ করে, যার অর্থ deduplication এই ক্ষেত্রে বেশিরভাগই নিরর্থক। - devicenull


আমি জানি এটি ইতিমধ্যে গ্রহণ করা হয়েছে তবে আপনি আপনার ডিস্কগুলি কোন ডাটা সেন্টার / সরবরাহকারী / হোস্টে নিয়ে যাবেন যেখানে আপনি আরো ব্যান্ডউইথ পেতে পারেন? এটি সম্ভবত আপনাকে কিছু টাকা খরচ করবে তবে ব্যাকআপ ডিস্কগুলিতে 10240Gb অনুলিপি করা এবং ইচ্ছা পাঠানোর সময় এবং অর্থ উভয়ই (2 x অর্থ) খরচ হবে।

এছাড়াও আপনি নিশ্চিত হবেন যে আপনার ডিস্ক পরিবহন ভেঙ্গে না।


5
2017-10-04 07:13



কিভাবে এই উত্তর গৃহীত উত্তর থেকে ভিন্ন হয়? - Chris S
@Chris এই উত্তরটি একই মহাদেশে একটি বড় পাইপে ডিস্ক পরিবহনের প্রস্তাব দেয়। - Alex Jasmin


11Mbps? এই আপনি এখানে আছে বেশ একটি সীমাবদ্ধতা। আপনার পরিস্থিতিতে আমি সহজভাবে চাই:

  • তথ্য ক্লোন
  • এটা সংকুচিত করা
  • কমপক্ষে 10 গুণ ব্যান্ডউইথের সাথে উভয় প্রান্তের সার্ভারগুলি ভাড়া করুন (একই ডাটা সেন্টারে বা আপনার কাছাকাছি একটি ডাটা সেন্টারে আপনার শেষে)।
  • ফাইল স্থানান্তর করুন
  • নতুন সার্ভারে তথ্য প্রয়োগ করুন।

যদি আপনার ব্যান্ডউইথ বৃদ্ধি করার কোনও সমাধান না থাকে ... তাহলে একটি শারীরিক ড্রাইভ শিপিং দ্রুততর হবে।

আমার বেদনাদায়ক অভিজ্ঞতা থেকে হার্ড ড্রাইভ মেইল ​​বিরতি ঝোঁক ... USB ফ্ল্যাশ ড্রাইভ ঘন ঘন তথ্য স্থানান্তর করার জন্য একটি উপায় ভাল সমাধান। আপনার ক্ষেত্রে এটির কয়েকটি দরকার হবে :) সুতরাং একাধিক হার্ড ড্রাইভে আপনার ডেটা দুটি কপি পাঠান।

আপনার ডেটা পরিমাণ বিবেচনা করে আপনি RAID 5 বা RAID 6 অ্যারে থেকে ড্রাইভ প্রেরণ করতে পারেন যদি আপনার ড্রাইভগুলিকে প্লাগ করার জন্য অন্যদিকে একই হার্ডওয়্যার / সফটওয়্যার থাকে তবে সেই ক্ষেত্রে আপনার ড্রাইভের ক্রম চিহ্নিত করতে মনে রাখবেন। এবং তাদের সিরিয়াল নম্বর তাই যখন তারা reconfiguring মিশ্রিত আপ না।


4
2017-10-04 00:15



দুঃখিত, 11 এমবিপিএস একটি ভুল টাইপ ছিল, এটি 11MB / s ... আমি উপরের মন্তব্যগুলির মধ্যে একটি উল্লেখ করেছি। - Paul Hinett


এই ক্ষেত্রে আমি "হার্ডড্রাইভ ব্যবহার করে জাহাজে" সম্মত হওয়ার সাথে সাথে, এখানে একটি অনুলিপি সমাধান ব্যবহার করি যখন আমি প্রথমবারের মতো বড় পরিমাণে ফাইল অনুলিপি করতে চাই:

যদিও rsync সিঙ্কে দুটি ডাটা স্টোরেজ রাখা ভাল, এটি প্রাথমিক স্থানান্তরের জন্য অপ্রয়োজনীয় ওভারহেডটি বেশ কিছুটা উপস্থাপন করে। আমি দ্রুততম উপায় যে figured tar যা উপর পাইপ পায় netcat। রিসিভার সাইটে আপনি ব্যবহার করতে পারেন netcat মধ্যে শোনা একটি এক্সট্রাক্টিং ইনকামিং তথ্য পাইপ যা মোড tar। সুবিধা যে tar অবিলম্বে পাঠাতে শুরু করে netcat কোনও অতিরিক্ত উচ্চ স্তরের প্রোটোকল ওভারহেড ছাড়াই এটি সাধারণ TCP প্রবাহ হিসাবে পাঠায়। এটা যত তাড়াতাড়ি সম্ভব হওয়া উচিত। যাইহোক, শেষ অবস্থানে একটি বিঘ্নিত স্থানান্তর পুনরায় আরম্ভ করা সহজ নয়।

ডান ব্যবহার করে স্থানান্তর জন্য তথ্য সংকোচন করা সহজে সম্ভব tar অপশন বা পাইপ মধ্যে একটি সংকোচনের সরঞ্জাম যোগ করুন। মনে রাখবেন যে netcat তারিখ এনক্রিপ্টেড পাঠায়। যেখানে এটি একটি বিকল্প নয়, একটি এনক্রিপ্ট করা হয় ssh সংযোগ পরিবর্তে ব্যবহার করা যেতে পারে (tar <options> | ssh <target> -c 'tar -x <options>')।

সব তথ্য স্থানান্তর করা হয় rsync এর মধ্যে আপডেট হওয়া সমস্ত ফাইল সিঙ্ক্রোনাইজ করা নিশ্চিত করার জন্য ব্যবহার করা যেতে পারে। এছাড়াও আইআইআরসি tar অন্যথায় হারিয়ে যাওয়া সকেটগুলি তৈরি করে না, তবে তারা ডেটাসেন্টার ডেটার জন্য আসলেই ব্যবহৃত হয় না।


3
2017-10-04 07:36



নেতিবাচক এটা interuptions সহনশীল নয় - Joel Coel


আপনি কি বিবেচনা করেছেন IPoAC?

একক পায়রা প্রায় এক ঘণ্টার মধ্যে দশগুণ ডেটা গিগাবাইট বহন করতে সক্ষম হতে পারে, যা গড় ব্যান্ডউইথের ভিত্তিতে বর্তমান ADSL মানের সাথে খুব অনুকূলভাবে তুলনা করে, এমনকি হারিয়ে যাওয়া ড্রাইভগুলিতে অ্যাকাউন্টিংয়ের ক্ষেত্রেও।


2
2017-10-04 02:08



কবুতর OP দ্বারা বর্ণিত দূরত্ব এ সংকেত ক্ষতি ক্ষতিগ্রস্ত হবে। - Roy Tinker
@ রয়টিঙ্কার ক্লিয়ার আইপিওএসি প্রয়োজন উইন্ডোজিং প্রক্রিয়া ব্যবহার করে বাস্তবায়ন করা। - JamesBarnett