প্রশ্ন ইউটিউব স্কেল বিতরণ অনুমতি দেয় যে প্রযুক্তি?


ইউটিউব হিসাবে আমরা জানি, বৃহদায়তন। এটি সহস্রাব্দ ব্যবহারকারীর প্রতি হাজারে কমপক্ষে ২ মেগাবাইট ভিডিওর স্ট্রিমিং করছে। স্পষ্টতই, এটি অনেক ট্রাফিক হতে পারে ... যে কোনও সার্ভারের জন্য অনেক বেশি।

কি নেটওয়ার্কিং প্রযুক্তি ধাক্কা অনুমতি দেয় 4 বিলিয়ন ভিডিও একটি দিন?


34
2018-03-13 05:24


উত্স




উত্তর:


ব্যাকএন্ড স্কেলিং

একটি খুব সাধারণ সেটআপে, একটি DNS এন্ট্রি একটি আইপি যা একটি সার্ভারের সাথে যায়। বিশ্বের যে কেউ একক মেশিনে যায়। পর্যাপ্ত ট্র্যাফিকের সাথে, YouTube এর আকার হওয়ার আগে অনেকক্ষণ এটি পরিচালনা করা খুব বেশি। একটি সহজ দৃশ্যকল্প, আমরা একটি লোড balancer যোগ করুন। লোড ব্যালান্সারের কাজটি একটি সার্ভার হিসাবে উপস্থিত হওয়ার সময় বিভিন্ন ব্যাক-এন্ড সার্ভারে ট্র্যাফিক পুনঃনির্দেশ করা।

ইউটিউব হিসাবে যতটা ডেটা দিয়ে, সব সার্ভার সমস্ত ভিডিও পরিবেশন করতে সক্ষম হবার জন্য এটি অনেক বেশি হবে, সুতরাং আমাদের যুক্ত করার জন্য আরও একটি বিবরণের স্তর রয়েছে: sharding। একটি প্রদত্ত উদাহরণে, একটি সার্ভার যা "A" দিয়ে শুরু হয়, অন্যটি "B" এর সাথে শুরু হয় এবং এর জন্য অন্যের জন্য দায়ী।

কাছাকাছি প্রান্ত মুভিং

অবশেষে, যদিও, ব্যান্ডউইথটি তীব্র হয়ে ওঠে এবং আপনি একাধিক ডাটা এক কক্ষে স্থানান্তরিত করছেন। সুতরাং, এখন আমরা খুব জনপ্রিয়, আমরা যে রুম থেকে এটি সরানো। এখানে দুটি প্রযুক্তি যা বিষয়বস্তুর বিতরণ নেটওয়ার্ক এবং Anycasting

যেখানে আমি এই বড় স্ট্যাটিক ফাইলগুলি বিশ্বজুড়ে অনুরোধ জানানো পেয়েছি, আমি আমার হোস্টিং সার্ভারগুলিতে সরাসরি লিঙ্কগুলি নির্দেশ করা বন্ধ করে দিই। পরিবর্তে আমি কি করব আমার সিডিএন সার্ভারের একটি লিঙ্ক স্থাপন করা। যখন কেউ ভিডিও দেখতে চায়, তখন তারা আমার সিডিএন সার্ভারের জন্য এটি জিজ্ঞাসা করে। সিডিএন ইতিমধ্যেই ভিডিও ধারণ করার জন্য, হোস্টিং সার্ভার থেকে একটি অনুলিপি চাওয়া বা আমাকে পুনঃনির্দেশিত করার জন্য দায়ী। যে নেটওয়ার্ক আর্কিটেকচারের উপর ভিত্তি করে পরিবর্তিত হবে।

কিভাবে যে সিডিএন সহায়ক? আচ্ছা, এক আইপি আসলে অনেক সার্ভারের অন্তর্গত যা সারা বিশ্বে অনেক জায়গায় রয়েছে। যখন আপনার অনুরোধটি আপনার কম্পিউটার ছেড়ে যায় এবং আপনার ISP এ যায়, তখন তাদের রাউটারটি সেই IP তে সর্বোত্তম পথ (সর্বনিম্ন, দ্রুততম, কম খরচে ... যাই হোক না কেন মেট্রিক) মানচিত্র করে। প্রায়ই একটি সিডিএন জন্য, যে আপনার নিকটতম বা তার পরের হতে হবে স্তর 1 নেটওয়ার্ক।

তাই, আমি YouTube থেকে একটি ভিডিও অনুরোধ করেছি। এটি সংরক্ষণ করা হয় প্রকৃত মেশিন অন্তত iad09s12.v12.lscache8.c.youtube.com এবং tc.v19.cache5.c.youtube.com। যারা আমার ওয়েবপৃষ্ঠার উত্সে দেখায় তারা আমি দেখছি এবং ইন্ডেক্স সার্ভারের কিছু ফর্ম সরবরাহ করেছি। এখন, মেইন থেকে আমি জানতে পেরেছিলাম যে টিসি 19 সার্ভারটি মিয়ামা, ফ্লোরিডাতে থাকবে। ওয়াশিংটন থেকে, আমি টিসি 19 সার্ভারটি ক্যালিফোর্নিয়ার সান জোসেতে পাই।


51
2018-03-13 05:49



ঝকঝকে আপনার প্রতিশ্রুতিবদ্ধ উদাহরণ আমি দেখেছি ভাল। প্রত্যেকেরই কিছু কারণে এই সহজ ধারণা একটি বড় জটিলতা তৈরি করতে বলে মনে হয়। - kizzx2
@ জেফ, আপনি যদি কিছু উদ্ধৃতিতে যোগ করেন বা এটি স্পষ্ট করে দেন যে এটি শেষ ব্যবহারকারীর ফটকা। - Pacerier


বিভিন্ন কৌশল বড় সাইট জন্য ব্যবহার করা হয়।

www.youtube.com -> আইপি ঠিকানা কোন সংখ্যা

আসুন DNS এ দেখি

www.youtube.com is an alias for youtube-ui.l.google.com.
youtube-ui.l.google.com has address 74.125.226.14
youtube-ui.l.google.com has address 74.125.226.0
youtube-ui.l.google.com has address 74.125.226.1
youtube-ui.l.google.com has address 74.125.226.2
youtube-ui.l.google.com has address 74.125.226.3
youtube-ui.l.google.com has address 74.125.226.4
youtube-ui.l.google.com has address 74.125.226.5
youtube-ui.l.google.com has address 74.125.226.6
youtube-ui.l.google.com has address 74.125.226.7
youtube-ui.l.google.com has address 74.125.226.8
youtube-ui.l.google.com has address 74.125.226.9
youtube-ui.l.google.com has IPv6 address 2001:4860:800f::88

সুতরাং www.youtube.com আসলে বেশ কয়েকটি আইপি ঠিকানা যেতে পারে।

anycasted আইপি ঠিকানা

একক আইপি একযোগে স্বতন্ত্র সিস্টেম (ইন্টারনেটে একটি নেটওয়ার্ক) দ্বারা পরিচালিত হতে পারে। উদাহরণস্বরূপ, রুট DNS সার্ভারের পাশাপাশি Google এর অনেকগুলি 8.8.8.8 DNS সার্ভার বিশ্বব্যাপী অনেক পয়েন্টে anycasted হয়। ধারণাটি হল যে আপনি যদি মার্কিন যুক্তরাষ্ট্রে থাকেন তবে আপনি মার্কিন নেটওয়ার্কে আঘাত করবেন এবং আপনি যদি যুক্তরাজ্যে থাকেন তবে ইউকে নেটওয়ার্কটি আঘাত করুন।

মিডিয়া বিভিন্ন সার্ভার থেকে আসছে

শুধু আপনি কারণ www.youtube.com, এর অর্থ এই নয় যে সমস্ত সামগ্রী একই সার্ভার থেকে এসেছে। এই সাইটে ডান, স্ট্যাটিক সম্পদ থেকে পরিবেশিত হয় sstatic.net পরিবর্তে serverfault.com

উদাহরণস্বরূপ, আমরা যদি দেখি কালে কুওকো এর স্লেভ লিয়া পিএসএ আমরা মিডিয়া দ্বারা পরিবেশিত হয় যে খুঁজে v10.lscache5.c.youtube.com

একাধিক ইন্টারনেট সংযোগ

আমি আপনাকে আশ্বস্ত, ইউটিউব একাধিক ইন্টারনেট সংযোগ আছে। অন্যান্য সমস্ত কৌশল থাকা সত্ত্বেও, যদিও ইউটিউব সত্যিই একটি সাইট এবং একক সার্ভার ছিল, তবুও থিওরিতে প্রতিটি ভিডিওতে এটির সাথে সংযোগ স্থাপন করা প্রতিটি ভিডিওতে সংযোগ থাকতে পারে। বাস্তব বিশ্বের যে অবশ্যই সম্ভব না, কিন্তু ধারণা বিবেচনা।

কোন বা এই সমস্ত ধারনা (এবং আরো!) একটি সমর্থন করতে ব্যবহার করা যেতে পারে তথ্য প্রদান ব্যবস্থা। আপনি আরও জানতে চাইলে সেই নিবন্ধটি পড়ুন।


23
2018-03-13 05:42



"এটি তত্ত্বের প্রতিটি একক নেটওয়ার্কের সাথে সংযোগ স্থাপন করতে পারে যেখানে এটি ভিডিও সরবরাহ করা হয়। অবশ্যই এমন বাস্তব জগতে যা সম্ভব নয় তবে ধারণাটি বিবেচনা করুন।" বাস্তব পৃথিবীতে কেন এটা সম্ভব নয়? আপনি অনেক ইন্টারনেট প্রদানকারীর সাবস্ক্রাইব করতে পারেন - user1034912
আপনি কি পঁচিশ হাজারেরও বেশি আলাদা নেটওয়ার্কে স্বাধীন সংযোগ রাখতে চান? এটা বাস্তব নয়। - MikeyB


আপনি কল্পনা ভুল যে ইউটিউব (উর গুগল) শুধুমাত্র একটি সার্ভার আছে; এই inforgraphic সিস্টেম যে স্কেল যে স্কেল চিত্রিত সাহায্য করতে পারে।

এমনকি যদি আপনার কাছে শুধুমাত্র এক বিন্দু উপস্থিতি থাকে তবে এমনকি লোড ব্যালান্সার এবং সমস্তগুলির মতো সরঞ্জামগুলি ব্যবহার করে আপনি একক নামের একাধিক সার্ভারের পাশাপাশি আইপিওর সাথে একাধিক সার্ভার থাকতে পারেন।

গুগলের উপস্থিতি অনেক ভয়ানক, এবং এনিকাস্টের মতো সরঞ্জামগুলি ব্যবহার করে - ইন্টারনেটে একাধিক স্থানে একই আইপি প্রকাশ করার কৌশল, এবং এটির মালিকানাধীন সার্ভার পুলের কাছে লোকেরা রাস্তায় থাকে - অবকাঠামো ফিরিয়ে আনতে।


12
2018-03-13 05:27



কিভাবে গুগল বিশ্বব্যাপী একটি মিলিয়ন সার্ভার রাখে? তারা সার্ভার ভাড়া না? তাদের সকল তৃতীয় পক্ষ সার্ভার পরিচালনার জন্য ডেটা সুরক্ষা বজায় রাখা কি কঠিন হবে না? - user1034912
তারা তাদের প্রতি একক মালিক। গুরুতরভাবে, তারা কিনতে - ভাল, করা, এই দিন - তাদের। আপনি কল্পনা হিসাবে যতটা খরচ হবে, কিছু উপায়ে, কিন্তু অন্যদের মধ্যে কম। - Daniel Pittman
investor.google.com/financial/tables.html সাহায্য করতে পারে; Q4, 2011, 10,000-ish ... মিলিয়ন ডলার আসেন। সৎভাবে, তারা স্কেল এ আপনি কল্পনা করতে পারবেন না। - Daniel Pittman
@ ব্যবহারকারী 1034912 - হ্যাঁ, এটি দুর্দান্ত। কিন্ত এটা গুগলতাহলে কেন জাহান্নাম? বিশ্বব্যাপী হাজার হাজার ডেটাসেন্টার রয়েছে, গুগল তাদের একটি ক্ষুদ্র ভগ্নাংশ পরিচালনা করতে পারে। - tombull89
@ টমটম - ​​সার্ভার প্রযুক্তির সাথে অপরিচিত কোন ব্যবহারকারীর জন্য বিশ্বাস করা কঠিন হবে না? গুগল কে জানে না এমন কেউ বলছে যে শত শত সার্ভার একটি শিলা অধীনে বসবাস করছে। বাহিরে যান এবং নিয়মিত অ-প্রযুক্তিগুলির কিছুটা জিজ্ঞাসা করুন এবং আমি গ্যারান্টি দিই যে তারা Google এর সার্ভারের স্কেল বা এমনকি তারা কী জানে না। এছাড়াও, নিয়মিত মানুষ সাধারণত ভারসাম্য শীট ব্রাউজ করবেন? আপনি সবসময় তথ্য কেন্দ্র সম্পর্কে সব খবর পড়তে হবে? সত্যই, আমি আপনার প্রতি কতটা প্রতিপালন করি তা আমি যত্ন করি না, কিন্তু অযৌক্তিক, অসম্মানজনক এবং অমানবিক জীবন আপনাকে কোথাও পায় না। - DMan


আমি কিছুটা নেটওয়ার্কের পাশে স্পর্শ করবো: বিশ্বের 73 টি 73 টি ডেটাসেন্টারের মধ্যে গুগল একটি পয়েন্ট অফ উপস্থিতি (PoP) রয়েছে (তাদের নিজস্ব অন্তর্ভুক্ত নয়)। তারা একটি সদস্য 69 অনন্য ইন্টারনেট এক্সচেঞ্জ। পিয়ারিংডবিতে তালিকাভুক্ত অন্যান্য নেটওয়ার্কগুলির তুলনায় গুগল আরও ডেটাসেন্টার এবং ইন্টারনেট এক্সচেঞ্জ পয়েন্টে রয়েছে।

গুগলের মোট ইন্টারনেট এক্সচেঞ্জ ক্ষমতা> 1.5 টিবিপিএস, এবং এটি 1.5 টিবিপি নেটওয়ার্কে 100 এমবিপিএস ট্রাফিকের জন্য সংরক্ষিত রয়েছে, তবে আমি কমপক্ষে 2-3 জিবিপিএস এর চেয়ে কম অনুমান করতে পারি। আপনার পরে 'পর্যাপ্ত ভলিউম', আপনি প্রাইভেট peering (PNI) সরানো হয়।

ইন্টারনেট এক্সচেঞ্জ পিয়ারিং এবং প্রাইভেট পিয়ারিং (AS15169 সহ), ইউটিউব একটি ট্রানজিট নেটওয়ার্ক পরিচালনা করে: AS43515, এবং অন্য নেটওয়ার্কটি যা আমি অনুমান করি তা হল পেয়ারিং / ওভারফ্লো, AS36040। গুগল এছাড়াও কাজ করে গুগল গ্লোবাল ক্যাশে সার্ভারের জন্য, আইএসপিগুলির জন্য তাদের নেটওয়ার্কের মধ্যে আরো স্থানীয়ভাবে স্থাপন করতে। (Peeringdb থেকে তথ্য, bgp.he.net)।

আমার অভিজ্ঞতার উপর ভিত্তি করে, আমি বিশ্বাস করি যে YouTube কেবল আইপি ভৌগোলিক অবস্থানের চেয়ে বেশি ব্যবহার করে অথবা যেকোনো একটি ভিডিও থেকে ভিডিও সরবরাহ করার জন্য যে কোনও কাস্টম নির্বাচন করে।

গুগল একটি বিশাল বিশ্বব্যাপী ব্যাকবোন নেটওয়ার্ক চালায়, তারা অন্ধকার ফাইবার মালিক, তাদের আছে আর্থিক সাবমেরিন তারগুলি। ট্রাফিক ভলিউম ইউটিউব জেনারেট বিশাল! আমি মনে করি ইউটিউব একটি শীর্ষ ট্রাফিক ভলিউম আছে> 12Tbps। গুগল প্রতিনিধিত্ব করে অন্তত 7% (এবং সম্ভবত> 10%) সমস্ত ইন্টার-ডোমেইন ইন্টারনেট ট্র্যাফিকের।

সুতরাং আপনার প্রশ্নের উত্তর দিতে, নেটওয়ার্ক দৃষ্টিকোণ থেকে, আপনার YouTube- এ স্কেল করার জন্য আপনাকে আপনার নেটওয়ার্কে বৃহদায়তন বিনিয়োগ করতে হবে - মাটিতে ফাইবার থেকে WDM গিয়ার এবং রাউটারগুলিতে। আপনি আপনার ব্যবহারকারীদের কাছে যতটা সম্ভব সামগ্রী এবং নেটওয়ার্কটি পেতে হবে। এই সাধারণত peering, IXs, এবং সম্ভবত ট্রানজিট একটি বিট মানে। আপনি যতটা সম্ভব সমান বিতরণ এবং সস্তা হিসাবে ট্র্যাফিক রাখা থেকে বিষয়বস্তু পেতে যেখানে বুদ্ধিমান ব্যবহারকারীদের বলতে সক্ষম হতে হবে। এবং অবশ্যই, আপনার প্রতিদিনের 4 বিলিয়ন মতামত সঞ্চয়, প্রক্রিয়া, রূপান্তর, এবং বিতরণ করার জন্য বৃহদায়তন সার্ভার অবকাঠামো থাকতে হবে!

আপনি যদি সার্ভারের পাশে আগ্রহী হন, আমি একটি লিখেছিলাম ব্লগ পোস্ট যা সম্প্রতি মুক্তিপ্রাপ্ত ডেটাসেন্টার ছবিগুলির কয়েকটি ভেঙ্গে ফেলে।


3
2018-04-22 23:27



আপনি কি গুগল জন্য কাজ করেন? - Pacerier


আপনি যদি বড় স্কেল সিস্টেম এবং এই সংস্থাগুলি ব্যবহার করে এমন প্রযুক্তির সম্পর্কে আরও জানতে চান তবে এখন সেরা উৎস http://highscalability.com

গুগল বা আকমাইয়ের মতো বড় কোম্পানিগুলি সবসময় তাদের কাছে তৈরি উপাদান / উপাদান তৈরি করে। (উদাহরণস্বরূপ Akamai তাদের পরিষেবার জন্য একটি ওয়েব সার্ভার উন্নত)


2
2018-03-13 07:43



কিছু তথ্য যদিও পুরানো হয় .... - Pacerier