প্রশ্ন নেটওয়ার্ক এখন ডিস্ক চেয়ে দ্রুত?


এটি একটি সফ্টওয়্যার নকশা প্রশ্ন

আমি গতি জন্য নিম্নলিখিত নিয়ম কাজ করতে ব্যবহৃত

cache memory > memory > disk > network

প্রতিটি ধাপ পূর্ববর্তী পদক্ষেপের 5-10 গুণের সাথে (উদাঃ ক্যাশ মেমরিটি মূল মেমরির চেয়ে 10 গুণ বেশি দ্রুত)।

এখন, মনে হচ্ছে গিগাবাইট ইথারনেটটিতে স্থানীয় ডিস্কের চেয়ে কম বিলম্ব রয়েছে। সুতরাং, একটি বড় দূরবর্তী ইন-মেমরি ডিবি থেকে পড়তে অপারেশন স্থানীয় ডিস্ক পড়ার চেয়ে দ্রুততর। এটা আমার মত পুরানো টাইমার বৈধর্ম্য মত মনে হয়। (আমি নেটওয়ার্ক রাউন্ড ট্রিপগুলি এড়াতে এড়াতে কিছুক্ষন সময় ডিস্কে স্থানীয় ক্যাশে তৈরি করার সময় অতিবাহিত করেছি - তাই আমার প্রশ্ন)

এই এলাকায় কোন অভিজ্ঞতা / সংখ্যা / পরামর্শ আছে?

এবং হ্যাঁ আমি জানি যে খুঁজে বের করার এবং পরিমাপ করার একমাত্র আসল উপায়, তবে আমি সাধারণ নিয়ম সম্পর্কে অবাক হয়েছি।

সম্পাদন করা:

এটি শীর্ষ উত্তর থেকে আকর্ষণীয় তথ্য:

  • একই datacenter মধ্যে রাউন্ড ট্রিপ 500,000 এনএস

  • ডিস্ক 10,000,000 এনএস চাইতে

এই আমার জন্য একটি শক হয়; আমার মানসিক মডেল একটি নেটওয়ার্ক বৃত্তাকার ট্রিপ স্বাভাবিকভাবেই ধীর হয়। এবং এটি না - এটি একটি 10 ​​ডিগ্রি 'রাউন্ড ট্রিপ' এর চেয়ে দ্রুততর।

জেফ Attwood এই ভি ভাল ব্লগ পোস্ট http://blog.codinghorror.com/the-infinite-space-between-words/


118
2018-02-21 23:46


উত্স


কখনও কখনও হ্যাঁ, কখনও কখনও না। কি নেটওয়ার্ক? কি ডিস্ক? - John Gardeniers
শীর্ষ উত্তর থেকে অন্যান্য আকর্ষণীয় তথ্য: নেটওয়ার্ক বনাম ডিস্ক থেকে পড়া 1 এমবি ক্রমিক। আমি "রাউন্ড ট্রিপ" সময় কোন উল্লেখযোগ্য তথ্য স্থানান্তর omits সন্দেহ। - Paul
পল: আপনার এমটিইউ নির্ভর করে, আমি নিশ্চিত। (1 এমবি এমটিইউ? অসাধারণ!) - Matt Simmons
আমি 10 জিবিপিএস নেটওয়ার্ক গিয়ারের ব্যাপকভাবে উপলভ্য এই আলোচনার কয়েকটি পুনঃবিবেচনা দেখতে চাই। - chicks
জিগাবিট নেটওয়ার্ক বনাম রেড 5? - SoilSciGuy


উত্তর:


এখানে এমন কয়েকটি সংখ্যা রয়েছে যা আপনি সম্ভবত খুঁজছেন, যেমন একটি গুগল ফেলো জেফ ডিন উদ্ধৃত করেছেন:

সংখ্যা সবাই জানতে হবে

L1 cache reference                             0.5 ns
Branch mispredict                              5 ns
L2 cache reference                             7 ns
Mutex lock/unlock                            100 ns (25)
Main memory reference                        100 ns
Compress 1K bytes with Zippy              10,000 ns (3,000)
Send 2K bytes over 1 Gbps network         20,000 ns
Read 1 MB sequentially from memory       250,000 ns
Round trip within same datacenter        500,000 ns
Disk seek                             10,000,000 ns
Read 1 MB sequentially from network   10,000,000 ns
Read 1 MB sequentially from disk      30,000,000 ns (20,000,000)
Send packet CA->Netherlands->CA      150,000,000 ns

এটা শিরোনাম তার উপস্থাপনা থেকে ডিজাইন, বিল্ডিং বড় বিতরণ সিস্টেম থেকে পাঠ এবং উপদেশ এবং আপনি এখানে এটি পেতে পারেন:

আলাপ দেওয়া হয় লার্জ-স্কেল ডিস্ট্রিবিউটেড সিস্টেমস অ্যান্ড মিডলওয়্যার (ল্যাডিস) ২009

অন্যান্য তথ্য


এটা বলা হয়ে থাকে যে GCC-O4 আপনার কোড একটি পুনরূদ্ধার জন্য জেফ ডিন ইমেইল।



127
2018-02-22 07:38



+1 খুব মজার! - 9dan
কিছু উপস্থাপনা বন্ধনী নির্দেশিত বিভিন্ন মান আছে। আমি বন্ধনী এক এর ভুল ছিল অনুমান এবং তিনি মান আপডেট। - David d C e Freitas
এই সব প্রাক এসএসডি যুগ? দেখ এখানে আরও আপ টু ডেট সংখ্যা জন্য। - matt
আমি আসলে একটি সংখ্যা নির্মাণ করতে এই সংখ্যা ব্যবহার উপস্থাপনা দেখাচ্ছে এসএসডি ড্রাইভ কেন নিজেদের জন্য অর্থ প্রদান করে, আমাদের অফিস ব্যবস্থাপককে সন্তুষ্ট করার জন্য হ্যাঁ, আমাদের কাজ করার জন্য দ্রুত মেশিন দরকার। প্রযুক্তিগত তথ্যের জন্য সংখ্যা অন্তর্ভুক্ত করা হয়েছে তবে যতটা সম্ভব অ-প্রযুক্তি পরিচালনার দিকে এটি তৈরি করা হয়েছে। - brichins


নেটওয়ার্ক বনাম ডিস্কের ক্ষেত্রে ভেরিয়েবলগুলি অনেকগুলি আছে তবে সাধারণভাবে, ডিস্ক দ্রুততর।

SATA 3.0 এবং SAS বাসগুলি 6 জিবিপিএস, বনাম একটি নেটওয়ার্ক 1 জিবিপিএস বিয়োগ প্রোটোকল ওভারহেড। RAID-10 15k SAS এর সাথে, নেটওয়ার্ক কুকুর ধীর বলে মনে হচ্ছে। উপরন্তু, আপনার ডিস্ক ক্যাশে এবং দৃঢ় অবস্থা হার্ডড্রাইভগুলির সম্ভাবনাও রয়েছে যা দৃশ্যের উপর নির্ভর করে গতি বৃদ্ধি করতে পারে। র্যান্ডম বনাম। ক্রমিক ডেটা অ্যাক্সেস একটি ফ্যাক্টর এবং পাশাপাশি ব্লক আকার যা তথ্য স্থানান্তরিত হয়। যে সমস্ত ডিস্ক অ্যাক্সেস করার জন্য ব্যবহার করা হচ্ছে অ্যাপ্লিকেশন উপর নির্ভর করে।

এখন, আমি নেটওয়ার্কে যে কোনও ট্রান্সপোর্ট করছি তা স্পর্শ করে নিও নাকি ডিস্ক থেকে যাচ্ছি ... তাই ....... আবার, ডিস্ক দ্রুত।


19
2018-02-22 01:41



RAID উল্লেখ করার জন্য পয়েন্ট যা আপনাকে সমান্তরালভাবে পড়তে দেয়, এমন কিছু যা শীঘ্রই আপনি কোনও নেটওয়ার্কে পেতে অসম্ভাব্য। অবশ্যই, আমরা যদি স্থানীয় ল্যাপটপ হার্ড ড্রাইভগুলির কথা বলি তবে দ্রুত SAN এবং দ্রুত নেটওয়ার্কগুলির কম্বো দ্রুততর হতে পারে। বিশেষ করে এসএইচডি এর সাথে সান। - Michael Dillon
নেটওয়ার্কগুলি স্বাভাবিকভাবেই সমান্তরাল - আপনি কী বিষয়ে কথা বলছেন? এটি সমষ্টিগত নেটওয়ার্কে একাধিক সিস্টেমে পড়ার জন্য অবিশ্বাস্যভাবে তুচ্ছ। এটি হাদপ এবং এমপিআই-এর মতো সিস্টেমগুলির পিছনে সম্পূর্ণ বিন্দু, সুস্পষ্ট বিটোরেন্টকে উল্লেখ করতে নয়। - jgoldschrafe
SONET / SDH এর সাথে আপনি এখনও 38 গিগাবাইট এসএএস তুলনায় দ্রুত করতে পারেন। এবং নেটওয়ার্ক একত্রিতকরণ মত কিছু সঙ্গে সম্পন্ন করা যেতে পারে en.wikipedia.org/wiki/Link_aggregation - Mircea Vutcovici
@ জেক 6 জিবিপিএস নিয়ে কথা বলার সময়, আপনি ইন্টারফেস ব্যান্ডউইথ এবং কোন ডিস্ক আসলে তথ্য সরবরাহ করতে পারেন সেই হারের মধ্যে একটি স্পষ্ট পার্থক্য তৈরি করতে পারেন। - NPE
আমি আমার প্রশ্নে বলেছিলাম যে আমি ডিস্ক ক্যাশে স্থানীয়ের তুলনায় মেমরি ডাটাবেসের একটি রিমোট সম্পর্কে কথা বলছিলাম - pm100


আচ্ছা, নেটওয়ার্ক রিসোর্সটি যে তথ্যটি আপনি সহজেই উপলব্ধ (মেমরি বা অনুরূপ) অনুরোধ করছেন কিনা তার উপর নির্ভর করে বা যদি এটি ঠিকমত হয় তবে এটি একটি ডিস্ক থেকে পড়বে।

কোন ক্ষেত্রে, কিছু ক্ষেত্রে থেরাপিউট বেশি হতে পারে তবে আমি বিশ্বাস করি যে বিলম্বিততা বেশি হবে।


10
2018-02-21 23:51



আপনি 10 গিগাবাইট / এস অনুরোধের চেয়ে ডিস্কের সময় বেশি চাইতে চান? - Mircea Vutcovici
@ মীরেসা, তার মানে 10 গিগাবাইট নেটওয়ার্কটি তার কোথাও থেকে তথ্য পেতে হবে, তাই এটি সেই সোর্সটির বিলম্বের সাথে সাথে নেটওয়ার্কটির বিলম্বিততা পর্যন্ত সীমাবদ্ধ থাকবে। - Chris S
স্টোরেজ একটি র্যাম ডিস্ক হতে পারে। দেখুন: en.wikipedia.org/wiki/Solid-state_drive#DRAM-based - Mircea Vutcovici


IMX ডিস্ক এখনও দ্রুত। নেটওয়ার্কটির তাত্ত্বিক স্থানান্তর হার বেশি কিন্তু অনুশীলনে আপনি এটির কাছাকাছি না থাকেন।

প্রায় দুই বছর আগে আমার ল্যাপটপে হার্ড ড্রাইভ সমস্যা ছিল এবং DMA গিয়েছিল। এটি হার্ড ড্রাইভ নাটকীয়ভাবে ধীরে ধীরে, এবং বিশেষ করে নেটওয়ার্কের চেয়ে ধীর। কিন্তু যখন আমি অন্য কম্পিউটারে স্যুইচ করেছিলাম তখন আমি ইন্টারনেটের চেয়ে দ্রুত HDD এর মূল অবস্থায় ফিরে আসি।


2
2018-02-21 23:50





গিগাবিট নেটওয়ার্কে আমার অভিজ্ঞতা, সঠিক সার্ভার দেওয়া হয়েছে, যা আপনি থ্রুপুট এবং বিলম্বিততার ক্ষেত্রে স্থানীয় কর্মক্ষমতা বীট করতে পারেন। দেখ নেটওয়ার্ক টেস্ট: আমরা কি গিগাবিট পারফরম্যান্স পাচ্ছি?

সমস্ত বাস্তব উদ্দেশ্যে আমি নেটওয়ার্ক এবং স্থানীয় স্টোরেজ সমান হিসাবে চিকিত্সা এবং শুধুমাত্র মেমরি ক্যাশে ব্যবহার সুপারিশ করবে।

আপনি উল্লেখ হিসাবে স্ট্যান্ডার্ড ক্যাভিট সত্য যে কোন সাধারণ নিয়ম আছে; এবং এটি আসলে বেশিরভাগ সময়ই কনফিগার হওয়া সার্ভারগুলির সাথে কাজ করা উচিত এবং ডেটা স্থানান্তরের সর্বোত্তম পদ্ধতি মূল্যায়ন করতে মেট্রিক ব্যবহার করা উচিত।

যদি আপনি একটি ধীর হার্ড ড্রাইভের সাথে কম প্রান্ত মেশিনটি ব্যবহার করেন তবে এটি প্রায়শই একটি দ্রুতগতির স্টোরেজ অ্যারের সাথে একটি গিগাবাইট নেটওয়ার্ক সংযোগ ব্যবহার করতে দ্রুত হবে।

সমানভাবে যদি আপনি কাছাকাছি অভিন্ন হার্ডওয়্যার দুটি মেশিনের সাথে কাজ করেন তবে বিলম্বিত এবং নেটওয়ার্ক ওভারহেড স্থানীয় সঞ্চয়স্থান দ্রুততর করবে; এটা সত্যিই সাধারণ জ্ঞান।


2
2018-02-22 00:18





এটা নির্ভর করে. যদি আপনার I / O প্রাথমিকভাবে র্যান্ডম অ্যাক্সেস হয় তবে তার ফ্ল্যাট থ্রুপুটটি সম্ভবত উপলব্ধ হতে পারে এমন নেটওয়ার্ক ব্যান্ডউইথের তুলনায় এটি দুর্দান্ত নয়। যাইহোক, বেশিরভাগ নেটওয়ার্ক ট্র্যাফিক শেষ পর্যন্ত প্রসেস দ্বারা উত্পন্ন হয় যা I / O অন্তর্ভুক্ত। নেটওয়ার্ক ট্র্যাফিক তৈরি করা যে কোনও প্রক্রিয়াটির কাজ সেট ক্যাশে ফিট করে তবে এটি ডিস্ক ব্যান্ডউইথ দ্বারা সীমাবদ্ধ হবে না। ক্যাশে থ্রেশ করলে এটি ডিস্ক হয়ে যাবে।

আমি তথ্য গুদাম সিস্টেম কাজ, এবং ক্যানোনিকাল DW প্রশ্ন একটি টেবিল স্ক্যান। যদি আপনার প্রশ্নটি সত্য টেবিলের (অথবা বিভাজন) সারির কয়েক শতাংশের বেশি হিট করে তবে সূচী সন্ধানগুলি ব্যবহার করে একটি সারণী I / O ব্যবহার করে একটি টেবিল বা পার্টিশন স্ক্যান একটি র্যান্ডম অ্যাক্সেস কোয়েরি প্ল্যানের চেয়ে আরও কার্যকর হবে।

নেটওয়ার্কযুক্ত স্টোরেজ (যেমন SANs) স্ট্রিমিং ওয়ার্কলোডগুলিতে ভাল সঞ্চালন না করে এটি যথাযথভাবে টিউন না করা পর্যন্ত। যদি স্যানটি সাধারণ উদ্দেশ্যে একীকরণের পরিবেশের জন্য ব্যবহার করা হয় তবে এটি প্রায়শই একটি স্ট্রিমিং, ডেটা গুদামের মত স্প্যাকি লোডের জন্য বেশ উপ-সর্বোত্তমভাবে টিউন করা হবে। আমি একটি বিক্রেতার সাদা কাগজ দেখেছি যে আপনাকে স্যানে একই থেরাপিউট পেতে 3x ডিস্কের প্রয়োজন যা প্রস্তাব করে I / O স্ট্রীমিংয়ের জন্য নয়।

আমার অভিজ্ঞতা যে সঙ্গে tallies। প্রকৃতপক্ষে, আমি একটি কনসোলিডেশান পরিবেশে কোনও ডেটা গুদাম স্থাপন করেছি না যেখানে আমি একই ইটিএল প্রক্রিয়াটি খুব দ্রুত চালাতে পারিনি। আমার ডেস্কটপ পিসি উপর।  সান সরঞ্জামগুলির একটি প্রধান বিক্রেতার কাছ থেকেও আমার সেলস reps আছে রেকর্ডটি বন্ধ করে দিয়েছে যে তাদের অনেক গ্রাহক DW সিস্টেমের জন্য সরাসরি সংযুক্ত স্টোরেজ ব্যবহার করে কারণ SANS যথেষ্ট দ্রুত নয়।

র্যান্ডম অ্যাক্সেস ওয়ার্কলোডগুলির জন্য স্টোরেজ সংযুক্ত স্টোরেজ এবং স্ট্রিমিংয়ের জন্য আরো ব্যয়বহুল মাত্রার কাছাকাছি, নেটওয়ার্কযুক্ত স্টোরেজ কমপক্ষে আইওপিএস প্রতি আরো ব্যয়বহুল পরিমাপের একটি আদেশ।


2
2018-02-27 21:11





আমার সাথে এই অভিজ্ঞতাটি হল যে যখন আপনি 1 গিগাবাইট সংযোগে থাকবেন এবং আপনি একটি ফাইল ডাউনলোড করার চেষ্টা করবেন আপনার হার্ডডিস্ক সাধারণত অসুবিধা হবে। আপনার মনে রাখা উচিত এমন একটি জিনিস যা আপনাকে প্রথমে একটি সংযোগ সেট করতে হবে, যা সময়ও নেয়। সুতরাং তথ্য নেটওয়ার্ক বড় অংশ পাঠানোর জন্য আসলে ডিস্ক চেয়ে দ্রুত হতে পারে।


1
2018-02-21 23:49



যতক্ষণ না নেটওয়ার্ক সংযোগের অন্য দিকে ডিস্কটিও ঝুঁকিপূর্ণ হয় ...
@ আর্গোট: সত্য, কিন্তু যদি সার্ভার সফ্টওয়্যারটি সঠিকভাবে লিখিত হয় তবে এটি ডিস্কটিতে লেখার আগে মেমরিতে বাফার হবে। - amphetamachine