معالجة الدُفعات باستخدام مُساعدات المُكرِّرات في JavaScript: معالجة التدفقات المجمّعة

غالبًا ما تتضمن تطويرات JavaScript الحديثة معالجة مجموعات بيانات كبيرة أو تدفقات من البيانات. وتعتبر المعالجة الفعالة لمجموعات البيانات هذه أمرًا بالغ الأهمية لأداء التطبيق واستجابته. توفر مساعدات مُكرِّرات JavaScript، جنبًا إلى جنب مع تقنيات مثل معالجة الدفعات ومعالجة التدفقات المجمّعة، أدوات قوية لإدارة البيانات بفعالية. تتعمق هذه المقالة في هذه التقنيات، وتقدم أمثلة عملية ورؤى لتحسين سير عمل معالجة البيانات لديك.

فهم مُكرِّرات JavaScript ومساعداتها

قبل أن نتعمق في معالجة الدفعات والتدفقات المجمّعة، دعونا نؤسس فهمًا قويًا لمُكرِّرات JavaScript ومساعداتها.

ما هي المُكرِّرات (Iterators)؟

في JavaScript، المُكرِّر هو كائن يحدد تسلسلًا وربما قيمة إرجاع عند انتهائه. على وجه التحديد، هو أي كائن يطبق بروتوكول المُكرِّر من خلال وجود دالة next() تُرجع كائنًا له خاصيتان:

• value: القيمة التالية في التسلسل.
• done: قيمة منطقية (boolean) تشير إلى ما إذا كان المُكرِّر قد اكتمل أم لا.

توفر المُكرِّرات طريقة موحدة للوصول إلى عناصر مجموعة واحدة تلو الأخرى، دون الكشف عن البنية الأساسية للمجموعة.

الكائنات القابلة للتكرار (Iterable Objects)

الكائن القابل للتكرار هو كائن يمكن التكرار عليه. يجب أن يوفر مُكرِّرًا عبر دالة Symbol.iterator. تشمل الكائنات الشائعة القابلة للتكرار في JavaScript المصفوفات (Arrays)، والسلاسل النصية (Strings)، والكائنات من نوع Map، و Set، وكائنات arguments.

مثال:

const myArray = [1, 2, 3];
const iterator = myArray[Symbol.iterator]();

console.log(iterator.next()); // الناتج: { value: 1, done: false }
console.log(iterator.next()); // الناتج: { value: 2, done: false }
console.log(iterator.next()); // الناتج: { value: 3, done: false }
console.log(iterator.next()); // الناتج: { value: undefined, done: true }

مساعدات المُكرِّرات: النهج الحديث

مساعدات المُكرِّرات هي دوال تعمل على المُكرِّرات، حيث تقوم بتحويل أو تصفية القيم التي تنتجها. إنها توفر طريقة أكثر إيجازًا وتعبيرًا لمعالجة تدفقات البيانات مقارنة بالأساليب التقليدية القائمة على الحلقات التكرارية. في حين أن JavaScript لا تحتوي على مساعدات مُكرِّرات مدمجة مثل بعض اللغات الأخرى، يمكننا بسهولة إنشاء مساعداتنا الخاصة باستخدام الدوال المولّدة (generator functions).

معالجة الدفعات باستخدام المُكرِّرات

تتضمن معالجة الدفعات معالجة البيانات في مجموعات منفصلة، أو دفعات، بدلاً من عنصر واحد في كل مرة. يمكن أن يؤدي هذا إلى تحسين الأداء بشكل كبير، خاصة عند التعامل مع العمليات التي لها تكاليف إضافية، مثل طلبات الشبكة أو التفاعلات مع قاعدة البيانات. يمكن استخدام مساعدات المُكرِّرات لتقسيم تدفق البيانات إلى دفعات بكفاءة.

إنشاء مساعد مُكرِّر للدفعات

لنقم بإنشاء دالة مساعدة batch تأخذ مُكرِّرًا وحجم الدفعة كمدخلات وترجع مُكرِّرًا جديدًا ينتج مصفوفات بالحجم المحدد للدفعة.

function* batch(iterator, batchSize) {
 let currentBatch = [];
 for (const value of iterator) {
 currentBatch.push(value);
 if (currentBatch.length === batchSize) {
 yield currentBatch;
 currentBatch = [];
 }
 }
 if (currentBatch.length > 0) {
 yield currentBatch;
 }
}

تستخدم دالة batch هذه دالة مولّدة (يشار إليها بـ * بعد function) لإنشاء مُكرِّر. تقوم بالتكرار على المُكرِّر المدخل، وتجميع القيم في مصفوفة currentBatch. عندما تصل الدفعة إلى batchSize المحدد، فإنها تنتج الدفعة وتعيد تعيين currentBatch. يتم إنتاج أي قيم متبقية في الدفعة الأخيرة.

مثال: معالجة طلبات API على دفعات

تخيل سيناريو تحتاج فيه إلى جلب بيانات من واجهة برمجة تطبيقات (API) لعدد كبير من معرفات المستخدمين. قد يكون إجراء طلبات API فردية لكل معرف مستخدم غير فعال. يمكن لمعالجة الدفعات أن تقلل بشكل كبير من عدد الطلبات.

async function fetchUserData(userId) {
 // محاكاة طلب API
 return new Promise(resolve => {
 setTimeout(() => {
 resolve({ userId: userId, data: `بيانات للمستخدم ${userId}` });
 }, 50);
 });
}

async function* userIds() {
 for (let i = 1; i <= 25; i++) {
 yield i;
 }
}

async function processUserBatches(batchSize) {
 for (const batchOfIds of batch(userIds(), batchSize)) {
 const userDataPromises = batchOfIds.map(fetchUserData);
 const userData = await Promise.all(userDataPromises);
 console.log("دفعة تمت معالجتها:", userData);
 }
}

// معالجة بيانات المستخدمين في دفعات من 5
processUserBatches(5);

في هذا المثال، تنتج الدالة المولّدة userIds تدفقًا من معرفات المستخدمين. تقوم دالة batch بتقسيم هذه المعرفات إلى دفعات من 5. ثم تقوم دالة processUserBatches بالتكرار على هذه الدفعات، وإجراء طلبات API لكل معرف مستخدم بالتوازي باستخدام Promise.all. هذا يقلل بشكل كبير من الوقت الإجمالي المطلوب لجلب البيانات لجميع المستخدمين.

فوائد معالجة الدفعات

• تقليل التكاليف الإضافية: تقلل من التكاليف المرتبطة بعمليات مثل طلبات الشبكة أو اتصالات قاعدة البيانات أو عمليات الإدخال/الإخراج للملفات.
• تحسين الإنتاجية: من خلال معالجة البيانات بالتوازي، يمكن لمعالجة الدفعات زيادة الإنتاجية بشكل كبير.
• تحسين استخدام الموارد: يمكن أن تساعد في تحسين استخدام الموارد عن طريق معالجة البيانات في أجزاء يمكن التحكم فيها.

معالجة التدفقات المجمّعة باستخدام المُكرِّرات

تتضمن معالجة التدفقات المجمّعة تجميع عناصر تدفق البيانات بناءً على معيار أو مفتاح محدد. يتيح لك هذا إجراء عمليات على مجموعات فرعية من البيانات التي تشترك في خاصية مشتركة. يمكن استخدام مساعدات المُكرِّرات لتنفيذ منطق تجميع متطور.

إنشاء مساعد مُكرِّر للتجميع

لنقم بإنشاء دالة مساعدة groupBy تأخذ مُكرِّرًا ودالة لتحديد المفتاح كمدخلات وترجع مُكرِّرًا جديدًا ينتج كائنات، حيث يمثل كل كائن مجموعة من العناصر بنفس المفتاح.

function* groupBy(iterator, keySelector) {
 const groups = new Map();
 for (const value of iterator) {
 const key = keySelector(value);
 if (!groups.has(key)) {
 groups.set(key, []);
 }
 groups.get(key).push(value);
 }
 for (const [key, values] of groups) {
 yield { key: key, values: values };
 }
}

تستخدم دالة groupBy هذه كائن Map لتخزين المجموعات. تقوم بالتكرار على المُكرِّر المدخل، وتطبق دالة keySelector على كل عنصر لتحديد مجموعته. ثم تضيف العنصر إلى المجموعة المقابلة في الـ Map. أخيرًا، تتكرر على الـ Map وتنتج كائنًا لكل مجموعة، يحتوي على المفتاح ومصفوفة من القيم.

مثال: تجميع الطلبات حسب معرف العميل

تخيل سيناريو لديك فيه تدفق من كائنات الطلبات وتريد تجميعها حسب معرف العميل لتحليل أنماط الطلبات لكل عميل.

function* orders() {
 yield { orderId: 1, customerId: 101, amount: 50 };
 yield { orderId: 2, customerId: 102, amount: 100 };
 yield { orderId: 3, customerId: 101, amount: 75 };
 yield { orderId: 4, customerId: 103, amount: 25 };
 yield { orderId: 5, customerId: 102, amount: 125 };
 yield { orderId: 6, customerId: 101, amount: 200 };
}

function processOrdersByCustomer() {
 for (const group of groupBy(orders(), order => order.customerId)) {
 const customerId = group.key;
 const customerOrders = group.values;
 const totalAmount = customerOrders.reduce((sum, order) => sum + order.amount, 0);
 console.log(`العميل ${customerId}: المبلغ الإجمالي = ${totalAmount}`);
 }
}

processOrdersByCustomer();

في هذا المثال، تنتج الدالة المولّدة orders تدفقًا من كائنات الطلبات. تقوم دالة groupBy بتجميع هذه الطلبات حسب customerId. ثم تقوم دالة processOrdersByCustomer بالتكرار على هذه المجموعات، وحساب المبلغ الإجمالي لكل عميل وتسجيل النتائج.

تقنيات التجميع المتقدمة

يمكن توسيع المساعد groupBy لدعم سيناريوهات تجميع أكثر تقدمًا. على سبيل المثال، يمكنك تنفيذ التجميع الهرمي عن طريق تطبيق عمليات groupBy متعددة بالتسلسل. يمكنك أيضًا استخدام دوال تجميع مخصصة لحساب إحصائيات أكثر تعقيدًا لكل مجموعة.

فوائد معالجة التدفقات المجمّعة

• تنظيم البيانات: يوفر طريقة منظمة لتنظيم وتحليل البيانات بناءً على معايير محددة.
• التحليل المستهدف: يمكّنك من إجراء تحليل وحسابات مستهدفة على مجموعات فرعية من البيانات.
• تبسيط المنطق: يمكن أن يبسط منطق معالجة البيانات المعقد عن طريق تقسيمه إلى خطوات أصغر وأكثر قابلية للإدارة.

الجمع بين معالجة الدفعات ومعالجة التدفقات المجمّعة

في بعض الحالات، قد تحتاج إلى الجمع بين معالجة الدفعات ومعالجة التدفقات المجمّعة لتحقيق الأداء الأمثل وتنظيم البيانات. على سبيل المثال، قد ترغب في تجميع طلبات API للمستخدمين داخل نفس المنطقة الجغرافية أو معالجة سجلات قاعدة البيانات في دفعات مجمّعة حسب نوع المعاملة.

مثال: معالجة بيانات المستخدمين المجمّعة على دفعات

لنتوسع في مثال طلبات API لتجميع طلبات API للمستخدمين داخل نفس البلد. سنقوم أولاً بتجميع معرفات المستخدمين حسب البلد ثم تجميع الطلبات داخل كل بلد.

async function fetchUserData(userId) {
 // محاكاة طلب API
 return new Promise(resolve => {
 setTimeout(() => {
 resolve({ userId: userId, data: `بيانات للمستخدم ${userId}` });
 }, 50);
 });
}

async function* usersByCountry() {
 yield { userId: 1, country: "USA" };
 yield { userId: 2, country: "Canada" };
 yield { userId: 3, country: "USA" };
 yield { userId: 4, country: "UK" };
 yield { userId: 5, country: "Canada" };
 yield { userId: 6, country: "USA" };
}

async function processUserBatchesByCountry(batchSize) {
 for (const countryGroup of groupBy(usersByCountry(), user => user.country)) {
 const country = countryGroup.key;
 const userIds = countryGroup.values.map(user => user.userId);
 for (const batchOfIds of batch(userIds, batchSize)) {
 const userDataPromises = batchOfIds.map(fetchUserData);
 const userData = await Promise.all(userDataPromises);
 console.log(`دفعة تمت معالجتها لـ ${country}:`, userData);
 }
 }
}

// معالجة بيانات المستخدمين في دفعات من 2، مجمّعة حسب البلد
processUserBatchesByCountry(2);

في هذا المثال، تنتج الدالة المولّدة usersByCountry تدفقًا من كائنات المستخدمين مع معلومات بلدهم. تقوم دالة groupBy بتجميع هؤلاء المستخدمين حسب البلد. ثم تقوم دالة processUserBatchesByCountry بالتكرار على هذه المجموعات، وتجميع معرفات المستخدمين داخل كل بلد وإجراء طلبات API لكل دفعة.

معالجة الأخطاء في مساعدات المُكرِّرات

تعد المعالجة الصحيحة للأخطاء أمرًا ضروريًا عند العمل مع مساعدات المُكرِّرات، خاصة عند التعامل مع العمليات غير المتزامنة أو مصادر البيانات الخارجية. يجب عليك التعامل مع الأخطاء المحتملة داخل دوال المساعدات المُكرِّرة ونشرها بشكل مناسب إلى الكود الذي يستدعيها.

التعامل مع الأخطاء في العمليات غير المتزامنة

عند استخدام العمليات غير المتزامنة داخل مساعدات المُكرِّرات، استخدم كتل try...catch للتعامل مع الأخطاء المحتملة. يمكنك بعد ذلك إنتاج كائن خطأ أو إعادة إلقاء الخطأ ليتم التعامل معه بواسطة الكود الذي يستدعيه.

async function* asyncIteratorWithError() {
 for (let i = 1; i <= 5; i++) {
 try {
 if (i === 3) {
 throw new Error("خطأ محاكى");
 }
 yield await Promise.resolve(i);
 } catch (error) {
 console.error("خطأ في asyncIteratorWithError:", error);
 yield { error: error }; // إنتاج كائن خطأ
 }
 }
}

async function processIterator() {
 for (const value of asyncIteratorWithError()) {
 if (value.error) {
 console.error("خطأ في معالجة القيمة:", value.error);
 } else {
 console.log("قيمة تمت معالجتها:", value);
 }
 }
}

processIterator();

التعامل مع الأخطاء في دوال تحديد المفتاح

عند استخدام دالة تحديد المفتاح في المساعد groupBy، تأكد من أنها تتعامل مع الأخطاء المحتملة بأمان. على سبيل المثال، قد تحتاج إلى التعامل مع الحالات التي تُرجع فيها دالة تحديد المفتاح null أو undefined.

اعتبارات الأداء

بينما توفر مساعدات المُكرِّرات طريقة موجزة ومعبرة لمعالجة تدفقات البيانات، من المهم مراعاة آثارها على الأداء. يمكن للدوال المولّدة أن تضيف تكلفة إضافية مقارنة بالأساليب التقليدية القائمة على الحلقات التكرارية. ومع ذلك، فإن فوائد تحسين قابلية قراءة الكود وصيانته غالبًا ما تفوق تكاليف الأداء. بالإضافة إلى ذلك، يمكن أن يؤدي استخدام تقنيات مثل معالجة الدفعات إلى تحسين الأداء بشكل كبير عند التعامل مع مصادر البيانات الخارجية أو العمليات المكلفة.

تحسين أداء مساعدات المُكرِّرات

• تقليل استدعاءات الدوال: قلل من عدد استدعاءات الدوال داخل مساعدات المُكرِّرات، خاصة في الأقسام الحرجة للأداء من الكود.
• تجنب نسخ البيانات غير الضروري: تجنب إنشاء نسخ غير ضرورية من البيانات داخل مساعدات المُكرِّرات. اعمل على تدفق البيانات الأصلي كلما أمكن ذلك.
• استخدام هياكل بيانات فعالة: استخدم هياكل بيانات فعالة، مثل Map و Set، لتخزين واسترجاع البيانات داخل مساعدات المُكرِّرات.
• تحليل أداء الكود الخاص بك: استخدم أدوات تحليل الأداء لتحديد اختناقات الأداء في كود مساعدات المُكرِّرات الخاص بك.

الخاتمة

توفر مساعدات مُكرِّرات JavaScript، جنبًا إلى جنب مع تقنيات مثل معالجة الدفعات ومعالجة التدفقات المجمّعة، أدوات قوية لمعالجة البيانات بكفاءة وفعالية. من خلال فهم هذه التقنيات وآثارها على الأداء، يمكنك تحسين سير عمل معالجة البيانات وبناء تطبيقات أكثر استجابة وقابلية للتوسع. هذه التقنيات قابلة للتطبيق عبر تطبيقات متنوعة، من معالجة المعاملات المالية على دفعات إلى تحليل سلوك المستخدم مجمّعًا حسب الخصائص الديموغرافية. تتيح القدرة على الجمع بين هذه التقنيات معالجة بيانات مخصصة وفعالة للغاية مصممة لتلبية متطلبات التطبيق المحددة.

من خلال تبني هذه الأساليب الحديثة في JavaScript، يمكن للمطورين كتابة كود أنظف وأكثر قابلية للصيانة وأفضل أداءً للتعامل مع تدفقات البيانات المعقدة.