أنشئ مجموعات بيانات للذكاء الاصطناعي الفيزيائي جاهزة للتدريب باستخدام تعليمتين في NVIDIA Cosmos
نيفيديا كوزموس داتا فاكتوري تسرع من تطوير الذكاء الاصطناعي الفيزيائي عبر تمكين تنقية مجموعات البيانات وإنشائها اصطناعيًا باستخدام طلبين. توفر هذه المنصة المفتوحة خمسة مخططات وست مهارات لإنشاء سيناريوهات قيادة، وتحسين الصور، وإنشاء أحداث نادرة، ويُقال إن ذلك يتم بسرعة تصل إلى 60x أسرع من الطرق التقليدية.
الوسوم
ملخص سريع
نيفيديا كوزموس داتا فاكتوري تسرع من تطوير الذكاء الاصطناعي الفيزيائي عبر تمكين تنقية مجموعات البيانات وإنشائها اصطناعيًا باستخدام طلبين. توفر هذه المنصة المفتوحة خمسة مخططات وست مهارات لإنشاء سيناريوهات قيادة، وتحسين الصور، وإنشاء أحداث نادرة، ويُقال إن ذلك يتم بسرعة تصل إلى 60x أسرع من الطرق التقليدية.
إنشاء مجموعات بيانات للذكاء الاصطناعي الفيزيائي جاهزة للتدريب باستخدام أمرين في NVIDIA Cosmos
يعتمد دقة نموذج العالم بشكل أساسي على مجموعات بيانات تدريب عالية الجودة ومتنوعة. لكن التقاط العيوب النادرة والحوادث الليلية وغيرها من السيناريوهات المعقدة يظل مكلفًا ويستغرق وقتًا طويلاً. تشمل الأساليب التقليدية غالبًا أدوات منفصلة وعمليات يدوية للتنقية والتصنيف والإنشاء والتقييم، مما يضيف تعقيدًا كبيرًا لتحويل البيانات الخام إلى مجموعات بيانات جاهزة للتدريب.
تتصدى NVIDIA لهذه التحديات من خلال NVIDIA Cosmos، وهي منصة مفتوحة مصممة لتطوير نماذج العالم. تدمج هذه المنصة النماذج المتقدمة ومجموعات البيانات والأطر والمهارات لتبسيط سلسلة معالجة البيانات. أحد المكونات الأساسية لهذا النظام البيئي هو NVIDIA Cosmos Data Factory (CDF)، الذي يوفر خمسة تصاميم قائمة على السحابة وست مهارات قابلة للتجميع لتسريع تنقية البيانات ومعالجتها وإنشاء بيانات اصطناعية (SDG).
وفقًا لـ NVIDIA، يمكن للمطورين الآن تنقية وتعزيز وإنشاء وتصنيف بيانات الذكاء الاصطناعي الفيزيائي، بواسطة عامل البرمجة الخاص بهم، باستخدام أمرين فقط. يهدف هذا النهج إلى تقليل التعقيدات بين احتياجات البيانات وتدريب النماذج، مما يسمح بأساليب عمل من نوع "من الأمر إلى البيانات" دون الحاجة إلى توجيه بشري مستمر.
أسلوب العمل باستخدام أمرين
تكمن القيمة الأساسية لـ NVIDIA Cosmos Data Factory في قدرتها على تنظيم أساليب العمل المعقدة من خلال واجهة مبسطة. ينقسم العملية إلى خطوتين رئيسيتين، كل منهما يتم تنفيذها بواسطة أمر محدد.
تشمل الخطوة الأولى إعداد وتكوين تصاميم ومهارات Cosmos. يدخل المستخدمون أمرًا في عامل البرمجة الخاص بهم لبدء تشغيل البيئة. يؤدي هذا الإجراء إلى إجراء فحوصات أولية للتحقق من البيئة دون إجراء أي تغييرات، وتحديد أي مكونات مفقودة. بمجرد اجتياز هذه الفحوصات، تقوم مرحلة الإعداد بتهيئة البيئة لتشغيل التصاميم المحددة اللازمة لاستخدام بيانات التدريب الخاصة بالمستخدم.
الخطوة الثانية تتضمن تشغيل المخطط الأساسي لحالة استخدام بيانات التدريب المحددة. من خلال إدخال طلب ثانٍ، يوجه المستخدم النظام لتنفيذ سلسلة العمل المختارة. يتم إدارة هذا التنسيق بواسطة مهارة CDF Orchestration الأساسية، والتي تنسق خطوات سلسلة العمل وتنشر الخدمات المطلوبة وتدير التنفيذ على المجموعة. يسمح هذا الفصل بين الإعداد والتنفيذ للمطورين بالتركيز على أهدافهم المتعلقة بالبيانات، بينما تتولى البنية التحتية التعامل مع تعقيدات النشر والتوسع.
خمسة مخططات أساسية للذكاء الاصطناعي المادي
يتضمن NVIDIA Cosmos Data Factory خمسة مخططات أساسية مصممة لمعالجة التحديات الشائعة في تدريب الذكاء الاصطناعي المادي. تستفيد هذه المخططات من المهارات الأساسية للوكلاء للتعامل مع مهام تتراوح بين محاكاة المركبات ذاتية القيادة والفحص البصري.
حالة الاستخدام 1: إنشاء سيناريوهات قيادة لتدريب المركبات ذاتية القيادة
تم تصميم مخطط إنشاء مجموعات بيانات المركبات ذاتية القيادة للفرق التي تحتاج إلى تنظيم مقاطع فيديو موجودة أو إنشاء مجموعات بيانات جديدة لتدريب وتحقق النماذج لاحقًا. يساعد هذا المخطط في البحث في قواعد بيانات كبيرة من سيناريوهات القيادة وإنشاء مجموعات بيانات متنوعة.
تتضمن سلسلة العمل استخراج بيانات وصفية لمدخلات مجموعات البيانات المرئية بواسطة NVIDIA Cosmos Curator، بينما يقوم NVIDIA Cosmos Dataset Search بالعثور على مقاطع فيديو ذات صلة من خلال التضمينات. تُرسل المقاطع المسترجعة إلى NVIDIA Cosmos3-Super-Image2Video لنقل الأسلوب، مما يغير المشاهد حسب الطقس والإضاءة والظروف البيئية. أخيرًا، يتحقق Cosmos Evaluator من مصداقية المقاطع المولدة من الناحية المادية. يضمن ذلك أن البيانات المعززة تحافظ على السلامة الهيكلية المطلوبة لتدريب المركبات ذاتية القيادة بشكل آمن.
حالة الاستخدام 2: تعزيز خصائص الصور للبحث وإعادة التعرف
بالنسبة للمهام التي تتطلب البحث عن الأشخاص وإعادة التعرف عليهم، يولد المخطط الأساسي لتعزيز خصائص الصور إصدارات مختلفة من مقاطع الأشخاص مع تغييرات متحكم فيها في الخصائص. تشمل هذه التغييرات نوع الملابس والإكسسوارات والألوان.
نموذج لغوي كبير داخل النظام يحول الخصائص المختارة إلى رسائل تعديل منظمة، تُستخدم لإنشاء نسخ معدلة من الصورة الأصلية. يؤكد أداة Cosmos Evaluator أن خصائص الملابس المطلوبة موجودة في النتيجة. ثم تقوم الخطة الأساسية بتسمية النتائج تلقائيًا بخصائص الملابس واستعلامات البحث، مما يخلق مجموعة بيانات جاهزة لتدريب خوارزميات البحث.
حالة استخدام 3: تعزيز الفيديوهات في مختلف الأحوال الجوية والإضاءة والبيئات
تقوم الخطة الأساسية المرجعية لتعزيز بيانات الفيديو بتحويل مقاطع الفيديو الحالية في مختلف الأحوال الجوية والإضاءة والبيئات مع الحفاظ على هيكل المشهد الأصلي. يصف نموذج لغة الرؤية (VLM) الفيديو الأصلي ويدمج هذا الوصف مع الظروف المطلوبة في رسالة تعديل منظمة. ثم يقوم Cosmos3-Nano بإنشاء النسخة المعززة.
لضمان الجودة، تتحقق أداة Cosmos Evaluator من كل مقطع فيديو مُنشأ للبحث عن عيوب حركية غير موجودة في الصورة الأصلية، وتؤكد أن الظروف المطلوبة موجودة فعلاً، وتقيّم ما إذا كانت الحركة منطقية من الناحية الفيزيائية. بعد ذلك، تقوم الخطة الأساسية بتسمية الفيديوهات الأصلية والمُنشأة تلقائيًا ببيانات الكشف والتتبع والتعليقات، مما يوفر مجموعة بيانات شاملة جاهزة للتدريب.
حالة استخدام 4: إنشاء فيديوهات للأحداث النادرة لتدريب النماذج
يمكن أن يكون تسجيل الأحداث النادرة مثل الحرائق أو السقوطات أو سرقات المتاجر أمرًا خطيرًا أو مكلفًا. تتعامل الخطة الأساسية المرجعية لإنشاء فيديوهات الأحداث مع هذه المشكلة عن طريق استخدام صورة أصلية لإنشاء فيديوهات لهذه الأحداث النادرة.
يدمج نموذج لغة الرؤية وصفه للمشهد مع الحدث المطلوب في رسالة تعديل منظمة. ثم يقوم Cosmos3-Super-Image2Video بإنشاء المقطع مع الحفاظ على وجهة نظر وتخطيط الصورة الأصلية. تتحقق أداة Cosmos Evaluator من ظهور الحدث وما إذا كانت الحركة تبدو منطقية من الناحية الفيزيائية، وتعيد محاولة المقاطع التي فشلت تلقائيًا. يتم تسمية المقاطع التي نجحت تلقائيًا ببيانات الكشف والتتبع والتعليقات والتعليقات الدلالية للاستخدام في التدريب لاحقًا.
حالة الاستخدام 5: إنشاء صور للعيوب للفحص البصري
يقوم المخطط المرجعي لإنشاء صور العيوب بإنشاء أمثلة تحتوي على عيوب من صور الفحص النظيفة أو أصول 3D USD لأجزاء مثل لوحات الدوائر، وألواح الزجاج، أو الأسطح المعدنية. بالنسبة للأصول 3D، يقوم NVIDIA Isaac Sim بتوليد صور الفحص والأقنعة، بينما يقوم Qwen-Image-Edit بإنشاء صور مرجعية نظيفة واقعية تُعرف باسم الصور الذهبية.
يستخدم Cosmos 3 Super هذه الصور وأقنعة العيوب وأنواع العيوب المطلوبة لإنشاء عيوب مع الحفاظ على الجزء المحيط به. يأتي النظام مضبوطًا بدقة للوحات الدوائر المطبوعة (PCBs) والزجاج والمعادن، مع إمكانية ضبطه أكثر لحالات الاستخدام الأخرى. يشمل الإخراج الصور الذهبية وصور العيوب الاصطناعية بالإضافة إلى سجلات تربط كل نتيجة بمصدرها وإعدادات التوليد.
مهارات وأدوات العامل الأساسي
يتم بناء المخططات المرجعية الخمسة من ست مهارات أساسية للعامل يمكن استخدامها بشكل مستقل أو مجتمعة لإنشاء سلاسل عمل مخصصة حول بيانات وأهداف محددة.
- Auto Labeling: يحول الفيديوهات والصور الخام إلى مجموعات بيانات مُعلّمة مع إمكانيات الكشف والتتبع والتعليقات وفهم المشهد.
- AnomalyGen: ينشئ صورًا واقعية للعيوب من عدد قليل من الأمثلة، مع أقنعة، خصيصًا لمهام الفحص البصري.
- Augmentation: يولد تنويعات بصرية للفيديوهات والصور باستخدام نماذج Cosmos للحالات التي يصعب تسجيلها في العالم الحقيقي.
- Curation and Retrieval: يعثر على مقاطع الفيديو والصور في مجموعات كبيرة باستخدام Cosmos Curator وCosmos Dataset Search. يدعم Cosmos Curator الآن فيديوهات المراقبة المتعددة ومدخلات IMU وGPS، بالإضافة إلى دعم أولي لليدار في مكتبة المستشعرات الخاصة به.
- Simulation: يقوم بتوليد صور واقعية تمامًا ومُعلّمة بالكامل من مشاهد 3D باستخدام Isaac Sim وOmniverse Replicator.
- Orchestration: يشغل المخططات المرجعية على مجموعة خوادم، وينشر الخدمات التي تحتاجها كل منها ويقوم بتوسيع نطاقها حسب الحاجة.
بالنسبة لسلاسل العمل المركزة على التنقية واسترجاع البيانات، يمكن للمطورين استخدام Cosmos Curator لمعالجة الفيديوهات الخام والبيانات متعددة الأوجه ووضع علامات تلقائية عليها، وكذلك استخدام Cosmos Dataset Search للعثور على سيناريوهات تدريب محددة ضمن مجموعات بيانات كبيرة. كما تتوفر مكونات معالجة قابلة لإعادة الاستخدام في Python لدعم هذه المهام.
الأداء والنتائج المتوقعة
قامت NVIDIA بقياس مكاسب الكفاءة التي توفرها هذه البنية. في الاختبارات التي أُجريت على خادم سحابي مزود بثمانية كروت GPU من سلسلة NVIDIA RTX PRO 6000 Blackwell، أفادت المنظمة بتحسينات كبيرة مقارنة بالأساليب التقليدية.
على وجه التحديد، قامت NVIDIA بقياس الإنتاجية اليومية وأفادت بأن تجميع مجموعات البيانات يتم بسرعة تصل إلى 60x أسرع. علاوة على ذلك، أُفيد بأن إنشاء سيناريوهات للمركبات ذاتية القيادة يكون بتكلفة أقل بمقدار 45x مقارنة بالأساليب التقليدية. تسلط هذه المؤشرات الضوء على إمكانية قيام المنظمات بتوسيع عملياتها المتعلقة بالبيانات دون زيادة متناسبة في التكاليف أو وقت الوصول إلى السوق.
الخلاصة
لم يعد إنشاء مجموعات بيانات للذكاء الاصطناعي الفيزيائي جاهزة للتدريب يعتمد فقط على التسجيل اليدوي ووضع العلامات الذي يتطلب جهدًا كبيرًا. من خلال الاستفادة من NVIDIA Cosmos و Cosmos Data Factory، يمكن للمطورين تنظيم أنابيب بيانات معقدة باستخدام مجرد رسالتين توجيهيتين. سواء كان الأمر يتعلق بإنشاء سيناريوهات قيادة للمركبات ذاتية القيادة، أو تحسين الصور لإعادة التعرف عليها، أو إنشاء صور مزيفة للعيوب للفحص البصري، فإن المنصة توفر حلاً مرنًا وقابلًا للتوسع.
مع عمل المهارات الأساسية مثل Auto Labeling و AnomalyGen و Simulation معًا، يمكن للمنظمات تسريع تطوير نماذجها الخاصة بالعالم. كما توضح NVIDIA، فإن مزيج النماذج المتقدمة والمهارات القابلة للتجميع يسمح بإنشاء مجموعات بيانات عالية الجودة ومتنوعة، وهي ضرورية لتدريب أنظمة الذكاء الاصطناعي الفيزيائي القوية.
المصدر:
- إنشاء مجموعات بيانات للذكاء الاصطناعي الفيزيائي جاهزة للتدريب باستخدام رسالتين توجيهيتين في NVIDIA Cosmos — مدونة NVIDIA AI — https://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos



