يقدم باحثو Apple Matrix3D ، وهو نموذج موحد لمنظمة العفو الدولية يمكنه تحويل الصور ثنائية الأبعاد إلى كائنات ثلاثية الأبعاد
أصدر باحثو Apple نموذجًا جديدًا للذكاء الاصطناعي (AI) يمكنه إنشاء طرق عرض ثلاثية الأبعاد من صور ثنائية الأبعاد متعددة. تم تطوير نموذج اللغة الكبير (LLM) ، الذي يطلق عليه Matrix3D ، من قبل فريق التعلم الآلي للشركة ، بالتعاون مع جامعة نانجينغ وجامعة هونغ كونغ للعلوم والتكنولوجيا (HKUST). جعل عملاق التكنولوجيا القائم على كوبرتينو نموذج الذكاء الاصطناعي متاحًا للمجتمع المفتوح ، ويمكن تنزيله عبر قائمة Apple على Github. مع Matrix3D ، قام الباحثون بتوحيد خط أنابيب الجيل ثلاثي الأبعاد للقضاء على خطر الأخطاء.
يبتكر Matrix3D من Apple
في بريد، قام عملاق التكنولوجيا بتفصيل البحث الذي دخل في تطوير نموذج Matrix3d AI. في حين أن العديد من نماذج العرض ثلاثية الأبعاد موجودة بالفعل ، فإن هذه النماذج تبتكر المساحة الحالية من خلال توحيد خط الأنابيب لإنشاء طرق عرض ثلاثية الأبعاد. بدلاً من وجود نماذج ومكونات متعددة ، هنا ، تقوم LLM واحدة بإجراء العديد من المهام الفرعية لتصوير التصوير مثل التقدير ، والتنبؤ بالعمق ، وتوليف العرض الجديد.
والجدير بالذكر أن قياس التصوير الفوتوغرافي هو تقنية الحصول على قياسات دقيقة ومعلومات ثلاثية الأبعاد حول الكائنات المادية والبيئات من خلال تحليل الصور. يتم استخدامه بشكل شائع لإنشاء خرائط ونماذج ثلاثية الأبعاد وقياسات من الصور ثنائية الأبعاد مأخوذة من زوايا مختلفة.
كما نشر الباحثون أ ورق حول النموذج الجديد على مجلة Preprint Journal Arxiv عبر الإنترنت. وفقًا للأبحاث ، يعتمد Matrix3D على بنية محول الانتشار متعدد الوسائط (DIT). يمكنه دمج البيانات عبر طرائق متعددة مثل بيانات الصور ومعلمات الكاميرا وخرائط العمق.
في الورقة ، يسلط باحثو Apple الضوء على أن النموذج قد تم تدريبه باستخدام استراتيجية تعلم القناع حيث يتم عرقلة جزء من الصورة ، ويتم تدريب نموذج الذكاء الاصطناعى على العثور على وحدات البكسل الصحيحة التي تتناسب مع الفجوة.
وجد الباحثون أن LLM يمكنه إنشاء كائن ثلاثي الأبعاد أو عرض مشهد كامل بثلاث صور فقط من زوايا مختلفة. على الرغم من عدم الكشف عن مجموعة البيانات المستخدمة لتدريب النموذج ، إلا أن النموذج نفسه متاح لتنزيل وتعديل وإعادة توزيعه عبر رخصة Apple متساهلة على Github للشركة قائمة.
اكتشاف المزيد من موقع لنكات مسلّم
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
