Disney Research Studios نشان می دهد خودکار صورت مبادله با تر AI

Disney Research Studios و ETH زوریخ منتشر کرده اند مطالعه جزئیات یک الگوریتم جدید که قادر به مبادله چهره از یک موضوع به دیگری در عکس با وضوح بالا و فیلم ها. توجه داشته باشید این سیستم قادر است به طور کامل به طور خودکار چهره-مبادله روند ارائه اولین نمونه از مگاپیکسلی با رزولوشن دستگاه تولید تصاویر است که 'موقتی منسجم و عکس واقعی.

الگوریتم جدید شامل گرفتن از یک موضوع و اصلاح آن با استفاده از چهره فرد دیگری ترکیب این دو به طوری که در این صورت از یک فرد ارائه شده است با عبارات و حرکات دیگر.

این سیستم شامل چند راه شانه شبکه آموزش با تصاویر متعدد مردم و همچنین به عنوان یک ترکیب روش است که حفظ کنتراست و روشنایی. "ما همچنین نشان می دهد که در حالی که آموزش پیشرفته را قادر می سازد نسل از تصاویر با وضوح بالا,' محققان می گویند, 'گسترش معماری و آموزش داده فراتر از دو نفر اجازه می دهد تا ما برای رسیدن به بالاتر وفاداری در تولید عبارات.'

کلید به سطح بالایی از کیفیت 'نقطه عطفی در تثبیت الگوریتم" که دیزنی محققان توصیف به عنوان یک 'بسیار مهم' از جنبه برخورد با وضوح بالا و کیفیت محتوا. هر چند این اولین نمونه از صورت مبادله در فیلم های مطالعه اشاره می کند که روش های موجود استفاده می شود برای تولید شخصیت های مانند جوان کری فیشر در Rogue یکی هستند و هر دو بار فشرده و بسیار گران است.

هوش مصنوعی دارای پتانسیل برای تغییر این در نهایت سازندگان را قادر می سازد به سرعت در حال تولید کامپیوتر با استفاده از شخصیت های live-action فیلم و تصاویر ورودی از هدف. تولید واقعی چهره باقی می ماند یک مشکل بزرگ با این حال تولید آنچه از آن به عنوان "uncanny valley' نگاه کنید که محدودیت استفاده از این فن آوری.

این باعث می شود دیزنی تکنولوژی های جدید به خصوص هیجان انگیز, اذیت کردن آینده ای که در آن سازندگان قادر به تولید عکس واقعی بالا-وضوح زمانی پایدار صورت معاوضه بین دو نفر است. محققان توضیح می دهند که:

به عنوان ما سیستم همچنین قادر است از چند راه معاوضه -- اجازه می دهد هر جفت از عملکرد و حضور در داده های ما به تعویض -- مزایای ممکن است به جلوه های بصری گسترده همه در کسری از زمان و هزینه مورد نیاز با استفاده از روش های سنتی تر.

مطالعه مقایسه چهره-تعویض نتایج حاصل از این روش جدید به نتایج حاصل از الگوریتم های موجود از جمله DeepFaceLab و DeepFakes. هر چند دیگر الگوریتم قادر به تولید معمولی قانع کننده نتایج آنها قادر به عبور از موشکافی و در برخی موارد بودند یا بیش از حد مخلوط و یا آشکار عجیب و غریب و غیر طبیعی.

این دسته نشان دهنده موارد شکست خورده مبادله صورت

در مقایسه صورت معاوضه تولید شده با استفاده از روش جدید واقعی بودند و حفظ سطح بالایی از وضوح و جزئیات در یک 1024 x 1024 resolution دور زدن نرم و تار و نتایج اغلب دیده می شود که با استفاده از DeepFakes. همچنین محققان توجه داشته باشید که DeepFakes چنین پردازش سنگین نیاز است که آن را تنها قادر به تولید وضوح 128 x 128 پیکسل با استفاده از یک 11GB GPU.

هنگامی که با استفاده از morphable مدل های محققان قادر به افزایش رزولوشن به 500 × 500 پیکسل اما نتایج به طور معمول غیر واقعی است. فراتر از آن است که محققان مجبور شدند برای آموزش مدل های معمولی برای هر جفت از چهره معاوضه در حالی که الگوریتم جدید می تواند به طور همزمان آموزش برای همه مردم استفاده می شود به صورت های مختلف صورت معاوضه.

این مطالعه اشاره می کند که این الگوریتم جدید ارائه یک محدودیت نیز تجربه دیگر روش های مرسوم: اصلی سر شکل نگهداری می شود. هر چند تعویض صورت ممکن است بسیار واقع گرایانه چهره خود را سر و شکل درست و در نتیجه تولید شخصیت که به نظر می رسد کمی 'خاموش' از آنچه که انتظار می رود.

پژوهش های آینده ممکن است در نتیجه یک روش برای انتقال این موضوع شکل سر در علاوه بر این به صورت خود تولید نه تنها عکس-نتایج واقع بینانه بلکه درست ظاهر کلی برای دیجیتالی-دوباره بازیگر. بزرگترین واضح برای استفاده از این تکنولوژی در فیلم و تلویزیون را قادر می سازد استودیو به سرعت و ارزان (نسبتا صحبت کردن) ایجاد مدل های 3D از پیری و یا مرحوم بازیگران.

این تکنولوژی می پیوندد رشد پژوهش در چهره-تعویض و مدل-تولید الگوریتم است که تمرکز بر روی تصاویر ثابت و نه از فیلم. NVIDIA برای مثال در یک مطالعه منتشر شده در اواخر سال 2018 است که نشان از نسل photo-realistic پرتره از AI مدل که شامل منبع و هدف قرار دادن تصاویر واقعی مردم است.

حدود یک سال بعد همان شرکت منتشر شده تحقیقات جدید که انجام شده مشابه face swap اما یکی مربوط به سگ به جای انسان است. ما در حال حاضر دیده می شود استفاده از این های مختلف هوش مصنوعی فن آوری های رسیدن به مصرف کننده سطح-اجازه دهید افزایش 2.0 برای مثال به تازگی معرفی ویژگی های جدید است که با بهره گیری از یادگیری ماشین برای بازسازی چهره افراد در تصاویر با کیفیت پایین.

همانطور که برای مطالعه جدید از تحقیقات دیزنی استودیو و ETH Zurich کامل مقاله (PDF) می توان در دیزنی سایت اینجا.