محاسباتی عکاسی قسمت دوم: محاسباتی سنسور و اپتیک

یادداشت سردبیر: این دومین مقاله در یک مجموعه سه بخشی توسط مهمان عامل واسیلی Zubarev. اول و سوم قطعات را می توان در اینجا یافت نشد:

شما می توانید ببینید واسیلی وب سایت که در آن او همچنین demystifies پیچیده دیگر افراد است. اگر شما پیدا کردن این مقاله مفید ما شما را تشویق به او کمک مالی کوچک به طوری که او می تواند نوشتن در مورد دیگر موضوعات جالب.


محاسباتی سنسور: Plenoptic و نور زمینه

خوب ما سنسور تلخه. ما به سادگی به آن عادت کردم و تلاش به انجام بهترین های ما با آنها. آنها نه تغییر زیادی در طراحی آنها از آغاز زمان. ویژگی های فرایند تنها چیزی که بهبود یافته — ما کاهش فاصله بین پیکسل مبارزه خوانده سر و صدا, افزایش سرعت بازخوانی و افزود خاص پیکسل برای مرحله تشخیص و فوکوس اتوماتیک و سیستم های. اما حتی اگر ما نگاهی به گران قیمت ترین دوربین به سعی کنید به عکس در حال اجرا گربه در داخل سالن و نور و گربه برنده خواهد شد.

ما شده ایم در تلاش برای ابداع یک بهتر سنسور برای مدت زمان طولانی. شما می توانید گوگل بسیاری از تحقیقات در این زمینه توسط “محاسباتی سنسور” و یا “غیر بایر سنسور” نمایش داده شد. حتی صفحه تغییر عنوان مثال می توان به عنوان تلاش برای بهبود سنسور با محاسبات.

امیدوار کننده ترین داستان از بیست سال گذشته هر چند به ما از plenoptic دوربین.

برای آرام کردن خود حس قریب الوقوع خسته کننده ریاضی من پرتاب در خودی توجه داشته باشید — آخرین گوگل پیکسل دوربین است که کمی plenoptic. تنها با دو پیکسل در یک, هنوز هم وجود دارد به اندازه کافی برای محاسبه عادلانه نوری عمق میدان نقشه بدون داشتن دوربین دوم مانند هر کس دیگری.

Plenoptics یک سلاح قدرتمند است که نه اخراج نشده است.

Plenoptic دوربین

اختراع در سال 1994. برای اولین بار مونتاژ در دانشگاه استنفورد در سال 2004. اولین مصرف کننده محصول — Lytro منتشر شده در سال 2012. VR صنعت در حال حاضر به طور فعال با تجربه با فن آوری های مشابه.

Plenoptic دوربین متفاوت از حالت عادی یک تنها با یک تغییر. آن حسگر پوشش داده شده با یک شبکه از لنز که هر یک از آنها را پوشش می دهد چندین واقعی پیکسل. چیزی شبیه به این:

اگر ما در محل شبکه و سنسور در فاصله خواهیم دید تیز پیکسل خوشه حاوی مینی نسخه اصلی تصویر نهایی تصویر RAW.

ظاهرا اگر شما تنها یک مرکزی پیکسل از هر خوشه و ساخت تصویر تنها از آنها نمی توان آن را هر گونه متفاوت از یکی گرفته شده با یک دوربین استاندارد است. بله ما از دست دادن یک بیت در قطعنامه اما ما فقط درخواست سونی به مسائل مگاپیکسل بیشتر در آینده سنسور.

که در آن بخشی از سرگرم کننده آغاز می شود. اگر شما را به یکی دیگر از صفحه از هر خوشه و ساخت تصویر دوباره شما دوباره گرفتن یک عکس استاندارد فقط به عنوان اگر آن گرفته شده با دوربین های منتقل شده توسط یک صفحه در فضا است. بنابراین با 10×10 پیکسل خوشه های ما 100 تصاویر از “کمی” از زوایای مختلف.

بیشتر خوشه اندازه تصاویر بیشتر را داریم. وضوح پایین تر است ، در جهان از گوشی های هوشمند با 41 مگاپیکسل سنسور همه چیز را محدود کرده است اگر چه ما می توانیم غفلت وضوح کمی. ما باید برای حفظ تعادل است.

خوبه ما رو plenoptic دوربین. آنچه می تواند ما را با آن انجام دهید ؟

نمایشگاه تمرکز

این ویژگی که هر کس به وزوز در مقاله پوشش Lytro است که امکان تنظیم فوکوس پس از عکاسی گرفته شده است. “عادلانه” بدان معنی است که ما نمی هر گونه استفاده از deblurring الگوریتم, اما نه تنها در دسترس پیکسل چیدن و یا به طور متوسط در جهت سمت راست.

خام عکس گرفته شده با یک plenoptic دوربین به نظر می رسد عجیب و غریب. به طور معمول تیز JPEG از آن شما باید برای جمع آوری آن را برای اولین بار. نتیجه متفاوت خواهد بود بسته به اینکه چگونه ما را انتخاب کنید پیکسل از خام است.

دورتر خوشه ای است از نقطه ضربه اصلی ری بیشتر ضد فوکوس ری است. چون اپتیک. برای دریافت تصویر تغییر در تمرکز ما تنها نیاز به انتخاب پیکسل در فاصله مورد نظر از اصلی یا نزدیک تر یا دورتر.

تصویر باید خواندن از راست به چپ به عنوان ما در حال مرتب کردن بر اساس از بازگرداندن تصویر دانستن پیکسل در سنسور. ما یک تیز تصویر اصلی در بالا و زیر محاسبه می کنیم آنچه در پشت آن است. است که ما تغییر تمرکز محاسباتی.

روند تغییر تمرکز به جلو است که کمی پیچیده تر به عنوان ما پیکسل کمتر در این بخش از خوشه. در آغاز Lytro توسعه دهندگان حتی نمی خواهید به اجازه کاربر فوکوس دستی از آنجا که — دوربین ساخته شده تصمیم خود را با استفاده از نرم افزار. کاربران دوست ندارم که پس از این از ویژگی های اضافه شده در اواخر نسخه به عنوان “حالت خلاق” اما با بسیار محدود تمرکز دقیقا به همین دلیل.

نقشه عمق و 3D با استفاده از یک تک لنز

یکی از ساده ترین عملیات در plenoptics است که برای دریافت یک نقشه عمق. شما فقط نیاز به جمع آوری دو عکس مختلف و با محاسبه چگونه اشیاء منتقل بین آنها است. بیشتر shift — دورتر از دوربین جسم است.

گوگل به تازگی خریداری شده و کشته Lytro اما با استفاده از فن آوری خود را برای آن VR و… صفحه دوربین. شروع با صفحه 2 دوربین شد “کمی” plenoptic هر چند با تنها دو پیکسل در هر خوشه. به عنوان یک نتیجه, گوگل نیازی به نصب یک دوربین دوم مانند دیگر بچه های باحال. به جای آنها می توانید محاسبه نقشه عمق از یک عکس.

تصاویر که بالا و پایین subpixels از گوگل پیکسل دوربین ببینید. یک حق است و متحرک برای وضوح (برای بزرگنمایی کلیک کنید و ببینید انیمیشن). منبع: گوگل
عمق نقشه است علاوه بر پردازش با شبکه های عصبی برای ایجاد پس زمینه تاری حتی بیشتر. منبع: گوگل

عمق نقشه ساخته شده است در دو عکس های منتقل شده توسط یک زیر پیکسل. این است که به اندازه کافی برای محاسبه ابتدایی عمق نقشه و جداگانه پیش زمینه از پس زمینه به تیرگی آن را با برخی از لباس شیک بوکه. در نتیجه این طبقه بندی است که هنوز هموار و “بهبود” توسط شبکه های عصبی که در حال آموزش دیده برای بهبود عمق نقشه ها (به جای مشاهده به عنوان بسیاری از مردم فکر می کنم).

ترفند این است که ما رو plenoptics در گوشی های هوشمند تقریبا در هیچ هزینه. ما در حال حاضر قرار دادن لنز بر روی این سنسور کوچک برای افزایش شار حداقل به نحوی. برخی از اختراع ثبت شده از گوگل نشان می دهد که آینده صفحه های همراه ممکن است بیشتر و پوشش چهار photodiodes با یک لنز.

برش لایه ها و اشیاء

شما نمی دیدن بینی خود را از آنجا که مغز خود را با ترکیبی از تصویر نهایی از هر دو چشم خود را. یک چشم را ببینید هرم مصر در لبه.

همان اثر را می توان در یک plenoptic دوربین. با مونتاژ منتقل تصاویر از پیکسل از خوشه های مختلف ما می توانیم در جسم به عنوان اگر از چند نقطه. همان چشمان ما انجام دهد. آن را به ما می دهد دو فرصت های سرد. برای اولین بار است که ما می توانیم برآورد فاصله تقریبی به اشیاء است که به ما اجازه می دهد به راحتی جدا کردن پیش زمینه از پس زمینه در زندگی است. و دوم اینکه اگر جسم کوچک است ما می توانید به طور کامل آن را حذف کنید از عکس پس ما به طور موثر می تواند به اطراف نگاه جسم است. مانند بینی. فقط کلون آن را. نوری برای واقعی بدون فتوشاپ.

با استفاده از این, ما می توانیم قطع درختان بین دوربین و جسم و یا حذف در حال سقوط شیرینی همانطور که در ویدیو زیر مشاهده کنید.

“نوری” ثبات با هیچ اپتیک

از یک plenoptic خام, شما می توانید یک صد نفر از عکس ها با چند پیکسل تغییر بیش از کل سنسور منطقه است. بر این اساس ما یک لوله از قطر لنز که در آن ما می تواند حرکت تیراندازی نقطه آزادانه در نتیجه جبران لرزش تصویر.

مشخصات فنی تثبیت هنوز نوری از آنجا که ما لازم نیست برای محاسبه هر چیزی — ما فقط انتخاب کنید پیکسل ها در مکان های راست. از سوی دیگر هر plenoptic دوربین فداکاری تعداد مگاپیکسل در حمایت از plenoptic قابلیت و هر گونه دیجیتال تثبیت کننده با این نسخهها کار به همان شیوه. آن را به خوبی به آن به عنوان یک پاداش است اما استفاده از آن تنها به آن خاطر پر هزینه است.

بزرگتر از سنسور و لنز بزرگتر پنجره برای جنبش. بیشتر دوربین قابلیت های بیشتر ازن سوراخ از تهیه این سیرک با برق و خنک کننده است. آره فن آوری!

مبارزه با Bayer filter

Bayer filter است که هنوز هم لازم است حتی با یک plenoptic دوربین. ما نمی آیند تا با هر راه دیگر گرفتن رنگارنگ تصویر دیجیتال. و با استفاده از یک plenoptic خام ما می تواند دمای رنگ نه تنها توسط گروهی از پیکسل های مجاور که در کلاسیک demosaicing اما همچنین با استفاده از ده ها تن از نسخه آن در کشور همسایه خوشه.

آن را به نام “محاسبه فوق العاده قطعنامه” در برخی از مقالات ، اما من به این سوال. در واقع ما کاهش واقعی با رزولوشن از سنسور در برخی از این چندین بار برای اولین بار در سفارش به افتخار بازگرداندن دوباره آن را. شما باید سعی کنید سخت به فروش آن به کسی.

اما مشخصات فنی آن هنوز هم جالب تر از تکان دادن سنسور در یک صفحه تغییر اسپاسم.

محاسباتی دیافراگم (bokeh)

کسانی که دوست دارند به ساقه bokeh hearts هیجان زده خواهد شد. پس ما می دانیم که چگونه برای کنترل تمرکز, ما می تواند حرکت کند و تنها چند پیکسل از unfocused تصویر و دیگران از عادی. بنابراین ما می توانید دیافراگم هر شکل. بساز! (هیچ)

بسیاری از کلاهبرداری به صورت تصویری

بنابراین نه به حرکت بیش از حد دور از عکس و موضوع هر کسی که علاقه مند باید چک کردن لینک های بالا و پایین. آنها حاوی حدود نیم دوجین جالب دیگر برنامه های کاربردی از یک plenoptic دوربین.

نور زمینه: بیشتر از یک عکس, کمتر از VR

معمولا توضیح plenoptics شروع می شود با نور زمینه. و بله از علم منظر plenoptic دوربین قطاری از نور زمینه نه فقط عکس. Plenus می آید از لاتین “پر” به عنوان مثال جمع آوری تمام اطلاعات در مورد اشعه های نور است. درست مثل یک مجلس جلسه عمومی.

بیایید به پایین از این به درک آنچه یک نور زمینه است و چرا ما به آن نیاز دارید.

سنتی عکس های دو بعدی هستند. هنگامی که یک ری بازدید یک سنسور وجود خواهد داشت مربوطه پیکسل در عکس است که پرونده به سادگی به آن شدت. دوربین مراقبت می کند که در آن ری از در آمد که آیا آن را به طور تصادفی از کنار یا منعکس شده از یک شی دیگر. عکس قطاری تنها نقطه تقاطع ری با سطح سنسور است. پس از آن نیمه 2D.

نور زمینه و تصاویر مشابه هستند اما با یک جزء جدید — منشاء و زاویه هر یک از ری. این microlens آرایه در مقابل سنسور کالیبره شده به طوری که هر یک لنز نمونه یک بخش خاصی از دیافراگم اصلی لنز و هر پیکسل در پشت هر یک لنز نمونه یک مجموعه خاص از ری زاویه. و از آنجا که اشعه های نور ناشی از یک شی با زوایای مختلف سقوط مختلف در سراسر پیکسل در یک نور زمینه سنسور دوربین شما می توانید ساخت یک درک از تمام مختلف ورودی زاویه اشعه نور از این شی. این بدان معنی است که دوربین به طور موثر قطاری از ری بردار در فضای 3D. مانند محاسبه روشنایی یک بازی ویدیویی, اما راه دیگری در اطراف ما در حال تلاش برای گرفتن صحنه نه ایجاد آن. نور زمینه است که مجموعه ای از تمام اشعه های نور در صحنه — گرفتن شدت و زاویه ای اطلاعات در مورد هر یک از ری.

هستند بسیاری از مدل های ریاضی از نور زمینه. در اینجا یکی از نماینده.

نور زمینه است که در اصل یک مدل های بصری از فضای اطراف آن است. ما محاسبه به راحتی می توانید هر عکس را درون این فضا ریاضی. نقطه نظر عمق میدان دیافراگم — همه اینها نیز محاسبه; اما تنها می تواند انباشتگی نقطه نظر بسیار تعیین ورودی مردمک اصلی لنز. است که مقدار آزادی که با آن شما می توانید تغییر میدان دید بستگی به وسعت دیدگاه شما را دستگیر کرده ایم که لزوما محدود است.

من دوست دارم به قیاس با شهر اینجا. عکاسی مانند مورد علاقه خود را در مسیر از خانه خود را به نوار شما همیشه به یاد داشته باشید در حالی که نور زمینه است که یک نقشه از کل شهر است. با استفاده از نقشه شما می توانید هر مسیر از نقطه A به b در همان راه شناخت نور زمینه ما می توانیم محاسبه هر عکس.

برای یک عکس معمولی را به درد نمیخورد من موافقت می کنم. اما در اینجا می آید VR که در آن نور زمینه یکی از مهمترین مناطق از توسعه است.

داشتن یک نور زمینه مدل از یک شی و یا یک اتاق اجازه می دهد تا شما را به دیدن این شی یا یک اتاق از دیدگاه های چندگانه با حرکت منظر و دیگر نشانه عمق مانند تغییرات واقعی در بافت و نورپردازی به شما به عنوان حرکت سر خود را. شما حتی می توانید سفر خود را از طریق یک فضای البته به یک رشته محدود است. آن را احساس می کند مانند واقعیت مجازی اما دیگر لازم برای ساخت یک 3D-مدل اتاق. ما می توانید به سادگی’ جذب تمام اشعه های داخل آن و محاسبه بسیاری از تصاویر مختلف از داخل که حجم. به سادگی آره. این چیزی است که ما در حال مبارزه با بیش از.


واسیلی Zubarev است برلین-بر اساس Python توسعه دهنده و سرگرمی عکاس و وبلاگ نویس است. برای دیدن بیشتر از کار خود را به بازدید از وب سایت خود را و یا او را دنبال کنید Instagram و توییتر.

tinyurlis.gdv.gdv.htu.nuclck.ruulvis.netshrtco.detny.im