هنگامی که مهندسان یک ماژول دوربین را ارزیابی می کنند، مصرف برق اغلب به عنوان یک مشخصات ساده درج شده در برگه داده تلقی می شود. در واقع، مصرف انرژی ماژول دوربین نتیجه کارکردن چندین زیرسیستم از جمله سنسور تصویر، ISP، بافرهای حافظه، رابطهای سرعت بالا، ساعتها، تنظیمکنندههای ولتاژ و پردازنده میزبان است.
درک منابع اساسی مصرف انرژی برای سیستمهای بینایی جاسازی شده، دوربینهای صنعتی، دستگاههای لبه هوش مصنوعی، محصولات باطری{0}}و برنامههای بینایی ماشین بسیار مهم است. درک ضعیف از رفتار برق می تواند منجر به گرم شدن بیش از حد، کیفیت تصویر ناپایدار، کاهش عمر باتری و خرابی غیرمنتظره سیستم شود.
مهمتر از آن، بسیاری از مهندسان به اشتباه تصور می کنند که مصرف انرژی به طور مستقیم با وضوح سنسور مقیاس می شود. در عمل، عامل غالب غالباً ظرفیت کل تصویر{1}}مقدار دادههای تصویری است که باید در هر ثانیه ضبط، پردازش، انتقال و تجزیه و تحلیل شوند.
مصرف برق با تراکم پیکسل آغاز می شود
در سطح سنسور، مصرف انرژی به جای رزولوشن به تنهایی، ارتباط نزدیکی با توان پیکسل دارد.
به عنوان مثال:
- 2MP @ 30FPS=تقریباً 60 میلیون پیکسل در ثانیه
- 5MP @ 30FPS=تقریباً 150 میلیون پیکسل در ثانیه
- 8MP @ 60FPS=تقریباً 480 میلیون پیکسل در ثانیه
هر پیکسل باید در معرض دید قرار گیرد، از شکل آنالوگ به دیجیتال تبدیل شود، از طریق مدارهای بازخوانی حسگر منتقل شود، توسط ISP پردازش شود، از طریق رابط منتقل شود، و در نهایت توسط پردازنده میزبان مدیریت شود.
با افزایش توان پیکسلی، تقریباً هر بلوک در خط لوله تصویر، انرژی بیشتری مصرف می کند. به همین دلیل است که یک دوربین 8 مگاپیکسلی که با نرخ فریم بالا کار می کند ممکن است چندین برابر بیشتر از یک دوربین 2 مگاپیکسلی انرژی مصرف کند، حتی زمانی که هر دو از فناوری های نیمه هادی مشابه استفاده می کنند.
سنسور تصویر فراتر از پیکسل است
سنسور تصویر اغلب بهعنوان مصرفکننده برق اولیه در نظر گرفته میشود، اما درک اینکه انرژی حسگر در کجا مصرف میشود، مستلزم نگاه عمیقتر به معماری داخلی آن است.
سنسورهای تصویر CMOS مدرن شامل:
- آرایه های پیکسلی
- درایورهای سطر و ستون
- تقویت کننده های آنالوگ
- مدارهای نمونه برداری دوگانه مرتبط
- مبدلهای آنالوگ-به-دیجیتال (ADC)
- ژنراتورهای زمان بندی
- سریالسازهای-خروجی با سرعت بالا
در میان این بلوکها، ADCها و مدارهای خروجی با سرعت بالا-اغلب بخش قابل توجهی از مصرف انرژی حسگر را تشکیل میدهند. همانطور که نرخ فریم افزایش می یابد، این مدارها باید در فرکانس های بالاتر کار کنند، که باعث می شود مصرف توان دینامیکی به طور قابل توجهی افزایش یابد.
تصویربرداری کم نور همچنین میتواند انرژی مورد نیاز حسگر را افزایش دهد. زمانهای نوردهی طولانیتر، بهره آنالوگ بالاتر و حالتهای پیشرفته HDR اغلب به عملیات حسگر اضافی نیاز دارند که انرژی بیشتری نسبت به حالتهای تصویربرداری استاندارد مصرف میکنند.
چرا پردازش ISP می تواند به بزرگترین مصرف کننده برق تبدیل شود؟
در بسیاری از سیستمهای دوربین مدرن، پردازشگر سیگنال تصویر (ISP) به اندازه خود حسگر-یا حتی بیشتر انرژی مصرف میکند.
دادههای خام حسگر مستقیماً قابل استفاده نیستند. قبل از اینکه یک تصویر به لایه برنامه برسد، معمولاً از ده ها مرحله پردازش می گذرد:
- Demosaicing
- نوردهی خودکار (AE)
- تراز سفیدی خودکار (AWB)
- تصحیح سایه لنز (LSC)
- تصحیح پیکسل نقص (DPC)
- کاهش نویز
- تیز کردن
- تصحیح رنگ
- پردازش HDR/WDR
- تنظیم گاما
- نقشه برداری تن
بسیاری از این الگوریتم ها روی هر پیکسل از هر فریم کار می کنند. با افزایش وضوح و نرخ فریم، پیچیدگی محاسباتی به سرعت رشد می کند.
حالتهای HDR و WDR بهویژه سختتر هستند زیرا نوردهیهای متعدد باید گرفته شده و در یک تصویر ادغام شوند. در برخی از برنامهها، فعال کردن HDR میتواند بار کاری ISP را بیش از 50 درصد افزایش دهد و در نتیجه مصرف انرژی کلی سیستم افزایش قابل توجهی داشته باشد.
نرخ فریم اغلب مهمتر از رزولوشن است
بسیاری از مهندسان به شدت بر روی مگاپیکسل تمرکز می کنند در حالی که نرخ فریم را نادیده می گیرند.
از منظر قدرت، نرخ فریم میتواند تأثیری حتی بیشتر از وضوح داشته باشد زیرا مستقیماً تعیین میکند که کل خط لوله تصویربرداری چقدر باید کار کند.
یک دوربین 2 مگاپیکسلی را در نظر بگیرید:
- 2MP @ 30FPS
- 2 مگاپیکسل با سرعت 60 فریم بر ثانیه
- 2MP @ 120FPS
دوبرابر کردن نرخ فریم به طور موثری فعالیت بازخوانی حسگر، حجم کاری پردازش ISP، فرکانس دسترسی به حافظه و الزامات انتقال رابط را دو برابر میکند.
این توضیح میدهد که چرا دوربینهای صنعتی پرسرعت اغلب نیاز به خنککننده فعال دارند، حتی زمانی که وضوح آنها نسبتاً متوسط است.
هزینه پنهان حافظه و جابجایی داده ها
یکی از منابع مصرف انرژی که اغلب نادیده گرفته می شود، دسترسی به حافظه است.
بسیاری از عملیات پردازش تصویر نیاز به بافرهای فریم موقت ذخیره شده در حافظه DDR دارند. هر عملیات خواندن و نوشتن انرژی مصرف می کند.
برای سیستمهای بینایی هوش مصنوعی، دادههای تصویر ممکن است چندین بار منتقل شوند:
- سنسور به ISP
- حافظه ISP به DDR
- شتاب دهنده DDR به AI
- شتاب دهنده هوش مصنوعی به CPU
- CPU برای نمایش یا ذخیره سازی
در بسیاری از دستگاههای هوش مصنوعی لبه، دادههای تصویر متحرک از طریق حافظه انرژی بیشتری نسبت به خود الگوریتمهای پردازش تصویر واقعی مصرف میکنند.
مصرف برق رابط کاربری ناچیز نیست
رابطهای{0}}سرعت بالا مانند USB 3.0، MIPI CSI-2 و Gigabit Ethernet نیاز به مدارهای لایه فیزیکی اختصاصی دارند که در فرکانسهای بسیار بالا کار میکنند.
با افزایش توان تصویر، نیاز به پهنای باند رابط نیز بر این اساس افزایش می یابد.
به عنوان مثال، انتقال ویدئوی فشرده نشده 4K نسبت به انتقال ویدئوی فشرده 1080P به توان رابط به طور قابل توجهی بیشتری نیاز دارد. در برخی از سیستم ها، توان رابط می تواند به درصد معنی داری از کل مصرف ماژول دوربین تبدیل شود.
مصرف برق به طور مستقیم بر کیفیت تصویر تأثیر می گذارد
مصرف برق صرفاً یک نگرانی الکتریکی نیست. به طور مستقیم بر رفتار حرارتی تأثیر می گذارد.
با افزایش دمای سنسور:
- جریان تاریک افزایش می یابد
- نویز تصویر بیشتر قابل مشاهده می شود
- نسبت سیگنال به-صدا کاهش می یابد
- عملکرد کم-نور بدتر میشود
- قابلیت اطمینان طولانی مدت-ممکن است کاهش یابد
به همین دلیل است که طراحی حرارتی اغلب از انتخاب ماژول دوربین جدا نیست. دوربینی که فقط یک وات اضافی مصرف می کند ممکن است دمای کارکرد داخل یک محفظه فشرده را به میزان قابل توجهی افزایش دهد.
نکات انتخاب ماژول دوربین
مهندسان به جای انتخاب حسگر{0}با بالاترین وضوح موجود، باید با الزامات برنامه و محدودیتهای سیستم شروع کنند.
- تراکم پیکسل واقعی مورد نیاز در فاصله هدف را تعیین کنید
- حداقل نرخ فریم قابل قبول را تعریف کنید
- الزامات HDR/WDR را به دقت ارزیابی کنید
- اهداف زمان کارکرد باتری را در نظر بگیرید
- محدودیت های حرارتی محفظه را ارزیابی کنید
- قابلیت های پردازنده و پهنای باند حافظه را بررسی کنید
- قبل از انتخاب سنسور، توان کل تصویر را تخمین بزنید
در بسیاری از برنامههای بینایی تعبیهشده، یک ماژول دوربین 2 یا 5 مگاپیکسلی که به درستی بهینهسازی شده است، میتواند عملکرد تصویربرداری مورد نیاز را در حالی که انرژی بسیار کمتری نسبت به یک جایگزین با وضوح بالاتر مصرف میکند، به دست آورد.
