توموگرافی کامپیوتری با زاویه محدود با تصویر عمیق و پیشین های فیزیک

توموگرافی کامپیوتری یک تکنیک تصویربرداری با اشعه ایکس است که برای بازسازی ساختار سه بعدی اشیا به خوبی تثبیت شده است. این به طور گسترده در زمینه های مختلف، از تصویربرداری تشخیصی گرفته تا مواد و علوم زیستی استفاده شده است. یکی از چالش‌های عمده در برخی کاربردها، مانند سیستم‌های توموگرافی الکترونی یا اشعه ایکس، این است که به دلیل تنظیم نگهدارنده نمونه یا شکل نمونه، نمی‌توان برجستگی‌ها را در تمام زوایا جمع کرد. این منجر به یک مشکل بد به نام مشکل بازسازی زاویه محدود می شود. بازسازی تصویر معمولی در این تنظیمات منجر به اعوجاج و مصنوعات می‌شود و در نتیجه مانع از ارزیابی کمی نتایج می‌شود. برای پرداختن به این چالش، از یک مدل تولیدی برای محدود کردن موثر راه حل یک رویکرد مبتنی بر فیزیک استفاده می‌کنیم. رویکرد ما خودآموزی است که می تواند به طور مکرر نگاشت غیرخطی را از پیش بینی های جزئی به شی اسکن شده بیاموزد. از آنجایی که رویکرد ما احتمال داده‌ها و شرایط قبلی تصویر را در یک شبکه عمیق واحد ترکیب می‌کند، از نظر محاسباتی قابل پردازش است و عملکرد را از طریق آموزش انتها به انتها بهبود می‌بخشد. ما همچنین رویکرد خود را با تنظیم کل تغییرات تکمیل می‌کنیم تا نویز فرکانس بالا را در بازسازی‌ها مدیریت کنیم و یک حل‌کننده بر اساس روش جهت متناوب ضریب‌ها را پیاده‌سازی کنیم. ما نتایج عددی را برای درجات مختلف محدوده زاویه از دست رفته و سطوح نویز ارائه می‌کنیم که اثربخشی رویکرد پیشنهادی را نشان می‌دهد.

مقدمه

توموگرافی کامپیوتری (CT) کاربردهای گسترده ای در زمینه های مختلف از تصویربرداری تشخیصی گرفته تا مطالعات مواد و سیستم های بیولوژیکی پیدا کرده است. در CT، یک شی که توسط اشعه ایکس روشن می‌شود، در حین جمع‌آوری فریم‌های تصویری که از طریق یک آشکارساز آرایه پیکسلی جمع‌آوری می‌شوند، می‌چرخند. در برخی از تنظیمات CT، نمونه برداری یکنواخت از برجستگی ها در اطراف جسم به دلیل تنظیمات آزمایشی یا شکل گسترده شی امکان پذیر نیست. به عنوان مثال، در توموگرافی الکترونی، زاویه ها معمولاً بین 70- تا +70 \(^\circ\) محدود می شوند. این چالش همچنین برای تصویربرداری از اجسام مسطح مانند مدارهای مجتمع ظاهر می شود زیرا نور نمی تواند به دلیل افزایش ضخامت یا جذب در زوایای خاص به جسم نفوذ کند. گاهی اوقات، از این مشکل به عنوان مشکل «گوه گمشده» نیز یاد می‌شود، زیرا پیش‌بینی‌ها هیچ اطلاعاتی در مورد یک ناحیه گوه‌شکل در فضای فوریه ندارند. شکل 1 را برای تصویر مشکل ببینید.

مقایسه مشکلات توموگرافی زاویه ای معمولی و محدود.

رویکردهای تکراری مبتنی بر بهینه سازی برای جبران مصنوعات تصویربرداری ناشی از پیش بینی های محدود وجود دارد. رویکردهای بازسازی جبری ، مانند تکنیک بازسازی جبری 9 یا تکنیک بازسازی تکراری همزمان 10 ، اغلب با هزینه هزینه محاسباتی اضافه می کنند. برای محدود کردن بهتر راه حل ، تکنیک های سنجش فشاری 11،12 برای ترویج کمبود در بازسازی ها استفاده شده است. تنظیم کل (تلویزیون) معمولاً برای به دست آوردن دقت بهبود محلول در حالی که سرکوب نویز با فرکانس بالا در بازسازی ها استفاده می شود. با این حال ، یک چالش انتخاب پارامتر تنظیم است که اغلب در برنامه های عملی به صورت اکتشافی انجام می شود.

رویکردهای مبتنی بر یادگیری برای بهبود بازسازی ها گزینه ای جایگزین ارائه می دهد. بیشتر مطالعات اولیه اساساً بر پردازش تصویر با شبکه های عمیق از قبل آموزش دیده متمرکز شده است ، یا به تصاویر سینوگرام در رنگ 13،14،15،16 ، یا برای تصحیح مصنوعات در تصاویر بازسازی شده 17،18. بنابراین ، آنها را می توان به عنوان یک عمل فیلتر غیرخطی قبل یا بعد از مرحله بازسازی تصویر در نظر گرفت. اگرچه نتایج موفقیت آمیز با استفاده از شبکه های عمیق از قبل آموزش دیده حاصل شده است ، اما اثربخشی این رویکردها با داده های آموزش مورد استفاده اساساً محدود است. در حالی که این روش ها نتایج برتر را در زمینه هایی مانند تصویربرداری پزشکی ارائه می دهند ، جایی که داده های آموزش ممکن است به راحتی در دسترس باشند ، به دلیل محدود بودن مجموعه داده ها برای آموزش ، اغلب در زمینه های میکروسکوپ کاربرد ندارند.

یک رویکرد بهتر برای برنامه ها ، که برای آن داده های آموزشی در دسترس یا کمیاب نیست ، استفاده از شبکه های آموزش دیده ، به نام Priors Deep Image (DIPS) 19 است. با DIPS ، معماری شبکه خود راه حل را محدود می کند. به طور مشابه با رویکرد سنجش فشاری ، DIP ها می توانند وظایف پردازش تصویر مانند بازیابی یا بازیابی تصویر را از مشاهدات ناقص انجام دهند. آنها این کار را با استفاده از قابلیت نمایش تصویر برتر بعدی از شبکه های تولیدی عمیق انجام می دهند. اخیراً ، پس از بازسازی توموگرافی 20 ، برای مشکل CT به عنوان یک روش پس از پردازش پیشنهاد شده است. در یک مطالعه مرتبط ، از DIP برای مشکل زاویه محدود استفاده می شود اما برای توموگرافی پراش 21 ، جایی که تصاویر اندازه گیری شده در فضای فوریه قرار دارند. به موازات ، یانگ و همکاران. 22 با ترکیب DIP و بازسازی توموگرافی از طریق یک شبکه واحد ، یک رویکرد بهینه سازی خودآموزی مشابه را معرفی کرد. در حالی که آنها در مقایسه با رویکردهای غیر یادگیری پیشرفت های خوبی نشان دادند ، آنها همچنین ناپایداری روش را هنگام اندازه گیری پر سر و صدا گزارش کردند.

در این مقاله ، ما از مشکل زاویه محدود برای توموگرافی استفاده می کنیم و با استفاده از منظم برای بهبود استحکام به سر و صدا ، DIP را گسترش می دهیم. برای حل مؤثر مشکل ، ما همچنین یک روش نوع Lagrangian را نیز معرفی می کنیم ، که استفاده از روش جهت متناوب ضرب (ADMM) را امکان پذیر می کند. از آنجا که با استفاده از ADMM ، ما می توانیم مشکل تصویربرداری را به زیرنویس های کوچکتر و کاملاً تعریف شده که می توانند به طور مستقل حل شوند ، تجزیه کنیم ، می توانیم به طور موثری آن مشکلات فرعی را بر روی منابع محاسباتی موجود نقشه برداری کنیم. برای بهبود بیشتر روش ، کار یانگ و همکاران را گسترش می دهیم. 22 با درج یک شبکه کاملاً متصل قبل از شبکه DIP ، زیرا بازسازی به شدت به اپراتور طرح ریزی معکوس وابسته است و یک شبکه کاملاً متصل می تواند به عنوان یک آموزش داده شود. از طریق آزمایش های عددی ، ما رفتار همگرایی روش را تجزیه و تحلیل می کنیم و نشان می دهیم که رویکرد ما می تواند از روشهای استاندارد مانند FBP و تلویزیون ، بر اساس شاخص شباهت ساختاری (SSIM) و نسبت سیگنال به نویز (PSNR) بهتر عمل کند.

مواد و روش ها

در این بخش ، ما رویکرد خود را برای مدل سازی مشکل معکوس توموگرافی زاویه محدود و رویکرد راه حل خود ارائه می دهیم. رویکرد ما از یک مدل تولیدی برای محدود کردن راه حل استفاده می کند ، رویکردی شبیه به Priors Deep Image (DIP) 19. ما همچنین این روش را با روشهای منظم برای بهبود استحکام بازسازی در تنظیمات پر سر و صدا ترکیب می کنیم.

مسئله معکوس

فرآیند اکتساب توموگرافی زاویه محدود با یک مدل تصویربرداری خطی به خوبی تقریب می‌یابد:

کجا \(R:<\mathbb >^\ فلش راست<\mathbb >^\) عملگر طرح ریزی اشعه ایکس است که یک نگاشت از یک شی سه بعدی را که به شکل برداری نمایش داده شده است تعریف می کند، \(x\in<\mathbb >^\)، به مجموعه ای از داده های طرح ریزی، \(d\in<\mathbb >^\) ، با نویز اندازه گیری، \(n\in<\mathbb >^\) . یک رویکرد رایج برای حل مشکل توموگرافی با زاویه محدود معکوس، انجام بهینه سازی است:

تلویزیون کل فاصله تغییرات است و به صورت \(TV\left(x

ight) = \Vert <\mathbb >^\ فلش راست<\mathbb >برای استفاده از مدل‌های مولد عمیق برای محدود کردن مؤثر راه‌حل، x را با \(G_w:

^\ فلش راست

^\) ، جایی که w وزن شبکه عصبی عمیق را نشان می دهد. این منجر به مشکل بهینه سازی فرم می شود:

از آنجایی که شبکه یک نگاشت از دامنه داده به دامنه شی را تعریف می کند، می توان آن را به عنوان تقریبی برای عملیات طرح ریزی اشعه ایکس معکوس دید. بنابراین، هر دو ویژگی وارونگی مبتنی بر فیزیک و تصویر عمیق را قبل از یک شبکه عصبی عمیق ثبت می‌کند.

تصویری از اپراتورها و معماری شبکه عصبی عمیق 23 .

حل مسئله معکوس

$$\begin L(w, y, z) = \Vert R G_w (d) - d \Vert _1 + \alpha \Vert y \Vert _1 + z^T\left( \nabla G_w (d) - y\right) + \tau /2\Vert \nabla G_w (d) - y\Vert _2^2, \end$$

where \(\tau >برای حل معادله(3)، ابتدا مسئله را با استفاده از یک متغیر کمکی به یک مسئله بهینه سازی محدود تبدیل می کنیم و از روش جهت متناوب ضرب کننده ها (ADMM) برای حل استفاده می کنیم 24. فرمول مسئله محدود به صورت زیر ارائه می شود:<\mathbb >و لاگرانژی تقویت شده مربوطه به صورت زیر نوشته می شود

0\) یک پارامتر کمکی است و \(z\in

^\) به عنوان متغیر دوگانه معرفی می شود. ما از ADMM برای به حداقل رساندن معادله استفاده می کنیم.(5) با حل مکرر w و y و به‌روزرسانی متغیر دوگانه z، یعنی

در هر تکرار ADMM، L (w، y، z) روی هر متغیر با تثبیت سایر متغیرها تا زمان همگرایی به حداقل می رسد.

اپراتورها برای این مشکل و معماری معماری شبکه در شکل 2 نشان داده شده است زیرا شبکه تولید عمیق در زیرنویس Sub-Problem Eq.(6) برای نشان دادن عملکرد پیش بینی اشعه ایکس معکوس و تصویر عمیق قبل از آن استفاده می شود ، ما از دو معماری شبکه عصبی آبشار استفاده می کنیم: یک شبکه کاملاً متصل و به دنبال آن یک شبکه حلقوی. در این پیکربندی ، پیش بینی های ورودی توسط لایه های کاملاً متصل به دامنه بازسازی نقشه برداری می شوند و سپس به یک آرایه سه بعدی تبدیل می شوند. سپس لایه های حلقوی ویژگی های تانسور 3D را تبدیل می کنند تا به حداقل برسد.(6)

راه حل پیشنهادی به منظور بهبود بازسازی از Preors Deep Image استفاده می کند. شبکه ها به طور ضمنی وزن را برای استفاده از قسمت های مفقود شده از پیش بینی ها با کمک مدل رو به جلو بهینه می کنند. اگرچه اطلاعات از دست رفته وجود دارد ، از یادگیری توزیع آماری سطح پایین برای برآورد ساختار شیء سه بعدی استفاده می شود و شبکه با پر کردن اطلاعات مفقود شده در اندازه گیری ها ، شیء سه بعدی را بازسازی می کند. توانایی شبکه برای تأمین رنگ آمیزی قسمتهای گمشده پیش بینی ها به همگرایی فرآیند خودآموزی برای بهینه سازی وزن شبکه بستگی دارد.

جزئیات اجرای

معماری آبشار شبکه تولیدی در شکل 2 برای ورودی 120 پیش بینی به دست آمده از یک شی با پشتیبانی از پیکسل \ (64 \ 64 \ بار 64 \) نشان داده شده است. قسمت اول شبکه از چهار لایه کاملاً متصل تشکیل شده است که در آن لایه های پنهان هر کدام 64 گره دارند. هر لایه کاملاً متصل توسط یک عملکرد فعال سازی مماس هیپربولیک ، یک عمل عادی سازی لایه و یک لایه ترک تحصیل با نسبت ترک تحصیل 0. 25 دنبال می شود. سپس ، خروجی شبکه کاملاً متصل به \ (64 \ بار 64 \ بار 64 \) تغییر شکل می یابد. شبکه حلقوی زیر از دو لایه حلقوی سه بعدی ، دو لایه حلقوی سه بعدی و یک لایه سه بعدی حلقوی با اندازه هسته 7 ، 3 ، 7 ، 3 و 3 تشکیل شده است. برای حفظ اندازه از بالشتک استفاده می شود و اندازه قدم در 1 نگه داشته می شود ، در حالی که از 8 فیلتر برای هر لایه حلقوی استفاده می شود. به طور مشابه ، هر لایه حلقوی با یک فعال سازی واحد خطی (ELU) و یک عمل عادی سازی لایه دنبال می شود و خروجی آخرین لایه حلقوی بازسازی شیء سه بعدی است.

الگوریتم 1 شبه کد الگوریتم ADMM ما را ارائه می دهد. برای به حداقل رساندن زیرنویس Eq.(6) ، ما از Adam Optimizer 25 با نرخ یادگیری \ (2 \ برابر 10^\) استفاده می کنیم و دو اصطلاح حرکت برابر با 0. 5 و 0. 999 است. ما با مقادیر مختلف برای پارامتر تنظیم کننده کل تنوع \ (\ alpha \) به صورت تجربی آزمایش کردیم ، و دریافتیم که مقادیر بین \ (1e-3 \) و \ (1e-5 \) برای اشیاء مختلف و سطوح مختلف نتایج معقول می دهدصافی قطعه مطلوب. این تغییر به جسم بستگی دارد و بازسازی برای تغییر مقدار \ (\ alpha \) خیلی حساس نیست. ما در اولین تکرار W ، Y و Z را با صفرها آغاز می کنیم و هر یک از بهینه سازی های داخلی برای W [Eq.(6)] و y [معادله.(7)] با مقادیر مربوطه از مقادیر همگرا آنها در تکرارهای بیرونی قبلی آغاز می شود. TAU با مقدار 0. 5 آغاز می شود و بر اساس EQS به روز می شود.(9) ، (10) و (11) در هر تکرار بیرونی برای بهینه سازی ارزش برای بهترین رفتار همگرایی. تعداد تکرار برای تخمین وزن شبکه برای هر تکرار ADMM روی 1000 تعیین شده است. به طور مشابه با سایر پیاده سازی های DIP ، ما از توقف زودهنگام به عنوان یک تنظیم منظم برای جلوگیری از ایجاد بیش از حد سر و صدا استفاده می کنیم.

ما از آستانه نرم 26 برای حل صریح Eq Subproblem استفاده می کنیم.(7)برای سادگی ، ما عملیات عاقلانه را برای گرفتن مقدار مطلق ، مقایسه با صفر و تقسیم فرض می کنیم. به روزرسانی حاصل برای y:

ما دامنه متغیرهای ورودی را برای جلوگیری از سرریز شیب ها عادی می کنیم. عادی سازی در دو مرحله انجام می شود: اول ، عادی سازی نمره Z برای حفظ میانگین و واریانس واحد انجام می شود. و دوم ، عادی سازی حداقل حداکثر برای به دست آوردن مقادیر بین 0 تا 1 انجام می شود. ما عادی سازی را هم در ورودی و هم برای پیش بینی های محاسبه شده اعمال می کنیم. به عبارت دیگر ، ما اپراتور تبدیل اشعه ایکس را عادی می کنیم ، R. علاوه بر این ، ما یک لایه بندی لایه 27 را به هر لایه شبکه برای بهبود همگرایی و صحت شبکه اعمال می کنیم.

شبیه سازی شده اشیاء سه بعدی 23،28 و برش های مرکز آنها.

نتایج

تنظیم شبیه سازی

برای ارزیابی اثربخشی روش پیشنهادی در برابر روش‌های پیشرفته، آزمایش‌های عددی بر روی دو فانتوم شبیه‌سازی شده با پشتیبانی از پیکسل‌های \(64 \ برابر 64 \ برابر 64\) انجام می‌شود. یک فانتوم یک شی سه بعدی شبیه سازی شده متشکل از دو ماده مارپیچی شکل است که توسط XDesign 29 ایجاد شده است که از یک ماده قوی جذب کننده طلا (Au) و یک ماده ضعیف جذب کننده اکسید روی (ZnO) ساخته شده است. چگالی این مواد به ترتیب 19. 32 و 5. 606 g/cm \(^3\) می باشد. یک پرتو انرژی 5 کو برای شبیه سازی مقادیر ضریب شکست استفاده می شود. XDesign Phantom و برش مرکزی آن در شکل 3a نشان داده شده است. فانتوم دوم به عنوان فانتوم 3D Shepp-Logan از TomoPy 30 انتخاب شده است. شکل 3b را برای تصویر نیمه پایینی جسم سه بعدی و برش مرکزی آن ببینید. اجسام به صورت پراکنده در فضای سه بعدی انتخاب می شوند تا حذف مصنوع در بازسازی های توموگرافی زاویه محدود را با وضوح بیشتری مشاهده کنند.

برای شبیه‌سازی در سراسر مقاله، پیش‌بینی‌ها از طریق یک تنظیم توموگرافی با زاویه محدود به دست می‌آیند که در آن اجسام حول محورهای مشترک خود می‌چرخند. پیش بینی ها با جداسازی \(1^\) در محدوده های محدود \(0^\) - \(120^\) و \(0^\) - \(150^\) شبیه سازی می شوند. به ترتیب مربوط به \(60^\) و \(30^\) اطلاعات گوه گم شده است. علاوه بر این، نویز گاوسی با واریانس فزاینده برای آزمایش قابلیت‌های حذف نویز روش پیشنهادی اضافه می‌شود که منجر به پیش‌بینی‌هایی می‌شود که دارای نویز با واریانس‌های 0. 5، 2. 5، 5 و 10 هستند. نوع میکروسکوپ، که در آن نفوذ فوتون بر روی نمونه نسبتا بالا است. با این حال، برای میکروسکوپ‌هایی که از سیگنال‌های ثانویه مانند گسیل فلورسانس یا تشعشع گاما استفاده می‌کنند، یک مدل تشکیل داده پواسون ممکن است انتخاب بهتری باشد.

نمودارهای منحنی همگرایی

تجزیه و تحلیل رفتار همگرایی

در این بخش، رفتار همگرایی الگوریتم پیشنهادی را با ارزیابی نحوه رفتار تلفات مختلف به عنوان تابعی از هر تکرار مورد بحث قرار می‌دهیم. در شکل 4a، عبارت \(\Vert R G_ (d) - d \Vert _1\) را به عنوان تابعی از تکرار k نشان می‌دهیم. این معیاری است که نشان می‌دهد پیش‌بینی‌های ایجاد شده بر اساس شی سه‌بعدی بازسازی‌شده توسط شبکه عصبی عمیق چقدر با داده‌های موجود، برای تعداد پیش‌بینی‌ها و مقادیر مختلف نویز مطابقت دارند.

میزان سر و صدا در پیش بینی ها عامل اصلی تعیین همگرایی تناسب پیش بینی است. اگرچه همه تنظیمات قادر به به حداقل رساندن این ضرر با افزایش تعداد تکرارها هستند ، اما خطا در موارد بدون سر و صدا به میزان قابل توجهی پایین تر کاهش می یابد زیرا برای پیش بینی های تولید شده امکان پذیر نیست که سر و صدای گاوسی متناسب باشد. این رفتار نه تنها مورد انتظار است بلکه مورد نظر نیز مورد نظر است زیرا بازسازی های هدفمند برای عاری از سر و صدا لازم است. به طور مشابه ، به حداقل رساندن خطا از طرح مناسب برای تنظیمات پر سر و صدا با از دست دادن تنظیم تنظیم می شود. بر خلاف تأثیر سر و صدا ، تأثیر اطلاعات گوه گمشده بر همگرایی حداقل است. با افزایش تعداد زاویه های پیش بینی ، پوسیدگی اصطلاح خطا کمی بهبود یافته است.

دومین عملکرد ضرر برای به روزرسانی شبکه عمیق ، ضرر ناشی از اصطلاح تنظیم است. متغیر ADMM کمکی ، Y ، که باید به شیب بازسازی بدون سر و صدا همگرا شود ، با استفاده از تنظیم تنظیم کل (تلویزیون) به روز می شود تا حداقل مقادیر به جز در لبه ها داشته باشد. سپس ، وزن شبکه با به حداقل رساندن به روز می شود:

همانطور که در شکل 4B نشان داده شده است ، بر خلاف همگرایی از دست دادن متناسب با طرح ، تغییر در میزان خطا از دست دادن منظم با واریانس نویز در پیش بینی ها ارتباط مثبت دارد. از آنجا که هدف این است که بازسازی دارای صافی قطعه باشد ، بازسازی ها با واریانس بالا با تنظیم بیشتر انجام می شوند و برای پیش بینی های پر سر و صدا خطا به حداقل می رسد. تجارت بین اثرات تنظیم مجدد و تناسب پیش بینی در مجموعه های طرح ریزی پر سر و صدا آشکار است ، جایی که افزایش صافی قطعه به معنای بدتر از نظر بدتر از نظر سینوگرام است. با توجه به این تجارت ، منحنی های پوسیدگی با افزایش تعداد تکرارها در حالیکه پیش بینی های تولید شده به پیش بینی های پر سر و صدا همگرا می شوند ، افزایش خطا برای اصطلاح تنظیم را نشان می دهد. به طور مشابه با منحنی پوسیدگی متناسب با پیش بینی ، خطای منظم نیز برای افزایش تعداد پیش بینی ها با کاهش اثرات مصنوعات گوه از دست رفته ، مقادیر کمتری را به دست می آورد.

همگرایی ADMM را می توان با مشاهده منحنی های پوسیدگی باقیمانده های اولیه و دوگانه چارچوب ADMM تجزیه و تحلیل کرد. باقیمانده های اولیه و دوگانه ، به ترتیب \ (r^\) و \ (s^\) می توانند از Eq بدست آورند.(5) به شرح زیر ، جایی که k شماره تکرار بیرونی است:

باقیمانده های اولیه و دوگانه مشتق شده رفتار مراحل به روزرسانی را که در تکرارهای ADMM انجام شده است نشان می دهد. در حالی که باقیمانده اولیه اندازه گیری است که چگونه بازسازی ها به سمت متغیر کمکی Z همگرا می شوند ، باقیمانده دوگانه نشان می دهد که بازسازی چقدر به سمت محلول به روز می شود. در حالی که انجیر. 4C و D نشان می دهد که باقیمانده ها با افزایش تعداد تکرارها برای هر مجموعه به حداقل می رسند ، میزان کاهش بیشتر برای بازسازی های پر سر و صدا به دلیل افزایش واگرایی از بازسازی های اولیه و تعداد بیشتری از درجه آزادی آنها است.

بازسازی و مقایسه

در این بخش ، بازسازی ها را برای دامنه های مختلف زاویه توموگرافی نشان می دهیم ، روشهای موجود در ادبیات را که باید با رویکرد پیشنهادی مقایسه شود ، لیست کنید ، بازسازی را برای شبیه سازی برای همه روشها ارائه دهید و در مورد نتایج به صورت کیفی و کمی بحث کنید.

در شکل 5 ، برش های مرکزی بازسازی های سه بعدی دو شی شبیه سازی شده با زاویه اسکن توموگرافی مختلف در مورد بدون سر و صدا نشان داده شده است. همانطور که مشاهده می شود ، بازسازی برای \ (0^\ circ \) - \ (150^\ circ \) مورد بازسازی تقریباً یکسان با مورد زاویه اسکن کامل است ، و تخریب در بازسازی برای \ (0^\ \circ \) - \ (120^\ circ \) مورد با برخی از مصنوعات کوچک قابل مشاهده است. با افزایش اندازه گوه گمشده ، کیفیت بازسازی همانطور که انتظار می رود کاهش می یابد. با این حال ، بازسازی برای فانتوم SHEP P-Logan ، که یک شیء جمع و جور تر است ، حتی برای پرونده \ (0^\ circ \) - \ (40^\ circ \) کاملاً منطقی است ، جایی که بازسازی برای \(0^\ circ \) - \ (80^\ circ \) حتی آثار باستانی قابل مشاهده را نشان نمی دهد. در مقابل ، محدودیت رویکرد برای یک شیء پیچیده تر مانند فانتوم XDesign می تواند برای بازسازی دامنه زاویه توموگرافی کوچک مشاهده شود. در حالی که بازسازی برای پرونده \ (0^\ circ \) - \ (80^\ circ \) قابل قبول است ، ساختار شیء در \ (0^\ circ \) از بین می رود - \ (40^\ circ\) مورد. علاوه بر بازسازی در شکل 5 ، بازسازی یک شیء 2D به شکل دال با اجزاء مربع در شکل مکمل شکل S2 ارائه شده است تا اثربخشی الگوریتم را برای انواع مختلف اشیاء نشان دهد. مشاهده شده است که روش پیشنهادی همچنین بازسازی های موفق را با یک شیء دال شکل تولید می کند.

بازسازی برای طرح ریزی در زاویه های مختلف از پیش بینی های بدون سر و صدا.

مطالعات تطبیقی

برای ارزیابی پیشرفت های ارائه شده توسط روش پیشنهادی بر روی موارد موجود در ادبیات ، بازسازی های الگوریتم پیشنهادی با بازسازی های الگوریتم های پیشرفته مقایسه می شوند. الگوریتم پایه مورد استفاده برای مقایسه ، GRIDREC 31،32 نامیده می شود ، یک روش طرح ریزی ساده فیلتر از 33 که با استفاده از درون یابی در مختصات دکارتی به جای مختصات قطبی اجرا می شود. GRIDREC به عنوان روش بازسازی اولیه نشان داده شده است که هیچ اقدامی برای جبران آثار باستانی گوه یا سر و صدا انجام نمی دهد. یک الگوریتم دقیق تر و پیشرفته تر توسط یانگ و همکاران تهیه شده است. 22 ، استفاده از یک رویکرد خودآموزشی با یک شبکه مخالف مولد (GAN) به نام GANREC و هدف از بازسازی دقیق برش با استفاده از یک شبکه مولد با کمک از دست دادن شبکه تبعیض آمیز. اگرچه این روش برای بازسازی در موارد بدون سر و صدا موفقیت آمیز است و برخی از مصنوعات گوه گمشده را از بین می برد ، اما برای ورودی های طرح ریزی پر سر و صدا قوی نیست.

برای درک اثربخشی حذف نویز با تنظیم مجدد در رویکرد پیشنهادی ، از الگوریتم بازسازی کل (TV) 34 استفاده می شود ، که یک تنظیم مجدد کلی را که در الگوریتم پیش بینی برگشت داده شده است ، مستقر می کند تا سر و صدا را کاهش دهد و مصنوعات گوه را از دست بدهد. برای تلویزیون ، از یک اجرای کارآمد به نام Tigre 35 برای بازسازی استفاده می شود. الگوریتم Deep Image قبلی (DIP) نیز با طراحی یک شبکه DIP همانطور که در شکل مکمل S1 نشان داده شده است ، آزمایش می شود. شبکه Convolutional که در DIP اجرا شده است ، عمیق تر از شبکه آبشار در مدل پیشنهادی است و دارای همان تعداد پارامترهای قابل آموزش است. این شبکه در همان چارچوب ADMM با افزودن تنظیمات کلی تنوع آموزش داده می شود. برای GridRec ، Ganrec ، TV ، Dip و روش پیشنهادی ، از همان پروژکتور رو به جلو 36 استفاده می شود و GANREC برای مقایسه عادلانه در Pytorch اجرا می شود.

مقایسه بازسازی برای فانتوم XDesign و فانتوم SHEPP-Logan برای مورد بدون سر و صدا.

مقایسه

در شکل 6 ، برش های مرکزی بازسازی های سه بعدی Gridrec ، Ganrec ، تلویزیون ، مقدمات تصویر عمیق با تلویزیون (DIP-TV) و روش پیشنهادی (TOMODIP-TV) از پیش بینی های بدون سر و صدا نشان داده شده است. برای هر دو دامنه زاویه و فانتوم ، GridRec به دلیل پیش بینی های از دست رفته نتواند نتایج قابل مقایسه ای ایجاد کند. بازسازی از GANREC در مقایسه با GridRec به طور قابل توجهی بهبود یافته است. گانک قادر به از بین بردن مصنوعات کشیدگی در لبه های بخش های شی است ، اگرچه برخی از آثار باستانی را در مناطقی نشان می دهد که باید ثابت و قطعه باشند. جزئیات پیشرفت در لبه ها در تصاویر بزرگنمایی قابل مشاهده است. با این حال ، آثار باستانی نشان داده شده است که برای تعداد کم پیش بینی ها بالاتر از حد مورد نظر است. این اثر برای فانتوم XDesign قابل مشاهده است. روش تلویزیون با کمک منظم ، صافی قطعه را بهبود می بخشد ، اما در جبران آثار باستانی گمشده ناکام است. همانطور که در تصاویر بزرگنمایی نشان داده شده است ، اگرچه آثار باستانی کاهش می یابد ، اما مرزهای اشیاء آثار باستانی قابل توجه را تجربه می کنند. علاوه بر این ، حتی اگر بازسازی برای داده های گوه کمتر از دست رفته (0 \ (^\ circ \)-150 \ (^\ circ \)) نزدیک به حقیقت زمین باشد ، می توان اثرات بیش از حد تنظیم شده را در لبه ها مشاهده کرد. با این حال ، DIP-TV آثار باستانی را به شدت کاهش می دهد و اشیاء را با دقت بیشتری بازسازی می کند. روش پیشنهادی با کاهش آثار باستانی در لبه ها به سطوح بسیار پایین ، کیفیت بازسازی را حتی بیشتر بهبود می بخشد. این اثر را می توان با جزئیات در تصاویر بزرگنمایی مشاهده کرد.

در جدول 1 ، اندازه گیری شاخص شباهت ساختاری (SSIM) و نسبت اوج سیگنال به نویز (PSNR) برای بازسازی های بدون سر و صدا نشان داده شده است. اقدامات کمی از بازسازی ها بیشتر با مشاهدات در تجزیه و تحلیل کیفی مطابقت دارند و روش پیشنهادی بهترین عملکرد را در کل انجام می دهد. از طرف دیگر ، به ویژه در تنظیمات ، روش DIP-TV در صورت وجود داده های کافی و واریانس کمتری در مقادیر شی ، اقدامات کمی بالاتر ایجاد می کند. در حالی که GridRec بدترین اقدامات را دارد ، GANREC و تلویزیون مزایای خود را در مجموعه های مختلف نشان می دهند.

جدول 1 مقایسه کمی از ویژگی های بازسازی از پیش بینی های بدون سر و صدا (بهترین نتایج SSIM و PSNR در هر تعداد پیش بینی ها به صورت جسورانه نشان داده شده است).

مقایسه بازسازی برای فانتوم XDesign و فانتوم SHEP P-LOGAN برای سطح سر و صدای مختلف و برای پیش بینی های بین 0 \ (^\ circ \) و 150 \ (^\ circ \).

تأثیر افزایش واریانس نویز در پیش بینی ها در شکل 7 مورد بررسی قرار می گیرد که در آن برش های مرکز بازسازی های سه بعدی با استفاده از GridREC ، GANREC ، تلویزیون ، DIP-TV و TOMODIP-TV از پیش بینی های پر سر و صدا نشان داده شده است. برای شبیه سازی ، واریانس نویز گاوسی بین 0. 5 تا 10 متغیر است ، در حالی که دامنه زاویه پیش بینی یکسان است (\ (0^\ circ \) - \ (150^\ circ \)). همانطور که انتظار می رود ، Gridrec و GanRec وقتی پیش بینی های ورودی پر سر و صدا هستند عملکرد خوبی ندارند. در حقیقت ، گانک بیشتر از افزایش سر و صدا رنج می برد زیرا هیچ مکانیسمی در الگوریتم برای جلوگیری از ایجاد پیش بینی های تولید شده در سینوگرام های پر سر و صدا وجود ندارد و حتی بازسازی های پر سر و صدا ایجاد می کند. تلویزیون عملکرد قابل توجهی بهتر از دو روش قبلی دارد ، اما از کیفیت بازسازی ضعیف در لبه ها رنج می برد. علاوه بر این ، کیفیت بازسازی با افزایش سر و صدا بسیار کاهش می یابد ، جایی که تجارت بین مصنوعات گوه گمشده و منظم تر آشکارتر است. DIP-TV از اثر منظم Priors Deep Image استفاده می کند و شیء سه بعدی را به خوبی بازسازی می کند ، حتی برای تنظیمات با واریانس نویز بالا. با این حال ، در هنگام افزایش واریانس نویز فراتر از حد آن ، نمی تواند مصنوعات را برای بازیابی ساختار شی از بین ببرد. از طرف دیگر ، Tomodip-TV از شبکه کاملاً متصل برای بازسازی ساختار شی استفاده می کند و با کمک تنظیم DIP و تنظیم تلویزیون ، کیفیت را بهبود می بخشد. اگرچه بازسازی برای پیش بینی ها با واریانس نویز بالا به دور از ایده آل است ، اما ساختار شی در مقایسه با روش های قبلی بیشتر حفظ می شود.

تجزیه و تحلیل کمی از بازسازی های سه بعدی از پیش بینی های پر سر و صدا در جدول 2 مشاهده می شود. بیشتر مقادیر SSIM و PSNR با مشاهدات کیفی سازگار هستند و از روش پیشنهادی به عنوان بهترین روش بازسازی استفاده می کنند. در حالی که بازسازی ها با استفاده از GANREC کمترین مقادیر SSIM و PSNR را دارند ، افزایش به سمت روش پیشنهادی در SSIM به ویژه از افزایش PSNR بالاتر است. در بعضی موارد ، مقادیر PSNR برای روش پیشنهادی کمی پایین تر است ، در حالی که مقادیر SSIM به طور قابل توجهی بالاتر است. برای این مجموعه ها ، ارزیابی های کیفی بازسازی ها در شکل 7 نشان می دهد که حتی اگر PSNR کمتر باشد ، یکپارچگی ساختاری بازسازی ها برای روش پیشنهادی بالاتر از بقیه الگوریتم ها است.

جدول 2 مقایسه کمی کیفیت های بازسازی از پیش بینی های پر سر و صدا بین 0 \(^\circ \) و 150 \(^\circ \) (بهترین نتایج SSIM و PSNR در هر سطح نویز به صورت پررنگ نشان داده شده است).

سینوگرام بازسازی شده برای پیش بینی های بدون نویز \(0^\circ - 120^\circ \)، سینوگرام از شی اصلی برای فانتوم Shepp–Logan، و خطای نسبی بین آنها.

اگرچه اثر تکمیل سینوگرام روش DIP واضح نیست، اما می توان آن را در سینوگرام های اشیاء بازسازی شده مشاهده کرد. مقایسه سینوگرام کامل برای فانتوم Shepp-Logan و سینوگرام بازسازی شده برای حالت بدون نویز در شکل 8 آورده شده است. سینوگرام، که لزوماً اطلاعات مستقیمی در مورد قسمت گم شده نمی دهد. این تفاوت مزیت روش DIP را نسبت به تکنیک های موجود در ادبیات نشان می دهد که توانایی تکمیل اطلاعات سینوگرام را با جزئیات ندارند.

بحث

در توموگرافی کامپیوتری، نمونه برداری یکنواخت از اطراف جسم ممکن است همیشه امکان پذیر نباشد و به اصطلاح مشکل گوه گم شده را ایجاد کند. بازسازی‌ها با استفاده از روش‌های سنتی مانند طرح‌ریزی به عقب فیلتر شده، ازدیاد طول، رگه‌بندی، و مصنوعات دم شبح را نشان می‌دهند. می توان از تنظیم کننده ها برای کاهش اثرات این مصنوعات استفاده کرد. یک مثال روش تلویزیونی است که بر اساس اطلاعات اولیه یا مفروضات مربوط به شی، تنظیم کلی تغییرات را در عملیات پس‌افکنی ترکیب می‌کند. اگرچه این رویکرد در افزایش کیفیت بازسازی موفق است، مصنوعات را نمی توان به طور کامل حذف کرد. شکل 6 را ببینید. از سوی دیگر، معماری پیشین‌های تصویر عمیق (DIP) نشان می‌دهد که کل فرآیند را می‌توان با خودآموزی شبکه یاد گرفت. شبکه کانولوشنال به کار گرفته شده به یک "قاعده ساز بهینه" برای کاهش مصنوعات تبدیل می شود. با استفاده از این ایده، ما یک شبکه DIP را برای بازسازی شی 3 بعدی به طور مستقیم از پیش بینی ها پیاده سازی کرده ایم. برای ترکیب منظم‌سازی تغییرات کلی، ما خودآموزی را در چارچوب ADMM اعمال کردیم، که می‌تواند مشکل را به زیرمشکلات قابل مدیریت‌تری تجزیه کند. بازسازی های به دست آمده نشان داد که رویکرد DIP-TV کیفیت بازسازی را به طور قابل توجهی افزایش داد و هم گوه های گم شده و هم آثار نویز را حذف کرد (شکل های 6 و 7 را ببینید).

اگرچه نشان داده ایم که روش DIP-TV بازسازی اشیاء سه بعدی را در مقایسه با روش های موجود در ادبیات بهبود می بخشد، ایده DIP این است که راه حل موجود را منظم کند. در بازسازی‌های توموگرافی کامپیوتری DIP، شبکه کانولوشن علاوه بر تنظیم‌کننده بودن، مسئولیت عملیات پروجکشن معکوس را نیز بر عهده دارد. با این حال، طرح ریزی معکوس یک عملیات نقشه برداری است و نشان داده شده است که می توان آن را با یک شبکه کاملا متصل با دقت بیشتری مدل سازی کرد. بنابراین، ما یک شبکه آبشاری متشکل از لایه‌های کاملاً متصل و کانولوشن مانند شکل 2 طراحی کرده‌ایم و شبکه کاملاً کانولوشن را با آن جایگزین کرده‌ایم. اگرچه دارای یک شبکه تنظیم کننده کوچکتر است، شکل. 6، 7، و جداول 1، 2 نشان می دهد که بهبود قابل توجهی در بازسازی ها با روش پیشنهادی وجود دارد. با یک مدل سازی دقیق تر از عملیات معکوس، می توان دریافت که لبه ها به خوبی تعریف شده اند و تغییرات مقادیر بازسازی شده برای روش پیشنهادی کمتر است.

با وجود بهبود کیفیت بازسازی ، زمان بازسازی یک اشکال مهم برای روش پیشنهادی است. این روش یک الگوریتم خود آموزش است و نیاز به آموزش شبکه برای هر بازسازی منحصر به فرد دارد ، و این روش پیشنهادی را به طور قابل توجهی کندتر در مقایسه با روشهای یادگیری نظارت شده یا روشهای بازسازی تکراری انجام می دهد. برای شبیه سازی ، این آموزش بر روی کارت گرافیک فوق العاده GeForce RTX 2080 انجام می شود ، جایی که هر تکرار داخلی ADMM تقریباً 0. 37 ثانیه طول می کشد ، و در نتیجه 431 دقیقه برای بازسازی یک شیء به طور متوسط انجام می شود. زمان بازسازی با افزایش تعداد وکسل ها برای بازسازی ، به صورت خطی افزایش می یابد ، به این معنی که افزایش نمایی برای افزایش اندازه در یک بعد است. این امر نیاز به اندازه شیء برای زمان بازسازی معقول دارد. با این حال ، آزمایشات تجربی در مورد استفاده از برنامه های یادگیری انتقال نشان داد که امکان بازسازی اشیاء مشابه با شبکه های آموزش دیده با حداقل آموزش اضافی ، یعنی یادگیری انتقال وجود دارد ، که می تواند زمان بازسازی را تا 20-100 بار کاهش دهد. شروع خودآموزشی با وزن بهینه شده شبکه از بازسازی قبلی منجر به نیاز به تغییر کوچکتر در وزن شبکه می شود که باعث کاهش چشمگیر زمان بازسازی می شود. ارزیابی موقتی از وزن شبکه در بازسازی قبلی به معنای نقطه شروع بهتر است و فقط به یک تنظیم دقیق نیاز دارد که نیاز به زمان کمتری داشته باشد. همچنین ، حافظه GPU محدود است و انتقال داده ها به GPU ها می تواند به تنگنا برای خودآموزشی تبدیل شود. بهترین راه حل برای غلبه بر این تنگناها ، به اشتراک گذاشتن بار محاسباتی در بین GPU های متعدد است که باعث افزایش سرعت بازسازی و افزایش اندازه احتمالی جسم برای بازسازی در همان زمان 37،38 می شود.