زکربرگ دربارهٔ موز: انفجار عاملهای هوش مصنوعی، «متاورس، عینکهای هوشمند و مدلهای بزرگ» — سه شرط اصلی که به هم پیوستهاند
سه سال پیش، مارک زکربرگ، مدیرعامل متا، در برنامهٔ جو روگن اعلام کرد که روزی مردم عینک خواهند پوشید و عاملهای هوش مصنوعی نیز بهطور متناظر ظهور خواهند کرد. امروز این سناریو ممکن است در حال واقعیشدن باشد.
عامل شخصی هوش مصنوعی متا — موز — در دو هفته پس از رونمایی به میلیونها کاربر رسید. زکربرگ در مصاحبهای در ۲۵ سپتامبر گفت: «چنین موقعیتی را تنها هر چند سال یکبار میبینیم.» او واکنش اولیه به موز را «ضربهٔ هومران از لحظهٔ آغاز» توصیف کرد — پدیدهای نادر در تاریخ محصولات متا.
همزمان، او اعلام کرد که موز در تمام خط تولید عینکهای هوشمند ریبن ادغام خواهد شد و کاربران میتوانند با گفتن کلمهٔ فراخوان سفارشی به جای «هِی متا»، عامل شخصی هوش مصنوعی خود را مستقیماً صدا بزنند.
متاورس، عینکهای هوشمند و مدلهای بزرگ که تاکنون از سوی جهان خارج بهعنوان سه شرط مستقل تلقی میشدند، اکنون در سطح محصول در داخل متا با سرعت بیشتری به هم نزدیک میشوند.
در این مصاحبه، زکربرگ شکست لاما ۴ را «ترسناکترین لحظه» خواند و افشای این موضوع را کرد که متا در حال ساخت خوشهای با قدرت آموزش ۵ گیگاوات است و باور دارد که قدرت محاسباتی کافی میتواند «با نیروی خام» به هوش مصنوعی عمومی (AGI) دست یابد.

چرا موز میتواند «از لحظهٔ آغاز ضربهٔ هومران بزند»
نقطهٔ شروع موز زمانی بود که زکربرگ و اعضای تیم، نَت و الکس، در کنار هم نشستند و نسخهای اولیه را با ابزارهای متنباز در خانه «ساختند».
زکربرگ گفت: «متوجه شدیم این تجربهای جادویی است. اگر بتوانیم آن را طوری بسازیم که هرکسی بتواند از آن استفاده کند — بدون نیاز به خرید ماکمینی یا بازی با ترمینال — این چیزی خواهد بود که میلیاردها نفر آن را میخواهند.»
این قضاوت منطق کلی توسعهٔ بعدی را تعیین کرد: نه فقط آموزش مدلها، بلکه توسعهٔ کامل مکانیزم «ضربان قلب» عامل — از مدل و زیرساخت تا خود عامل — که عامل بهصورت دورهای بیدار میشود، اهداف کاربر را بررسی میکند و بهصورت فعال برای انجام کارهای لیستشده پیش میرود.
دادههای پس از رونمایی این قضاوت را تأیید کردند: در دو هفته، میلیونها کاربر.
هوش مصنوعی شخصی: تمرکز بر اجرای وظایف، حافظه و «قضاوت»
در مورد تفاوت هوش مصنوعی شخصی با هوش مصنوعی عمومی، زکربرگ تمرکز رقابتی فعلی را در تبدیل مدل به عامل بهتر خلاصه کرد.
او گفت: «بزرگترین موضوع در طول سال گذشته در واقع برنامهنویسی عامل بوده است.» توانایی برنامهنویسی حیاتی است، چرا که حتی اگر کاربران مستقیماً کد ننویسند، «موز شما در پسزمینه برای انجام وظایف مختلف کد مینویسد.»
با این حال، او معتقد است عاملهای شخصی نباید فقط قابلیت کدنویسی یا اجرای وظایف را داشته باشند؛ بلکه باید مرزهای حریم خصوصی و زمینههای اجتماعی را نیز درک کنند.
زکربرگ مثالی زد: وقتی کاربر از موز میخواهد رستورانی را رزرو کند، عامل ممکن است از آلرژی یا بارداری کاربر اطلاع داشته باشد، اما این به معنای افشای خودکار این اطلاعات نیست. «شما میخواهید کار انجام شود، اما با افشای حداقل اطلاعات ممکن.»
او این قابلیت را جزء «مهارتهای اجتماعی پایه یا شعور سالم» دانست که انسانها معمولاً دارند، اما بسیاری از شرکتها در صورت آموزش فقط عاملهای کدنویسی، آن را در قابلیتهای مدل خود گنجاندهاند.
زکربرگ گفت: «ما کل مدل را آموزش میدهیم، نه اینکه مدل آمادهای از دیگران را برداریم و چارچوب یا عاملی را دور آن بسازیم.» متا همچنین قابلیتهایی مانند حافظه، ردیابی وظایف، انیمیشنهای شخصیت مجازی و تعامل صوتی بلادرنگ را در سطح محصول اضافه کرده است.
در زمینه شخصیسازی، او اعلام کرد که متا باور دارد هوش مصنوعی نباید تنها یک شخصیت ثابت داشته باشد. «بسیاری از آزمایشگاهها روی تنظیم شخصیت به حالت مناسب تمرکز کردهاند، اما من هرگز باور نداشتم که برای شخصیت تنها یک پاسخ صحیح وجود دارد.»
او اشاره کرد که موز اجازه میدهد کاربران آواتار، صدا و شخصیت پایه خود را تغییر دهند؛ هدف طراحی مدل، کنترلپذیری بالاست. «شما میتوانید نحوه تعامل خود با آن را تعریف کنید که برای یک عامل شخصی بسیار مهم است.»
هر عامل دارای «رایانه» اختصاصی خود است
یکی از زیرساختهای اصلی که موز را از سایر محصولات هوش مصنوعی متمایز میکند، تجهیز هر عامل به ماشین مجازی امن (Secure VM) توسط متا است.
زکربرگ دلیل ضرورت این امر را توضیح داد:
عامل شما اطلاعات حساس زیادی دربارهتان خواهد داشت. ما باور نداریم این اطلاعات باید با دادههای دیگران در یک مخزن ترکیب شوند.
او ماشین مجازی امن موز را به «رایانهای که فقط متعلق به شماست و زیر میز شما قرار دارد» تشبیه کرد — دادههای کاربر رمزگذاری و ذخیره میشوند و اعتبارهای حساس مانند رمزعبور از طریق یک ماژول امنیتی مستقل مدیریت میشوند که خود عامل نمیتواند بهطور مستقیم به آن دسترسی داشته باشد.
بر این اساس، متا عامل امنیتی «سنتنل» را نیز طراحی کرده است تا بهطور خاص جریان دادههای ورودی و خروجی موز را نظارت کند و در صورت تشخیص هرگونه ناهنجاری یا عملیات پرخطر، آن را مستقیماً مسدود کرده و اجازه کاربر را دریافت کند.
جهان مجازی، عینکهای هوشمند و عاملها: سه مسیر در حال همگرایی هستند
زکربرگ در این مصاحبه اعلام کرد که موز بهطور کامل در سری عینکهای هوشمند ری-بن ادغام خواهد شد و روشهای تعامل موجود را ارتقا میدهد.
در حال حاضر، این عینکها تجربه «مکالمه تکنوبتی» ارائه میدهند — یعنی شما چیزی میگویید و پاسخی دریافت میکنید و همینقدر. پس از ادغام موز، عینکها به نقطه ورودی پیشروی عامل تبدیل میشوند: هنگامی که کاربران صحبت میکنند، موز در پسزمینه در ماشین مجازی امن ادامه میدهد و وظایف را انجام داده و بازخورد ارائه میکند.
در مورد نقشه راه محصول عینکها، او سلسلهمراتب سختافزاری واضحی را توصیف کرد:
عینکهای صوتی خالص بدون دوربین: اکنون مجهز به موز هستند و قادر به انجام تماسها، پخش موسیقی و وظایف صوتی هستند
ری-بن متا با نمایشگر کوچک: اکنون عرضه شده و بازخورد بصری پایه ارائه میدهد
نمونه اولیه هولوگرافیک AR با دید کامل: اکنون عرضه شده و زکربرگ آن را «بسیار هیجانانگیز» توصیف کرده است
او اعلام کرد که سرمایهگذاری بلندمدت متا در زمینه عینکها، پس از بلوغ عاملهای هوش مصنوعی، موقعیت شرکت را بهنفع آن قرار میدهد. متا موز و قابلیتهای بیشتر هوش مصنوعی را در محصولات عینکی خود ادغام میکند، در حالی که فناوری جهان مجازی که قبلاً بر «حضور» تأکید داشت، همچنان در حال پیشرفت است، اگرچه در حال حاضر منابع بیشتری به سمت موز و قابلیتهای هوش مصنوعی عینکهای هوشمند هدایت میشود.
در مورد آواتارهای مجازی، زکربرگ اشاره کرد که قبلاً متا برای تولید آواتارهای واقعگرایانه با کیفیت بالا به تجهیزات سطح اتاق، اسکن چندزاویه و محیطهای GPU سطح سازمانی نیاز داشت؛ اما اکنون کاربران میتوانند با چند عکس ساده تنظیمات را انجام دهند و قابلیتهای مرتبط میتوانند روی یک جفت عینک واقعیت مجازی اجرا شوند.
در نگاهی به سال ۲۰۳۰، زکربرگ بیان کرد که چشمانداز اصلی جهان مجازی همواره ادغام جهان فیزیکی و دیجیتال بوده است. او مثالی زد که در آینده افراد میتوانند با دوستانشان از طریق تصاویر هولوگرافیک در فعالیتها شرکت کنند؛ در سناریوهای کاری نیز انسانها و چندین عامل میتوانند در گفتوگوهای گروهی یا جلسات شرکت کنند، که عاملها در قالب هولوگرافیک یا سایر اجراییهای جسمانی ظاهر میشوند.
«لحظهٔ ترسناکترین»: اشتباه لاما ۴
همهٔ شرطبندیها به خوبی پیش نرفتهاند. زوکربِرگ در مصاحبه به ندرت مستقیماً دربارهٔ شکست لاما ۴ صحبت کرد.
پس از لاما ۴، آن لحظهٔ ترسناکترین بود… فکر میکردم روی مسیر درستی هستیم، اما اینطور نبود. این یک شگفتی منفی بسیار مهم بود.
او مشکل را به اشتباهی اساسی در ساختار تیم نسبت داد:
من تیم را دقیقاً مانند سیستم توصیهدهندهٔ اینستاگرام یا سیستم تبلیغاتی سازماندهی کردم— صدها یا هزاران نفر که بهصورت موازی کار میکنند. اما آموزش یک مدل زبانی نیازمند تیمی کوچک و همکاری نزدیک است، گویی یک پروژهٔ علمی جمعی. هر موقعیت بسیار ارزشمند است.
در نتیجه، متا بازسازی کاملی انجام داد، متخصصان برتر صنعت را بهطور گسترده جذب کرد و آزمایشگاه هوشبرتر متا (MSL) را تأسیس نمود. زوکربِرگ اعلام کرد که نسل جدیدی از مدلها بهزودی منتشر میشود، اما در کنفرانس کانکت اعلام نخواهد شد.
مسیر قدرت محاسباتی: هوش مصنوعی عمومی با روش نیروی خام، پروژهٔ ۵ گیگاواتی در دست اجرا
در بحث دربارهٔ مسیر فناوری رسیدن به هوش مصنوعی عمومی (AGI)، زوکربِرگ قضاوتی مستقیم ارائه داد.
نمیدانم چه پیشرفتهای معماری اساسی دیگری هنوز لازم است… فکر میکنم تقریباً فرمول آن را میشناسیم. اگر بتوانیم خوشهای از ابررایانههای بسیار بزرگ بسازیم، میتوانیم با روش نیروی خام به آن برسیم.
در حال حاضر، مسیر گسترش قدرت محاسباتی متا: خوشهای بیش از ۱ گیگاوات در اوهایو تقریباً برای آموزش نسل بعدی مدلها وارد عمل شده است؛ خوشهای ۵ گیگاواتی در لوئیزیانا در دست ساخت است.
او گفت: «وقتی برای آموزش از خوشههای چند گیگاواتی استفاده میکنید، تقریباً به چیزی نزدیک به AGI یا حتی هوش فوقالعاده میرسید.»
با این حال، او افزود که مسیر فعلی مبتنی بر قدرت محاسباتی بهمعنای بیاهمیت بودن تحقیقات معماری نیست—
مغز انسان تنها حدود ۱۰ وات انرژی مصرف میکند، درحالیکه سیستمهای ما ممکن است میلیونبار کمکارتر از آن باشند. فقط با ترکیب قدرت محاسباتی گسترده و پیشرفتهای معماری میتوانیم واقعاً پیشتاز باشیم.
هماهنگسازی، باری نیست بلکه مسئلهای است که محصولات باید حل کنند
نگرش زوکربِرگ نسبت به امنیت هوش مصنوعی بسیار کاربردی است— او آن را فشار نظارتی نمیداند، بلکه شرط لازم موفقیت محصول میداند.
اگر از میوز بخواهید کاری انجام دهد و برعکس آن را انجام دهد، کسی دیگر از آن استفاده نمیکند؟ باید اطمینان حاصل کنیم که مدل نهتنها دستورات خاص شما را درک میکند، بلکه قصد و ارزشهای شما را نیز درک میکند.
«اگر میوز بخواهد به یک میلیارد کاربر برسد، باید مسئلهٔ هماهنگسازی را حل کنیم یا پیشرفت قابلتوجهی در این زمینه داشته باشیم»، گفت.
در مورد مرزهای امنیتی در طول فرآیند آموزش، از تشبیهی استفاده کرد: «مثل والدینی است که قوانینی برای فرزندانش تعیین میکنند— اگر برای «حل» یک مسئلهٔ برنامهنویسی، پیکربندیهای سیستم را تغییر دهد، میخواهم به آن بگویم: نه، میخواهم یاد بگیری چگونه مسئله را حل کنی، نه اینکه راهحلی دور از آن پیدا کنی.»

مصاحبهٔ کامل بهشرح زیر است: >
شرطبندیهای بزرگ
میزبان: این چیزی است که میلیاردها نفر دوست دارند از آن استفاده کنند. احساس ساختن آن برای شما چگونه است؟ آیا «جَاودانگی» امکانپذیر است؟ خوب، اگر من به ذهن شما وارد شوم و به سال ۲۰۳۰ جلو برویم، آن زمان چگونه خواهد بود؟
این مارک زوکربِرگ است. بیست و دو سال پیش، او شبکهای اجتماعی ساخت که میلیاردها نفر را به هم پیوند زد و جهان را برای همیشه تغییر داد. و اکنون تصمیم گرفته چیزی حتی بزرگتر بسازد. بدین منظور، شرطبندیهای بزرگی در حوزههای متاورس، عینکهای هوشمند و هوش مصنوعی انجام میدهد. سالهاست که شکاکان این سه شرطبندی را جداگانه و غیرقابل موفقیت میدانستند، اما تصویر بزرگتر را نادیده گرفتهاند—زیرا اکنون این شرطبندیها در حال همگرا شدن هستند تا یک هوشبرتر کاملاً جدید خلق کنند.
امروز، همه این موارد را ارائه خواهیم داد و من از مارک سؤالاتی خواهم پرسید که تاکنون از او پرسیده نشده است، تا چشمانداز او از آینده را بشنویم و شما بتوانید پیش افتاده و چیز بعدی بزرگ را بسازید.
میزبان: بسیار سپاسگزارم که به این برنامه آمدید.
مارک: متشکرم، خوشحالم که اینجا هستم.
میزبان: برای این گفتوگو، تمام مصاحبههایی را که انجام دادهاید تماشا کردم.
مارک: وای، من خودم حتی اینقدر را تماشا نکردهام.
میزبان: تماشای آن لذتبخش و بسیار ارزشمند بود. دو نکته عمیقاً در ذهن من باقی ماند: اول، عشق شما به «ساختن»؛ احساس میکنم یکی از بهترین سازندگان هستید؛ و دوم، توانایی شما در انجام شرطبندیهای بزرگ—جرأت انجام شرطبندیهای عظیم. احساس میکنم این هفته تمام این شرطبندیها در حال همگرا شدن هستند، پس بیایید از اینجا شروع کنیم.
مارک: خوب. ما این کارها را مدتهاست انجام میدهیم. در حوزه هوش مصنوعی، به عنوان یک شرکت، تقریباً از روز تأسیس ما این کار را انجام دادهایم—اولین نسخه جریان اخبار در برخی جهات محصولی مبتنی بر یادگیری ماشین بود. سپس حدود ۱۵ سال پیش، آزمایشگاه تحقیقات هوش مصنوعی را ایجاد کردیم.
اما اکنون وارد فاز جدیدی شدهایم—حدود یک سال پیش، آزمایشگاه هوشبرتر متا را راهاندازی کردیم. این یک بازآرایی جامع تحقیقاتی است که استعدادهای برجستهای از سراسر صنعت را جذب کرده و بسیار هیجانانگیز است. اکنون مدلها را بهبود یافتهتر میبینیم و نسل بعدی مدلها در آستانه انتشار است، اما در کنفرانس کانکت اعلام نخواهد شد. علاوه بر این، دستیار شخصی میوز را داریم که تاکنون بازخوردهای بسیار مثبتی دریافت کرده است.
وقتی این موارد را میسازیم، واقعاً مطمئن نیستیم که نتایج چگونه خواهد بود. خودمان از آن لذت میبریم. اوایل امسال، من در خانه بودم و به روش خودم Open Claw را کنار هم میآوردم و احساس میکردم که این چیز چگونه کار میکند و چگونه میتوان آن را به تجربهای جادویی تبدیل کرد که هر کسی بتواند از آن استفاده کند.
در اصل، وقتی ما—من، نات و الکس—در کنار هم نشستیم و فهمیدیم که این یک تجربه جادویی است، و اگر بتوانیم آن را به نسخهای آمادهاستفاده تبدیل کنیم که افراد عادی—کسانی که تکنولوژی را نمیفهمند، نمیخواهند خودشان یک Mac Mini راهاندازی کنند، نمیخواهند با ترمینال سر و کله بزنند و نمیخواهند وقتی مشکلی پیش آمد، آن را عیبیابی کنند—بتوانند از آن استفاده کنند، فکر کردم این چیزی است که میلیاردها نفر دوست دارند از آن استفاده کنند.
از آن زمان تاکنون، ما به این هدف کار کردهایم: به طور خاص مدلها را برای این منظور تنظیم کردهایم، نه تنها خود دستیار و چارچوب عملیاتی آن را ساختهایم، بلکه فناوریای را نیز ساختهایم که محیط محاسباتی مستقلی برای هر دستیار فراهم میکند—ما برای این منظور مجموعهای کامل از ماشینهای مجازی امن میوز ساختهایم.
ما درونیها احساس میکردیم این مورد خاص است و تیم داخلی از آن خوشش میآمد، اما هیچوقت نمیدانید پس از انتشار محصول مردم چگونه واکنش نشان خواهند داد. گاهی اوقات موفقیت چشمگیری بلافاصله پس از انتشار رخ میدهد، اما بیشتر اوقات بازخوردهای مثبتی دریافت میکنید و باید در چند نقطه تکرار کنید تا محصول واقعاً «جواب دهد». اما این بار، دقیقاً در ابتدا جواب داد. دیدن این همه اتفاق افتادن واقعاً هیجانانگیز است—تنها دو هفته گذشته و تعداد کاربران قبلاً به میلیونها رسیده که بسیار نادر است. ما فقط هر چند سال یکبار چنین موقعیتی را تجربه میکنیم، اما این قطعاً یکی از لذتبخشترین لحظات برای یک استارتآپ است.
میزبان: توانایی شما در ادامه دادن بازی و امتحان کردن مداوم واقعاً من را تحت تأثیر قرار داده است. و رسیدن به چنین تعداد زیادی از موفقیتهای بزرگ واقعاً شگفتانگیز است. شما سه سال پیش مصاحبهای با جو روگان داشتید که در آن گفتید روزی میتوانید عینک بپوشید و دستیار هوش مصنوعی ظاهر میشود. بنابراین احساس میکنم میوز اکنون نمایش فیزیکی دارد که بسیار هوشمندانه است، زیرا آن احساس قطعاً رخ خواهد داد.
مارک: فکر میکنم این فقط باعث میشود دوستدارتر و شیرینتر به نظر برسد. من معتقدم بسیاری از افراد هوش مصنوعی را ترسناک توصیف میکنند، اما هوش مصنوعی باید فقط مفید و سرگرمکننده باشد. آن نمایش فیزیکی—یک طراح این شخصیت را در ابتدای پروژه ساخت و به دلایلی همیشه میخواستند آن را بازطراحی کنند، اما نسخه اولیه بهترین بود. بعداً کسی گفت: «اوه، باید آبی باشد چون متا است.» من گفتم: «نه، من فکر میکنم آن نمایش درست است؛ شما اولین بار درست انجام دادید.» همینطور است؛ لذتبخش است.
تفاوت هوش مصنوعی شخصی با هوش مصنوعی عمومی چیست؟
میزبان: جزئیات عالی. اگر میخواهید مدل در امور شخصی بسیار عالی عمل کند، نه اینکه فقط یک مدل هوش عمومی باشد، رویکرد آموزشی چگونه متفاوت خواهد بود؟
مارک: فکر میکنم هسته اصلی اکنون ساختن مدلی بسیار عالی به عنوان «عامل» است. در سال گذشته، بزرگترین روند برنامهنویسی عاملها بوده که دو ایده اصلی دارد: تخصص برنامهنویسی و توانایی عمومی برای عاملی عالی بودن.
استراتژی ما این است که اولویت را بر بهبود خود عامل قرار دهیم، نه تخصصیافتن در تواناییهای برنامهنویسی.
توانایی برنامهنویسی مهم است، زیرا حتی اگر کاربران فکر نکنند که کد مینویسند، موز بهصورت پنهان و مداوم کدهایی تولید میکند تا وظایف گوناگونی را برای شما انجام دهد. اما ما معتقدیم عامل ابتدا باید یک عامل برجسته باشد و توانایی برنامهنویسی در خدمت همین هدف قرار گیرد.
علاوه بر این، در ساخت دستیار شخصی، برخی امور از ساخت محصولات نرمافزاری سازمانی اهمیت بیشتری دارند. مثلاً اگر ابزار برنامهنویسی سازمانی طراحی میکنید، مدل نیازی به درک «مقیاس افشای اطلاعات»—مثل اینکه چه اطلاعاتی باید گفته شود و چه چیزی نه—ندارد. اما برای موز این موضوع بسیار حیاتی است.
شما باید این توانایی را دقیقاً مانند سایر تواناییها در مدل آموزش دهید: اطلاعات زیادی به آن میدهید و امیدوارید به اهداف شما کمک کند. مثلاً اگر میخواهید رستورانی رزرو کند، موز باید رستوران مناسبی پیدا کند؛ اما ممکن است آلرژی داشته باشید یا باردار باشید و نخواهید این اطلاعات را به رستوران افشا کنید. موز این اطلاعات را میداند و شما میخواهید وظیفه را انجام دهد، بدون افشای غیرضروری اطلاعات. این یک مهارت خاص است که در واقع معادل سلامت اجتماعی پایهای انسانهاست.
اما شرکتهایی که صرفاً عاملهای برنامهنویسی میسازند، معمولاً این توانایی را در مدلهای خود آموزش ندادهاند. ما این کار را میتوانیم انجام دهیم، زیرا رویکرد تمامصفحهای (full-stack) داریم: نه اینکه از یک مدل آمادهٔ دیگران استفاده کنیم و فقط یک چارچوب دور آن بسازیم، بلکه کل مدل را از صفر و دقیقاً برای این تواناییها آموزش میدهیم.
البته مدل باید هوش عمومی گستردهای داشته باشد، اما همچنین این تواناییهای خاص را نیز داشته باشد. سپس بر اساس آن، کل دستیار و جزئیات اطرافش—مانند حافظه، چارچوب عملیاتی و نحوهٔ «ضربان» آن (یعنی بیدار شدن دورهای برای بررسی اینکه «اهداف من چیست و آیا میتوانم اکنون پیشرفتی ایجاد کنم؟»)—را میسازیم.
همچنین تیمی اختصاصی داریم که صرفاً روی بهبود افکتهای انیمیشن بلادرنگ نمایش مجازی کار میکند، زیرا این نمایش تنها یک نمایش پیشفرض نیست—شما میتوانید هر نمایشی را سفارشیسازی کنید و حرکات آن بهصورت طبیعی انجام شود که واقعاً شگفتانگیز است. همچنین حالت صوتی را راهاندازی میکنیم که امکان گفتگوی بلادرنگ صوتی را فراهم میکند و دستیار شما دقیقاً در کنار شما حضور دارد. فکر میکنم تمام این جزئیات از رویکرد تمامصفحهای ما نشأت میگیرد: توسعهٔ همزمان مدل و محصول.
میزبان: مورد بزرگ دیگر ماشین مجازی است. لطفاً توضیح دهید چرا این ماشین مهم است و چه امکاناتی را فراهم میکند؟
چرا متا به هر دستیار هوشمندی یک رایانهٔ مستقل اختصاص میدهد؟
مارک: اساساً، برای اینکه یک عامل بتواند برای شما کار انجام دهد، باید جایی برای ذخیرهٔ اطلاعات شما داشته باشد. ما معتقدم این اطلاعات نباید در یک منبع مشترک با اطلاعات سایر افراد ترکیب شوند.
به این صورت تصور کنید: دستیار شما اطلاعات حساس زیادی دربارهٔ شما خواهد داشت. بسیاری از کاربران در ابتدا با عاملهای هوشمندی مانند OpenCloud آشنا میشوند و خودشان یک Mac Mini در خانه راهاندازی میکنند. بنابراین فکر کردیم: بسیاری از افراد تمایلی به خرید یا راهاندازی دستی Mac Mini ندارند. پس بهترین تجربهای که این اثر را شبیهسازی کند چیست؟ پاسخ این است: فقط کافی است یک اپلیکیشن را دانلود کنید، ثبتنام کنید و یک رایانهٔ اختصاصی برای دستیار خود دریافت کنید تا در آن کار کند، دادهها را ذخیره کند و یک مدل امن حول آن بسازد. این دقیقاً معادل داشتن یک رایانهٔ شخصی زیر میز شماست—حتی ما در متا نمیتوانیم به آن دسترسی داشته باشیم.
مثلاً ماشین مجازی محرمانهٔ موز یکی از ویژگیهایی است که در حال توسعهٔ آن هستیم و حتی ما نمیتوانیم محتوای ماشین مجازی شما را ببینیم.
همچنین امکانات زیادی در این زمینه ساختهایم، از جمله ذخیرهٔ امن اعتبارنامهها—وقتی دستیار شما نیاز به مدیریت اطلاعاتی مانند رمزعبور دارد، خودش نیازی به دیدن آن رمزعبور ندارد؛ بلکه فقط باید بتواند آن را «درج» کند وقتی از آن خواسته میشود که وارد یک سرویس شود، و تنها در صورت درخواست صریح شما این کار را انجام دهد. سیستم باید طوری طراحی شود که این اطلاعات بهصورت آزادانه در دسترس نباشند، زیرا حوادث همیشه ممکن است رخ دهند؛ مثلاً کسی ممکن است تلاش کند وارد شود یا سیستم مشکلی داشته باشد.
بنابراین باید اطمینان حاصل کنید که عامل نمیتواند به این دادهها دسترسی داشته باشد و متا نیز نمیتواند. اختصاص یک رایانهٔ مستقل به هر دستیار و حداکثر کردن امنیت، اساس این فناوری است—که موز را با تواناییهای لازم برای کمک به کاربران در رسیدن به اهدافشان مجهز میکند، ضمن اینکه حریم خصوصی و امنیت را تضمین میکند و آن را به محصولی جهانی و پیشرو در این حوزه تبدیل میکند.
میزبان: پس آیا این بدان معناست که مانند واتساپ، دادههای موجود در ماشین مجازی که موز به آن متصل میشود، رمزگذاری شدهاند؟ مردم چگونه باید ذخیرهسازی واقعی دادهها در ماشین مجازی را درک کنند؟
مارک: ما اساساً دو نسخه ساختهایم. ماشین مجازی امن موز (Secure VM) شامل ویژگیهای مختلف حریم خصوصی است، از جمله کل معماری عامل سنترل (Sentinel) که ما طراحی کردهایم. شما یک دستیار موز معمولی دارید که وظایف را برای شما انجام میدهد و در عین حال یک عامل امنیتی به نام سنترل وجود دارد که بهطور خاص جریان دادهها ورودی و خروجی موز شما را نظارت میکند.
اگر محتوای خارجی تلاش کند تا امنیت را تهدید کند، سنترل آن را بلافاصله قطع میکند تا اتفاق نیفتد. اگر سنترل تشخیص دهد که موز شما قصد انجام عملی را دارد که نیازمند مداخلهٔ شماست، عملکرد موز را لغو کرده و هشداری برای تأیید انسانی فعال میکند—مانند «آیا میخواهید موز این کار را انجام دهد؟»
این کل سیستم، همراه با ذخیرهسازی امن اعتبارنامهها و دفاع چندلایه، ماشین مجازی امن موز را تشکیل میدهد.
ما همچنین پروژهٔ دیگری در حال توسعه داریم. نَت و من بهطور خاص موکسی مارلین اسپایک را استخدام کردیم—او همان شخصی است که با ما همکاری کرد تا رمزگذاری پایانبهپایان برای واتساپ را پیادهسازی کند—تا ماشین مجازی محرمانهٔ موز (Confidential VM) را طراحی کند. ایدهٔ اصلی این است که علاوه بر ماشین مجازی امن، یک کلید رمزگذاری اختصاصی برای شما فراهم کند تا حتی متا نتواند به محتوای درون ماشین مجازی دسترسی داشته باشد.
این نسخه پیادهسازی سختتری دارد، زیرا اگر متا نتواند به داخل ماشین مجازی دسترسی داشته باشد، عیبیابی و اطمینان از اجرای صحیح سیستم بسیار دشوارتر میشود. بنابراین زمانی را صرف آن کردیم، اما بهزودی راهاندازی خواهد شد. این نسخه بهطور اساسی استانداردهای امنیتی را که کاربران از واتساپ و امنترین محصولات ما آشنا هستند، برآورده میکند.
میزبان: آیا مزیت انجام این کار صرفاً ایجاد احساس امنیت روانی در افراد است یا منافع واقعی نیز دارد؟
مارک: به نظر من امنیت خودبهخود اهمیت دارد. هدف ما تقلید از داشتن یک رایانهٔ محلی زیر میز شماست. چنین رایانهای چه امکاناتی فراهم میکند؟ اینکه هیچ شرکتی نتواند به آن دسترسی پیدا کند.
پس فرض کنید متا میخواهد این سرویس را در اختیار شما قرار دهد؛ چگونه میتوانیم سطحی از حریم خصوصی و امنیت را ارائه دهیم که هیچ شرکتی — چه متا، چه مهاجمان احتمالی، یا حتی دولتهای محلی در برخی کشورها که به آنها اعتماد نمیشود — نتواند به دادهها دسترسی پیدا کند؟ زیرا خود ما نیز به آن دسترسی نداریم، چون هیچ حق دسترسیای نداریم.
به نظر من این بسیار مهم است و یکی از دلایل اصلی اعتماد مردم به واتساپ است. حریم خصوصی، امنیت و اعتماد ارزش واقعی دارند.
اگر قرار باشد دستیاری داشته باشید که از همهٔ چیزهای مربوط به شما آگاه باشد — و احتمالاً تقریباً همهٔ ما چنین دستیاری خواهیم داشت — پنج سال دیگر همهٔ افراد دستیاری خواهند داشت که اهداف و تمام جزئیات زندگی شما را میفهمد و در انجام کارها به شما کمک میکند. در این حالت، پیشگام بودن در زمینهٔ حریم خصوصی و امنیت بسیار حیاتی است. ما از ابتدا تصمیم گرفتیم این کار را انجام دهیم.
چگونه شخصیت هوش مصنوعی را شکل دهیم؟
میزبان: نکتهٔ جالبی دارید — در دانشگاه روانشناسی تحصیل کردهاید.
مارک: خیر، تنها دو سال در آنجا بودم، اما احساس میکنم تأثیر زیادی بر آنچه بعداً ساختم گذاشت.
میزبان: وقتی به مدلها نگاه میکنیم، اغلب میگوییم مدلی «بسیار باهوش» است. اما دقیقاً مانند انتخاب دوستان، نه تنها به خاطر هوش آنها بلکه به دلیل انرژی و نحوهٔ تعاملشان با ما نیز به آنها علاقهمند میشویم. چگونه شخصیت مدل را شکل میدهید؟
مارک: به نظر من مدل ایدهآل باید انعطافپذیری کافی داشته باشد تا با سبکهای مختلف افراد سازگار شود. احساس میکنم بسیاری از متخصصان صنعت در این زمینه مسیر اشتباهی را پیمودهاند؛ بسیاری از آزمایشگاهها روی «طراحی صحیح شخصیت» تمرکز کردهاند، اما من هرگز شخصیت را چیزی ثابت ندانستهام. این هم یکی از دلایل اصلی اعتقاد قوی من به منبعباز و توانایی افراد در شخصیسازی است و دلیلی است که موز را بهعنوان محصولی بسیار شخصیسازیشدنی طراحی کردیم.
شما میتوانید موز را شخصیسازی کنید — نه فقط تصویر و صدا؛ در اولین مرحلهٔ ثبتنام، اولین سؤالی که از شما میپرسد این است: «شخصیت اولیهٔ من چگونه باشد؟» و میتوانید هر زمان که خواستید آن را تغییر دهید.
ما تلاش میکنیم مدل را بسیار قابل کنترل کنیم تا شما بتوانید نحوهٔ تعامل مورد نظر خود را تعریف کنید. این بخش ضروری برای تبدیل آن به یک دستیار شخصی عالی است — انطباقپذیری در شخصیت کلید اصلی است.
میزبان: شخصیت موز شخصی شما چگونه است؟
مارک: من آن را مستقیم و متمرکز بر کارایی ساختهام. بسیار جالب است. نسخههای اولیه بسیار طعنهآمیز و خندهدار بودند، اما این نسخه مستقیمتر است. دستیار من از تصویر پیشفرض موز استفاده میکند، اما آن را با توگا پوشاندهام و صدایی عمیق تا حدی طنزآمیز به آن دادهام و تعامل با آن لذتبخش است.
میزبان: فکر میکنم برای داشتن حس شوخطبعی باید واقعاً باهوش بود. بسیاری از مردم نمیدانند که طنزپردازان یکی از باهوشترین افراد جامعه هستند — نیاز به سرعت ذهن و هوش تیز دارند. شما قطعاً این ویژگی را دارید. من همهٔ مصاحبههای شما را دیدهام و همیشه عملکرد عالی داشتهاید.
پیشبینیهای غافلگیرکنندهٔ مارک دربارهٔ هوش مصنوعی و متاورس
میزبان: در مصاحبهتان با تئو، بسیار دربارهٔ مرز بعدی فناوری و جهتگیری نهایی همهٔ این تحولات صحبت کردید. حوزهٔ هوش مصنوعی چندین دورهٔ «زمستانی» را پشت سر گذاشته که در آنها مردم فکر میکردند هیچ پیشرفتی حاصل نخواهد شد. متاورس نیز چندین دورهٔ مشابه را تجربه کرده که در آنها احساس میشد این سرمایهگذاری غیرقابلتحقق است. دیروز از ویژگی جدید هولوگرافیک آن استفاده کردم و بسیار جالب بود. در مصاحبه با لکس، احساس میشد ثبتصورت شما ۱۱ ساعت طول میکشد، اما اکنون تنها سه دقیقه زمان میبرد. چگونه به این نقطه رسیدیم؟
مارک: در توسعهٔ کلی متاورس، از زمان تأسیس آزمایشگاههای واقعیت ما همیشه باور داشتیم که در نهایت عینکهایی با ظاهری عادی خواهیم داشت که بهتدریج علاوه بر ایجاد حضور غوطهورانه، دستگاههای هوشمند عالی نیز خواهند بود — زیرا عینک تنها وسیلهای است که میتواند آنچه را که شما میبینید و میشنوید مشاهده کند، تمام روز با شما ارتباط برقرار کند و در نهایت تصاویر را نمایش دهد.
اما ۱۰ تا ۱۵ سال پیش فرض میکردم که ابتدا فناوری هولوگرافیک را بهدست آوریم و سپس هوش مصنوعی بسیار پیشرفته را توسعه دهیم. اما مسیر تکامل فناوری جالب است — در واقع ابتدا هوش مصنوعی و هوشبرتر شخصی را داشتیم و سپس فناوری لازم برای گسترش و مقرونبهصرفهشدن هولوگرافی بهطور گسترده فرا رسید. این چیزی بود که پیشبینی نکرده بودم، اما خوشحال هستم که در هر دو جهت پیشرفت داریم.
سرمایهگذاری قابلتوجه ما در عینکها ما را در موقعیت بسیار مطلوبی قرار داده است، زیرا دستیارهای هوشمند آمادهاند. بسیاری از اعلامیههای کنفرانس کانکت دربارهٔ ادغام موز و قابلیتهای فراوان هوش مصنوعی در عینکها بود که به نظر من کاربران بسیار دوست خواهند داشت. این اتفاق واقعاً مهم است.
در مورد حضور، هنوز پیشرفت میکنیم، اما سرعت نسبتاً کند است، زیرا بیشتر انرژیمان به ساخت موز و قابلیتهای هوش مصنوعی برای عینکها منتقل شده است. با این حال، پروژهای قدیمی داریم: آواتارهای مجازی بلادرنگ و بلادرنگ در زمان واقعی.
همانطور که گفتید، سه یا چهار سال پیش برای ثبت فرد از زوایای مختلف به یک اتاق اسکن کامل و همچنین به پردازندههای گرافیکی سطح سازمانی برای رندر کردن نیاز داشتید که بسیار پیچیده بود. نمایشی که برای پادکست لکس انجام دادیم دقیقاً از این نوع بود. امروزه تقریباً همه این قابلیتها را در جفتی از عینکهای واقعیت مجازی اجرا میکنیم — این اولین نوع عینک است که چنین تجربهی واقعیت مجازی شگفتانگیزی را بدون نیاز به سرپوشی سنگین فراهم میکند. شما میتوانید تنها با چند عکس آواتار مجازی خود را ایجاد کنید و پیشرفت بسیار چشمگیر است.
میزبان: و این آواتار میتواند بر اساس صدا، حالات چهره را نیز تحریک کند. در نمایش، من را خنداند، با من تعامل کرد و سپس نحوه حرکت چهرهام را بر اساس ردیابی صوتی درک کرد. در آن پادکست اشاره کردید که برخی افراد که معمولاً در بیان حالات چهره محتاطتر هستند، در دنیای مجازی تمایل به حالات غنیتری دارند. نظر شما درباره تفکیک مردم از «خود مجازی» و «خود واقعی» چیست؟
مارک: فکر میکنم هنوز در مراحل اولیه درک این پدیده از دیدگاه اجتماعی و روانشناختی هستیم. احساس میکنم ادراک افراد از خودشان و تصویری که میخواهند ارائه دهند، اغلب تا حدی با خود واقعیشان متفاوت است. از آغاز شبکههای اجتماعی، مردم همواره آواتارهای خود را با دقت انتخاب کردهاند. پدیدهای مشابه را در تصاویر مجازی موز نیز مشاهده میکنیم. این موضوع بهقدری «سرپرستی» از خود نیست، بلکه بیشتر «سرپرستی» از «شخصی» است که میخواهید با او ارتباط برقرار کنید.
من باور دارم که وقتی به مردم امکان بیان خود را میدهید، میخواهید این ابزار هم واقعاً آنها را منعکس کند و هم خودش یک شکل از بیان باشد — نه صرفاً یک بازتاب خالص. این هم ارتباط است و هم بیان. ما امیدواریم محصولی بسازیم که این دو را متعادل کند. این همیشه یک چرخه تکراری است: دیدن اینکه مردم چگونه از آن استفاده میکنند و سپس بهبود آن. پس از سالها کار، اکنون واقعاً در خط شروع قرار داریم — این اولین باری است که میتوانیم آواتارهای واقعگرایانه با کیفیت نسبتاً بالا را به محصولات وارد کنیم و آنها را روی تلفنهای همراه و در واقعیت مجازی به کار ببریم. بسیار هیجانزدهام تا نتایج را ببینم.
۲۰۳۰ چگونه خواهد بود؟
میزبان: خب، ذهنتان را برای من باز کنید و به سال ۲۰۳۰ جلو بروید؛ اگر همه چیز به خوبی پیش برود، فناوری هولوگرام چگونه خواهد بود؟ ترکیب هولوگرام با موز و عینکها چگونه شکل خواهد گرفت؟
مارک: درک من از چشمانداز متاورس همیشه بر ادغام مؤثر جهان فیزیکی و دیجیتال متمرکز بوده است. ایده اصلی این است: ما این جهان فیزیکی زیبا را داریم و همچنین جهان دیجیتال شگفتانگیزی داریم — محتوای عظیمی که طی ۲۰ تا ۳۰ سال گذشته در اینترنت انباشته شده، نفسگیر است. اما روش دسترسی ما به آن یا نشستن پشت میز است یا از طریق صفحهای کوچک در جیبمان، که از هر لحاظ بسیار محدود است.
فکر میکنم نسخه ایدهآل این ادغام، یکپارچهسازی بیدرز جهان فیزیکی و دیجیتال است. میتوانید اینگونه فکر کنید: الان ما دو نفر اینجا هستیم. در نسخهای آینده، یکی از ما ممکن است یک تصویر هولوگرافیک باشد، اما همچنان احساس واقعی حضور یکدیگر را دارید — که کاملاً متفاوت از تماس ویدیویی است.
هسته واقعیت مجازی، انتقال همین حس حضور است — اینکه واقعاً احساس کنید در یک اتاق با دیگران هستید یا در مکانی دیگر. این امر را میتوان با فناوری هولوگرام و ترکیبهای مختلفی دستیابی کرد. مثلاً میتوانم با دوستانم پوکر بازی کنم، که بعضیها حضور فیزیکی دارند و برخی دیگر از طریق تصاویر هولوگرافیک میپیوندند و همچنان میتوانند کارت بازی کنند؛ حتی میز پوکر هم میتواند هولوگرافیک باشد تا افراد غایب نیز در آن ادغام شوند.
در عین حال، هوش مصنوعی نیز میتواند در این سناریو جسمانی شود و ظاهر گردد. این در زمینههای کاری بسیار معنا دارد — من در حال حاضر از عاملهای برنامهنویسی مختلفی برای ساخت اشیاء استفاده میکنم. تصور کنید: شما در یک کانال گروهی با چند نفر و چند عامل هستید و وظایفی را به عاملها اختصاص میدهید. اما گاهی همه برای جلسهای گرد هم میآیند و عاملها نیز باید حضور داشته باشند. چگونه ظاهر میشوند؟ ساده است؛ فقط چند صندلی اضافه روی مبل قرار دهید و آنها بهعنوان تصاویر هولوگرافیک ظاهر میشوند. یا از آن شخصیت دوستداشتنی موز استفاده کنید، یا از اژدهایی، یا هر تصویر خلاقانهای که خودتان ایجاد کردهاید.
فکر میکنم در آینده این احساس کاملاً طبیعی خواهد بود.
میزبان: جالب است. در مصاحبههای قبلی اشاره کردید که صنعت فناوری اغلب جنبه «سرگرمی» را فراموش میکند. فکر میکنم حضور یک دستیار فیزیکی در اینجا، احساس واقعیتری نیز ایجاد میکند — انگار واقعاً کارها را به بیرون سپردهاید. وقتی موز را میبینید که تایپ میکند، احساس میکنید واقعاً چیزی در حال انجام شدن است. این کار خوب انجام شده — شما میتوانید در مرورگر ببینید که چه اتفاقی میافتد. پس آیا امکان سناریویی وجود دارد که شما عینک بپوشید و کامپیوتر خود را کنترل کنید و از موز برای انجام کارها روی کامپیوتر کمک بگیرید؟
مارک: آه، قطعاً. واقعیت مجازی این کار را اکنون انجام میدهد. میتوانید هرجا بنشینید، حتی در یک کافه، و سپس ایستگاه کاری خود را با شش مانیتور باز کنید تا کد بنویسید؛ همه چیز در آنجا است.
در مورد عینکها، محبوبترین مدل فعلی صفحهنمایش ندارد که قیمت را کاهش داده و امکان استفاده بیشتری برای مردم فراهم میکند، در حالی که ما هنوز در تلاشیم تا صفحهنمایش را در کوچکترین فرم ممکن تولید کنیم. اما نسخهای با صفحهنمایش از عینکهای مِتا رِی-بن را منتشر کردهایم که بسیار محبوب است؛ صفحهنمایشی کوچک. همچنین نسخهای اولیه از واقعیت افزوده هولوگرافیک تماممیدان را منتشر کردهایم که به نظر من بسیار هیجانانگیز خواهد بود.
پس کل خط محصول اینگونه است: از عینکهای صوتی خالص — بدون دوربین، ظاهری مانند عینکهای معمولی، اما درون آن موز وجود دارد که از ابزارهای صوتی مختلف استفاده میکند، موسیقی گوش میدهد و تماس میگیرد — تا نسخههای پیشرفتهتر، همه اینها.
میزبان: من به این فکر میکنم که آیا با آن عینکهای صوتی میتوانید با موز صحبت کنید و در عین حال کامپیوتر خانگیتان کار انجام دهد؟
مارک: بله، قطعاً. ما این قابلیت را در کنفرانس کانکت رونمایی کردیم. اکنون همه عینکها به هوش مصنوعی مِتا متصل هستند و تجربهای «تکپاسخی» ایجاد میکنند — شما پرسشی را ارسال میکنید و آن پاسخ میدهد و تمام. اما با موز، ما در واقع میخواهیم همه عینکها را به موز ارتقا دهیم. اول اینکه دیگر نیازی به گفتن «هِی مِتا» نیست، میتوانید هر نامی که دوست دارید برای آن انتخاب کنید که بخشی از سرگرمی است. سپس مستقیماً با آن صحبت میکنید، این ارتباط به موز شما برقرار میشود و موز شما وظایف را در ماشین مجازی امن شما پردازش میکند تا به شما در انجام کارها کمک کند.
میزبان: واقعاً شگفتانگیز است!
ذهنیت بنیانگذار
میزبان: خب، اکنون اینجا هستیم؛ موز بهخوبی پیش میرود و عینکها نیز عملکرد خوبی دارند. اما حدود یک سال پیش، بسیاری از افراد این سؤال را مطرح میکردند: «آزمایشگاه هوشبرتر چه اتفاقی افتاد؟» در آن لحظه، احساس شما چگونه بود؟ وقتی اوضاع خوب پیش نمیرفت اما همچنان چشمانداز بلندمدت را میدیدید، آن حس چگونه بود؟
مارک: مشکل اصلی با پروژه لاما و لاما ۴ بود.
لاما ۱ مدلی جالب بود که جنبش هوش مصنوعی متنباز را راهاندازی کرد و ما از آن بسیار مفتخریم. لاما ۲ قابلیت مقیاسپذیری را فراهم کرد و لاما ۳ مدلی عالی بود که در زمان خود تقریباً در رأس فناوری قرار داشت. اما در لاما ۴، ما اساساً از مسیر توسعهای که باید دنبال میکردیم منحرف شدیم.
هرگاه امور برخلاف انتظارات من پیش میرود، زمان زیادی صرف تفکر میکنم: چرا این اتفاق افتاده است؟ چه چیزی را باید تغییر دهیم تا بهتر عمل کنیم؟ این بار، بازنگری من این بود که ساختار کلی تیم را اشتباه طراحی کردهام.
من آن را بر اساس نحوه انجام کارهای یادگیری ماشین برای خوراک اینستاگرام یا سیستمهای تبلیغاتی طراحی کردم — یعنی صدها یا حتی هزاران نفر که بهصورت موازی روی موضوعات مختلف کار میکنند. اما برای ساخت مدلهای زبانی، واقعاً نیاز به تیمی کوچک و بسیار منسجم داریم که این کار را بهعنوان یک پروژه علمی جمعی در نظر بگیرد. نیازی به تعداد زیادی نفر نیست، اما این یعنی هر موقعیت در تیم ارزش بسیار بالایی دارد.
بنابراین، بهترین متخصصان را از سراسر متا استخدام کردیم و افراد بااستعداد بسیاری را از صنعت جذب کردیم تا تیمی کاملاً جدید — آزمایشگاه هوشبرتر متا — تشکیل دهیم.
از دید من، هنگام راهاندازی اماسال میدانستم که بازسازی، احیای زیرساخت و آموزش نسل بعدی مدلها زمانبر خواهد بود. اما مطمئن بودم که تیمی عالی گردآوردهایم و اگر این تیم بهخوبی همکاری کند، نتایج مطلوب خواهد بود.
برای من هیجانانگیزترین لحظه در واقع پس از انتشار لاما ۴ بود — فکر میکردم روی مسیر درستی هستیم، اما بعد متوجه شدم که اینطور نیست. این یک شگفتی منفی بسیار مهم بود. فکر میکنم بهعنوان یک کارآفرین، همیشه در چنین لحظاتی مورد آزمون قرار میگیرید، چون قطعاً همه چیز بهخوبی پیش نمیرود. و آنچه واقعاً مسیر توسعه را تعیین میکند این است که وقتی امور برخلاف آنچه امید دارید پیش میرود، چگونه راهی برای پیشرو یافته و ادامه دهید.
میزبان: فکر میکنم عکس این حالت نیز وجود دارد — یعنی وقتی چیزی از انتظارات شما فراتر میرود، مثل راهاندازی موز؛ چگونه مطمئن میشوید این فرصت را بهرهبرداری کامل میکنید؟
مارک: قطعاً. اکنون کل شرکت درگیر این موضوع شده است — در ابتدا فقط تیم کوچکی بود که محصول را میساخت، اما اکنون همه متوجه شدهاند که این محصول واقعاً آمادهٔ ورود به صحنهٔ بزرگ است. کل شرکت در حال فکر کردن است که چگونه این محصول را گسترش دهند و چگونه بتوانند آن را به صدها میلیون نفر ارائه دهند.
از بهینهسازی تمام زیرساختها برای اجرای بدونمشکل همه چیز و استخراج حداکثر توان محاسباتی از GPUهای موجود، تا ادغام موز توسط تیمهای مختلف محصول به روشهای گوناگون — مثلاً در عینکها — دیدن این همکاری گسترده برای اطمینان از گسترش روان موز احساسی فوقالعاده است.
روش مارک در نوشتن و انتقال چشمانداز
میزبان: بهعنوان بنیانگذار، احساس میکنم این دقیقاً لحظهای است که بیشتر از همه منتظرش بودهاید — همه چیز در کنار هم قرار میگیرد. چگونه چشمانداز خود را به کل شرکت منتقل میکنید؟ با این همه اتفاق همزمان، احساس میکنم شما بسیار مینویسید. فرآیند شما چیست؟
مارک: نوشتن برای من بسیار مفید است؛ چون به من کمک میکند تا افکارم را شفافتر کنم و آنها را بهصورت بیرونی منتقل کنم. این تابستان مقالهای طولانی با عنوان «آینده متعلق به همه است» نوشتم که حدود ۱۵ صفحه بود و به من کمک کرد تا دیدگاه فلسفیام دربارهٔ مسائل اجتماعی مهم مرتبط با هوش مصنوعی را بهصورت سیستماتیک روشن کنم: به نظر من چه چیزی خوب است، روابط با دولت چگونه باید باشد، چگونه نگرانیهای مردم را کاهش دهیم، چگونه مراکز داده را به ثروتی برای جامعه تبدیل کنیم، واقعاً شغلهای جدید ایجاد کنیم نه اینکه آنها را از بین ببریم، چگونه امنیت ملی را حفظ کنیم و چگونه خطرات مورد نگرانی مردم — مانند هک یا امنیت زیستی — را بهطور مؤثر کاهش دهیم.
این امر موضوعی بسیار پیچیده است که زمان زیادی میبرد و شامل بحثها و دورههای بازبینی متعدد با افراد مختلف داخلی است. اما برای من این فرآیند بسیار ارزشمند بود. در نهایت، به چیزی مانند این رسیدیم — ۱۵ صفحه با عنوان «این همان چیزی است که ما باور داریم». سپس آن را در قالب یک صفحهای خلاصه کردم تا بهصورت ستونی منتشر شود. همچنین ویدئوی کوتاهی تهیه کردیم، چون فکر میکنم برای رسیدن به افراد بسیار زیاد، اغلب نیازی به ارائهٔ استدلالهای نظری نیست، بلکه باید آن را در قالبی فشرده منتقل کرد: ارزشهای شما چیست، چه چیزی را باور دارید و چگونه آن را ارتباط میدهید.
راهحل یکسانی برای انتقال این مفاهیم به شرکت یا جهان وجود ندارد. زمانها و مخاطبان مختلف نیازمند رویکردهای متفاوتی هستند و سطح همسویی افراد با آنچه انجام میدهید متفاوت است؛ برخی بهطور طبیعی با آن همصدا میشوند، درحالیکه برخی دیگر بیشتر نگران هستند و نیاز به راهنمایی دارند و باید تلاش بیشتری برای توضیح ارزش آن انجام دهید. فکر میکنم این بخشی از ادارهٔ یک شرکت و نقش یک بنیانگذار است — شما فقط یک چیز را بهتکرار تکرار نمیکنید؛ هر موقعیت کمی متفاوت است و با چالشهای جدیدی روبرو میشود که همین امر بخشی از جذابیت آن است.
علت انگیزش مارک برای ساختن
میزبان: احساس میکنم این ذهنیت بنیانگذاری برای شما فراتر از شرکت است — چه در مورد مزرعهتان باشد یا یادگیری یک مهارت جدید.
مارک: من صرفاً دوست دارم چیزهایی بسازم.
میزبان: ساختن برای شما چه حسی دارد؟
مارک: فکر میکنم این نیازی ذاتی است. افراد مختلف راههای متفاوتی برای بیان خود دارند. اگر شما نویسنده باشید، احساس میکنید که باید بنویسید. برخی افراد نیاز به شناختهشدن دارند. اما من فقط نیاز دارم چیزهایی بسازم. اگر خلاقیتم را تمرین نکنم یا چیزی نسازم، عصبی میشوم. این برای اطرافیانم لذتبخش نیست.
میزبان: آیا یادگیری برای تبدیلشدن به یک اسکیباز عالی همان مهارتی است که برای ساخت محصول لازم است؟
مارک: تا حدی بله، فرآیند یادگیری چیزهای جدید بسیار شبیه به هم است. در زندگیام، عمداً خودم را با چیزهایی که در آنها توانمند نیستم به چالش کشیدهام. برای مثال، همیشه در یادگیری زبانها با مشکل مواجه بودهام. دقیقاً به همین دلیل بود که شروع به یادگیری زبان لاتین کردم — چون نتوانستم فرانسوی و اسپانیایی را در کلاس بیاموزم، فکر کردم لاتین نیازی به صحبت کردن ندارد و فقط ترجمه میخواهد، مثل ریاضیات.
بعداً، وقتی شروع به ادارهی یک شرکت کردم، برای خودم چالشهای سالانه تعیین کردم، از جمله یادگیری زبان ماندارین. ماندارین واقعاً سخت است، بهویژه لهجهها. البته دلایل خوبی برای یادگیری آن وجود دارد — مادربزرگ پریسیلا فقط ماندارین صحبت میکند، پس اگر بخواهم با او ارتباط برقرار کنم، باید آن را یاد بگیرم. اما انگیزهی اصلی در واقع خود چالش است.
در تمام این موارد، تنها راه انجام آنها وجود دارد؛ هیچ راه مختصری برای «فهمیدن» آنها نیست. فقط باید زمان صرف کنید و سپس بهتدریج در مغزتان جذب شوند. یادگیری هنرهای رزمی یا پرواز هلیکوپتر هم چنین است — این موارد واقعاً از نظر منطقی «درکشدنی» نیستند و نیازمند انباشت عملی هستند.
ساخت محصولات تا حدی شبیه این است. برنامهنویسی را میتوان از نظر تئوری فهمید، اما شهود لازم برای ساخت محصول فقط از طریق تجربههای عملی مکرر پرورش داده میشود. تنها سؤال این است که شما چه چیزی را دوست دارید — چون من معتقدم همه افراد نیاز قوی به ساختن مانند من را ندارند؛ اکثر مردم مقداری از این نیاز را دارند و کلید مسئله این است که آن را کشف کنند و سپس زمان بگذارند تا در آنچه واقعاً دوست دارند تخصص پیدا کنند.
صادقانه بگویم، فکر میکنم این فقط یک «خواسته» نیست، بلکه نیاز یا انگیزهی روانی عمیقی است. همسو کردن این انگیزه با چیزی و اختصاص زمان برای آن تا این تجربهها بهتدریج در ذهن جا بگیرند، حیاتی است. این همان چیزی است که سعی میکنم به فرزندانم آموزش دهم — کمک به آنها برای یافتن آنچه واقعاً علاقهمندند، اما اگر به بنبستی رسیدند، به آنها انگیزه بدهم.
یکی از دخترانم عاشق ساخت موسیقی است، اما درسهای پیانو را اصلاً دوست ندارد. به او گفتم: «لازم نیست متخصص پیانو شوی، اما اگر میخواهی موسیقی بسازی، باید درک شهودی از نظریهی موسیقی و نحوهی کارکرد آن داشته باشی. و وقتی پیانو را یاد بگیری، گیتار را بهراحتی میتوانی بگیری.» فکر میکنم، چه بهعنوان کودکی که نیاز به انگیزهدهی والدین دارد و چه بهعنوان بزرگسالی که انضباط لازم برای نشستن و اجازه دادن به این مفاهیم تا بهتدریج در مغز جا بگیرند را دارد، این نکته کلیدی است.
عصر طلایی سازندگان
میزبان: احساس میکنم در واقع همهی مردم میخواهند بسازند. فکر نمیکنم نسل Z تا این حد به دلیل کمبود عاملیت مورد انتقاد جهان بیرون قرار گرفته باشد. به نظر من افراد فقط به جرقهای نیاز دارند که قدرت ساختشان را روشن کند. شما در سخنرانیتان در هاروارد زیاد در این مورد صحبت کردید.
مارک: بله. وقتی من از «ساختن» صحبت میکنم، عمدتاً منظورم محصولاتی مانند نرمافزار و سختافزار است. اما موافقم که همه افراد مقداری انگیزهی خلاقانه دارند. با این حال، برخی افراد ویژگیهای شخصیتی قویتری دارند که این انگیزه را پوشاندهاند، مانند روح خدمتگزاری — کسانی که پزشک یا پرستار میشوند، انگیزهی اصلیشان این است: «من فقط میخواهم از دیگران مراقبت کنم.»
داستانی شنیدم، احتمالاً از تجربهی پریسیلا در دورهی پزشکی: در روز اول کلاس، کسی بلند شد و پرسید: «چند نفر از شما خاطراتی از دوران کودکی دارید که فردی را دیدهاید و فکر کردهاید: «واقعاً میخواهم از این فرد مراقبت کنم»؟» در نتیجه، همه دستهایشان را بالا آوردند. نسخهی من این است: خاطرات بسیاری از دوران کودکی دارم که فکر میکردم: «میخواهم این چیز را بهتر کنم.»
نه همه افراد انگیزهی یکسانی دارند، اما هر کس چیزی دارد که میخواهد انجام دهد. موافق هستم که با فناوریهای قبلی، شروع کار برای بسیاری از افراد دشوار بوده است. این هم همان چیزی است که بیشترین هیجان را برای من دربارهی هوش مصنوعی شخصی، موز (Muse) و دستیاران هوش مصنوعی مختلف ایجاد میکند — فکر میکنم برای اولین بار در تاریخ، افراد واقعاً میتوانند سریع شروع کنند. ایدهای مبهم دارید، هوش مصنوعی به شما کمک میکند تا آن را ترسیم کنید، سپس شما میتوانید آن را اصلاح کنید، مثل مجسمهسازی، بدون اینکه نیاز باشد قبل از شروع همه چیز را بفهمید.
فکر میکنم این بسیار قدرتمند است و بسیاری از افراد بهدلیل آن چیزی را که میخواهند بسازند یا پیش ببرند، پیدا خواهند کرد. این به افراد کمک میکند تا احساس عاملیت گستردهتری داشته باشند.
تا چه اندازه از پیروزی بر همهی بیماریها فاصله داریم؟
میزبان: پروژهی دیگری که خارج از متا انجام میدهید، پیروزی بر همهی بیماریها است. ابتدا از من بپرسید که واقعاً تا چه اندازه به این هدف نزدیک شدهایم؟
مارک: بسیار نزدیکتر از گذشته.
میزبان: واقعاً چقدر نزدیک فکر میکنید؟
مارک: وقتی این پروژه را اولین بار راهاندازی کردیم، هدف ما کمک به جامعهی علمی برای پیروزی بر همهی بیماریها تا پایان این قرن بود. هرگز قصد نداشتیم خودمان این کار را انجام دهیم؛ نظریهی ما این است: همهی پیشرفتهای علمی بزرگ پیش از آن توسط ابزارهای جدیدی آغاز میشوند که امکان اندازهگیری و درک امور خاصی را فراهم میکنند. برای مثال، اختراع میکروسکوپ به ما کمک کرد تا باکتریها را درک کنیم؛ تلسکوپ به درک جهان کمک کرد.
برخی از این ابزارها حتی بهعنوان پلتفرمهایی تبدیل شدهاند — برای مثال، اولین فردی که واکسن اختراع کرد، امکان استفاده از آن روش برای درمان بیماریهای بسیاری را فراهم کرد.
با این حال، تاریخیترین روش توزیع بودجه علمی بسیار غیرمتمرکز بوده است که به افراد اجازه میدهد بهصورت مستقل پژوهش کنند و بودجهٔ زیادی واقعاً صرف ساخت این ابزارهای بزرگ نشده است. آنچه ما در بیوهاپ (Biohub) انجام میدهیم طراحی چند ابزار جدید است تا امکان «دیدن» زیستشناسی به روشهای تازهای فراهم شود و جامعهٔ علمی را در شتاببخشیدن به پیشرفت یاری دهد.
در ابتدا فکر میکردیم که «پایان این قرن» هدفی بسیار قابلدستیابی است، اما بسیاری از زیستشناسان آن زمان آن را غیرممکن میدانستند. اما اکنون احساس میکنم پایان این قرن خیلی دور است.
پیشرفت هوش مصنوعی، همراه با مدلهای سلول مجازی که روی آنها کار میکنیم — ایدهٔ اصلی انجام آزمایشها بر روی سلولهای زندهٔ واقعی نیست، بلکه از مدلهای هوش مصنوعی برای شبیهسازی پروتئینها، سپس سلولها، و در نهایت سیستم ایمنی مجازی یا حتی یک موجود زندهٔ کامل یا انسانِ تمامقد استفاده میشود. این امکان را فراهم میکند که دانشمندان تعداد زیادی آزمایش انجام دهند و واکنشهای احتمالی تحت شرایط مختلف — مثلاً عواقب مصرف داروی خاصی در بدن فرد — را شبیهسازی کنند.
نمیخواهم سال دقیقی تعیین کنم، اما حدس میزنم خیلی زودتر از پایان این قرن اتفاق خواهد افتاد.
میزبان: هدف «پیروزی بر تمام بیماریها» احساسی هدفمند دارد، نه «جانافزایی». آیا جانافزایی امکانپذیر است؟
مارک: این حوزه واقعاً تخصص من نیست. من معتقدم این دو چیز متفاوتی هستند. «جانافزایی» بیشتر دربارهٔ افزایش طول عمر است — حتی اگر بیمار نشوید، بدن انسان عمر طبیعی مشخصی دارد که مسئلهای جداگانه و نیازمند مطالعهٔ مستقل است. برخی ممکن است این را نوعی «بیماری» بدانند که دیدگاهی منطقی است، اما من فکر میکنم مردم باید بر روی بیماریهایی که حتی پس از حل مسئلهٔ طول عمر هم همچنان باعث بیماری میشوند نیز کار کنند.
بخشی از مسئلهای که ما انتخاب کردهایم به این معنا نیست که هرگز سرماخوردگی نخواهید گرفت. ادعای ما «درمان، پیشگیری یا مدیریت» است: برخی بیماریها را میتوان کاملاً درمان کرد؛ برخی دیگر را بهنظر میرسد در آینده بتوانیم پیشگیری کنیم؛ و برخی دیگر شاید همچنان بیمار شوید، اما آنچه قبلاً آسیب جدی وارد میکرد یا حتی جانتان را میگرفت، اکنون قابل مدیریت بهعنوان یک بیماری مزمن و بدون تأثیر قابلتوجه بر کیفیت زندگیتان است.
هدف حفظ تعادل در بدن انسان است — نه اینکه هرگز با عوامل بیماریزا تماس نداشته باشیم، بلکه روزی بتوانیم تمام بیماریها را درمان، پیشگیری یا مدیریت کنیم.
متداولترین فکر در ذهن مارک چیست؟
میزبان: هوش مصنوعی در بسیاری از پیشرفتهای مختلف، از جمله هوش شخصی، نقش کاتالیزور داشته است. الان بیشتر به چه چیزی فکر میکنید؟ در این فرآیند بیشتر چه چیزهایی در ذهن شما میگذرد؟
مارک: این ممکن است هر هفته تغییر کند.
اکنون من بسیار روی موز (Muse) متمرکز هستم. هر بار که محصولی را منتشر میکنیم، سریع پیش میرویم، سپس با دنیای واقعی تعامل داریم، بازخوردهای مردم را درک میکنیم و میفهمیم قدم بعدی چیست — این مرحله همیشه هیجانانگیز است. ما اکنون در این مرحله هستیم و اطلاعات زیادی جمعآوری میکنیم تا بفهمیم مردم چه میخواهند. خبر خوب این است که مردم واقعاً از آن لذت میبرند، بنابراین ما تلاش میکنیم تا بیشترین تعداد ممکن از افراد از آن استفاده کنند.
هنوز کار زیادی روی مدل باقی مانده است؛ مدل موز اسپارک (Muse Spark) پیشرفت بزرگی داشته و امیدواریم بهطور مداوم پیش برویم تا مدلی جهانی را ایجاد کنیم.
چه پیشرفتهایی در ادامه لازم است؟
میزبان: چه پیشرفتهایی هنوز لازم است؟
مارک: در تحقیقات این حوزه ممکن است نتوانید چیزها را پیشبینی کنید. ما دربارهٔ برخی جهتها شهودهایی داریم و بخش عمدهای از کار طی سال گذشته در واقع گسترش زیرساختها بوده است.
حدود یک سال و نیم پیش، بیشتر افراد معتقد بودند که دستیابی به هوش فوقالعاده نیازمند پیشرفتهای معماری اساسی است. اما امروز من مطمئن نیستم که اینطور باشد. من معتقدم درک قابلتوجهی از «فرمول» داریم — اگر بتوانید خوشهای از ابررایانهها با ظرفیت کافی بسازید، با محاسبات نیرومند میتوانید به آنجا برسید.
ما این خوشه را در اوهایو میسازیم که ظرفیتی بالاتر از ۱ تراوات دارد و تقریباً آنلاین شده است؛ از آن برای آموزش نسل بعدی مدلها استفاده میکنیم. سپس خوشهٔ ۵ تراواتی لوئیزیانا نیز بهزودی فعال خواهد شد. من تخمین میزنم که وقتی خوشههایی با ظرفیت چند تراوات برای آموزش بهکار گرفته شوند، تقریباً میتوانیم به هوش عمومی مصنوعی (AGI) و حتی هوشی فراتر از آن برسیم.
اما این بهمعنای آن نیست که این بهترین راه است. مغز انسان فقط برای عملکرد ۱۰ وات انرژی نیاز دارد، درحالیکه سیستمهای محاسباتی که ما میسازیم حدود یک میلیون بار کمکاراییتر از مغز انسان هستند. بنابراین من واقعاً باور دارم که در معماری فضای بهبود وجود دارد و ما هم در این زمینه تحقیق میکنیم — اگر قدرت محاسباتی عظیم را با بهبودهای معماری ترکیب کنیم، واقعاً میتوانیم چیزی بسازیم که جهانی را پیشرو کند. اما برای اینکه هماکنون، مقیاسبندی خودش میتواند ما را بسیار دور ببرد.
میزبان: بله، مقیاسبندی قابلاطمینانترین مسیر است. در تحقیقات باید امید به پیشرفتهای بزرگ داشت، اما مقیاسبندی نتایج سریعی ایجاد میکند.
مارک: به همین دلیل شرکتهای بزرگ این مسیر را انتخاب میکنند. شاید راهحل ارزانتری وجود داشته باشد، اما تاکنون آن را نشناختهایم. این کار اهمیتی چنان بالا دارد که حتی اگر هزینهاش صدها میلیارد دلار باشد، به شرطی که احتمال موفقیت کافی باشد، انجام آن ارزشمند است—تا اطمینان حاصل شود که حتی اگر در نهایت راهحل ارزانتری یافت نشود، باز هم مسیر روشنی برای دستیابی به آن وجود دارد. البته اگر راهحل ارزانتری کشف شود، آن هم بهتر است.
پس من نمیخواهم بگویم این مشکل «حل شده» است، چون در هر مرحله از گسترش زیرساختها با چالشهای مهندسی جدیدی روبرو میشویم که باید عیبیابی و رفع شوند. خود پژوهش نیز به این شیوه تکرارشونده پیش میرود.
چگونه در نبرد ایمنی هوش مصنوعی پیروز شویم
میزبان: یکی از مهمترین امور فعلی، تمرکز بر همسویی (آلاینمنت) و ساختن مدلهای قابل اعتماد است.
مارک: بله. در صنعت دربارهٔ همسویی بحثهایی وجود دارد: آیا آزمایشگاههای هوش مصنوعی بهطور طبیعی این کار را انجام میدهند؟ دیدگاه من این است که قطعاً انجام میدهند. اگر به موز (Muse) دستوری بدهید و آن دقیقاً برعکس آن عمل کند، نمیدانم چند نفر هنوز تمایل به استفاده از آن داشته باشند. باید اطمینان حاصل کنیم که مدل نهتنها دقیقاً آنچه را که شما خواستهاید متوجه شود، بلکه قصد و ارزشهای شما را نیز درک کند تا کاری انجام ندهد که شما از آن راضی نباشید یا پیامدهای منفیای ایجاد کند که کاملاً ناخواستهتان است. این درک عمیق، در واقع همان همسویی است.
پس دیدگاه من این است که برای موفقیت موز و رسیدن آن به میلیاردها نفر، باید پیشرفت واقعی در زمینهٔ همسویی داشته باشیم، نه اینکه فقط دربارهاش صحبت کنیم.
میزبان: آیا همسویی از طریق واکنش کاربران با عبارت «این چیزی نیست که میخواستم» یا از طریق تشخیص داخلی سیستم شما حاصل میشود؟
مارک: هر دو. بازخورد کاربران وجود دارد، اما به نظر من روشن میشود که باید همسویی را در فرآیند آموزش، نه پس از راهاندازی، انجام داد. اکنون مدلها بهقدری هوشمند شدهاند که اگر در مرحلهٔ آموزش بهدرستی انجام نشود، بیشتر مشکلات ایمنی و حوادثی که در سایر آزمایشگاهها دیده میشود، در فرآیند آموزش رخ میدهد، نه پس از ارائه به کاربران.
باید برای آن برنامهآموزشی بسیار خوبی تنظیم کنید، مثل والدینی که به فرزندانشان درس میدهند و مرزهای واضحی تعیین میکنند. اگر کاری اشتباه انجام دهد، باید یاد بگیرد که «نه، باید این مسئلهٔ برنامهنویسی را حل کنی، نه اینکه با تغییر پیکربندی سیستم برای کسب پاداش از آن دور بزنی»—من میخواهم این روش را از طریق فرآیند واقعی حل مسئله یاد بگیری، و این همان معنای آموزش است.
این امر عمدتاً دربارهٔ ایجاد مکانیسمهای ایمنی مناسب و مرزهای شفاف است. همهٔ اینها وظایفی طبیعی هستند که صنعت باید انجام دهد و ما زمان زیادی صرف آن کردهایم؛ وضعیت هر روز تغییر میکند.
میزبان: به یاد دارم که شما گفتید موضوع ایمنی هوش مصنوعی—ظاهراً ناگهان در دو هفتهٔ گذشته به تمرکز تبدیل شده، اما در واقع رویداد واحدی وجود نداشته که این زمانبندی را رقم بزند. به نظر میرسد منظورتان این است که ما در واقع چند ماه اضافی را برای آموزش داخلی صرف کردهایم.
مارک: برای موز، ما میدانیم این محصول نیازمند توجه بسیار جدی به حریم خصوصی و ایمنی است. ما نسخهای اولیه از مدل داریم که معتقدیم میتوانیم رفتارهای مربوط به «مقیاس افشای اطلاعات» را در آن بیشتر آموزش دهیم—همانطور که قبلاً گفتیم. بنابراین زمان لازم را صرف این کار کردیم. همچنین زمانی را برای افزایش ایمنی ماشین مجازی صرف کردیم. این کار چند ماه اضافی طول کشید.
با برخی اظهارات سایر آزمایشگاهها—«ما برای کند کردن بسیار رنج میکشیم»—کاملاً موافق نیستم. از دید من، این کار درست برای متا و کاربران موز است. ما میخواهیم محصول خوبی ارائه دهیم؛ اگر محصول خوب نباشد، برای کاربران بد است و برای ما هم بد—ما نمیخواهیم محصولی را منتشر کنیم که تأثیر اولیهٔ بدی برجای بگذارد و سپس کاربران علاقهٔ خود را به استفاده از آن از دست بدهند.
من معتقدم همهٔ آزمایشگاهها انگیزهٔ درونی بسیار قویای برای انجام صحیح این کار دارند. اگر مکانیسمهای انگیزشی را با هدف «ارزش بسیار بالا و ایمنی کامل» همسو کنیم، این کلید موفقیت است.
میزبان: بسیار سپاسگزارم که در این هفتهٔ مهم زمان گذاشتید.
مارک: متشکرم، متشکرم.


