اکو تحلیل- گوگل چهارشنبه گذشته قابلیتی در گوگل ارث عرضه کرد که به کاربران اجازه می‌داد با تایپ یک پرامپت ساده، تصاویر ماهواره‌ای را دستکاری کنند. این ابزار در کمتر از ۲۴ ساعت به ابزاری برای تولید تصاویر جعلی از بمب‌گذاری در غزه، پناهندگان در مرز مکزیک و حتی نیروگاه هسته‌ای در ایران تبدیل شد و گوگل را مجبور به جمع‌آوری فوری آن کرد.

ابزاری که اعتماد به گوگل ارث را نشانه گرفت

به گزارش اکو تحلیل گوگل روز پنج‌شنبه (۳۰ جولای / ۸ مرداد) قابلیتی جدید در گوگل ارث (Google Earth) عرضه کرد که به کاربران اجازه می‌داد با استفاده از هوش مصنوعی و وارد کردن یک پرامپت متنی، تصاویر ماهواره‌ای را به‌صورت لحظه‌ای ویرایش کنند. این ابزار که روی مدل Nano Banana 2 اجرا می‌شد، در عمل به کاربران امکان می‌داد تا دنیای واقعی را به‌صورت دیپ‌فیک (deepfake) بازآفرینی کنند.

اما این ابزار پیش از آنکه یک روز کامل شود، به یکی از جنجالی‌ترین اشتباهات گوگل در سال‌های اخیر تبدیل شد.

از بمب در غزه تا نیروگاه هسته‌ای در ایران

تنها ساعاتی پس از عرضه، کاربران شروع به تولید تصاویر جعلی کردند که مرزهای اخلاقی و سیاسی را درنوردید. هنک ون اس (Henk van Ess)، محقق حوزه هوش مصنوعی در وب‌سایت Digital Digging، با استفاده از این ابزار تصاویری تولید کرد که در آنها پناهندگان در نزدیکی مرز مکزیک و یک دهانه بمب در کنار بیمارستانی در غزه دیده می‌شد. ون اس همچنین مدعی شد که با این ابزار موفق به تولید تصویری از نیروگاه هسته‌ای در ایران شده است.

ون اس در آزمایش‌های خود اعلام کرد: «هیچ چیزی رد نشد، هیچ چیزی ملایم نشد و هیچ پیشنهادی برای تلاش با پرامپت متفاوت دریافت نکردم».

واکنش گوگل؛ از اطمینان تا عقب‌نشینی در ۲۴ ساعت

واکنش اولیه گوگل روز پنج‌شنبه: شرکت اعلام کرد تصاویر تولیدشده دارای واترمارک دیجیتال هستند و سیستم از «ایجاد تصاویر در موضوعات مضر» جلوگیری می‌کند.

واکنش نهایی گوگل روز جمعه (۳۱ جولای / ۹ مرداد): شرکت در بیانیه‌ای جدید اعلام کرد: «می‌دانیم که مردم به گوگل ارث به‌عنوان نمایی قابل‌اعتماد از جهان اعتماد دارند… ما شاهد بوده‌ایم که افراد تصاویر تولیدشده‌ای را به اشتراک می‌گذارند که ظاهراً سیاست‌های ما را نقض می‌کنند. بنابراین این قابلیت را در گوگل ارث جمع‌آوری می‌کنیم تا زمانی که محافظ‌های قوی‌تری پیاده‌سازی کنیم».

گوگل در این بیانیه تأکید کرد که تصاویر تولیدشده در تجربه اصلی گوگل ارث برای دیگران قابل‌مشاهده نبوده و به‌عنوان تصاویر تولیدشده توسط هوش مصنوعی واترمارک داشته‌اند.

زنگ خطر برای ابزارهای تشخیص دیپ‌فیک

ون اس در ادامه آزمایش‌های خود نشان داد که با وجود واترمارک، موفق شده ابزار تشخیص هوش مصنوعی Hive را با یک ویدئوی تولیدشده در گوگل ارث فریب دهد نشان‌دهنده آنکه محتوای تولیدشده می‌تواند با وجود واترمارک‌ها در فضای مجازی منتشر شود.

تحلیل اکو تحلیل: سه درس برای عصر هوش مصنوعی

درسپیام
اعتماد عمومی، سرمایه‌ای غیرقابل‌بازگشتگوگل ارث یکی از معدود پلت‌فرم‌هایی است که کاربران به «واقعی بودن» آن اعتماد دارند. عرضه ابزاری که این اعتماد را نقض می‌کند، حتی به‌مدت ۲۴ ساعت، می‌تواند خسارت‌های جبران‌ناپذیری به برند وارد کند
قوانین هوش مصنوعی بدون «محافظ» غیرقابل‌اجرا هستندگوگل ادعا کرد سیستم از موضوعات مضر جلوگیری می‌کند، اما ون اس نشان داد هیچ محدودیتی در عمل وجود نداشته. وعده‌های امنیتی بدون پیاده‌سازی فنی، صرفاً یک «توهم کنترل» است
واترمارک به‌تنهایی کافی نیستحتی با وجود واترمارک و عدم نمایش عمومی تصاویر، کاربران توانستند از آنها اسکرین‌شات بگیرند و در شبکه‌های اجتماعی منتشر کنند. در عصر دیپ‌فیک، «قابلیت ردیابی» به‌اندازه «قابلیت پیشگیری» اهمیت ندارد

نکته کلیدی: ماجرای ۲۴ ساعته گوگل ارث نشان داد که حتی بزرگ‌ترین شرکت‌های فناوری نیز در مواجهه با هوش مصنوعی مولد، اگر محافظ‌های قوی و فرآیندهای آزمایش واقعی نداشته باشند، با سرعتی باورنکردنی از مسیر خارج می‌شوند. گوگل این ابزار را جمع کرد، اما تصاویر جعلی تولیدشده در این ۲۴ ساعت از بمب در غزه تا نیروگاه در ایران برای همیشه در اینترنت باقی خواهند ماند.