Cy Logic Insights

حاکمیت هوش مصنوعی: چارچوبی عملی برای سازمان‌ها (در پرتو NIST AI RMF، ISO/IEC 42001 و قانون حفاظت از داده‌ها)

هنگام ورود هوش مصنوعی به فرآیندهای کسب‌وکار، چه کسی چه چیزی را تأیید می‌کند، کدام کاربرد ممنوع است و در صورت بروز خطا چه اتفاقی می‌افتد؟ یک مدل حاکمیتی مبتنی بر استانداردهای بین‌المللی که تیم‌های کوچک نیز می‌توانند آن را پیاده‌سازی کنند.

ابزارهای هوش مصنوعی از دو مسیر وارد سازمان‌ها می‌شوند: پروژه‌های برنامه‌ریزی‌شده و ابزارهایی که خود کارکنان به طور مستقل استفاده می‌کنند. دومی غالباً نامرئی است و نیازمندی به حاکمیت را ایجاد می‌کند: چسباندن داده‌های مشتری به یک ابزار چت، ورود یک خلاصه با منبع نامشخص به گزارش، یا عدم پذیرش مسئولیت تصمیم یک مدل توسط هیچ‌کس. در این مقاله، مدل حاکمیتی ساده‌شده‌ای را پیشنهاد می‌کنیم که از چارچوب‌های بزرگ سازمانی مشتق شده و برای سازمان‌های کوچک و متوسط قابل اجرا است.

چارچوب‌هایی که بر آن‌ها تکیه می‌کنیم

  • چارچوب مدیریت ریسک هوش مصنوعی NIST (نسخه AI RMF 1.0): با توابع اداره کردن، نگاشت، اندازه‌گیری و مدیریت (govern, map, measure, manage) رویکردی ریسک‌محور ارائه می‌دهد.
  • استاندارد ISO/IEC 42001:2023: استاندارد سیستم مدیریت هوش مصنوعی؛ منطق سیستم مدیریتی مشابه با ISO 27001 را روی هوش مصنوعی پیاده‌سازی می‌کند.
  • قانون هوش مصنوعی اتحادیه اروپا (AI Act): حوزه‌های کاربرد را به کلاس‌های ریسک تقسیم می‌کند؛ می‌تواند برای سازمان‌هایی که با اتحادیه اروپا تجارت می‌کنند، تعهداتی ایجاد کند.
  • مقررات داده‌های شخصی: KVKK در ترکیه، قانون حفاظت از داده‌های شخصی در قبرس شمالی، و GDPR در اتحادیه اروپا؛ اختصاصی هوش مصنوعی نیستند اما هرگونه استفاده از هوش مصنوعی تابع این قوانین است.

این چارچوب‌ها بزرگ به نظر می‌رسند؛ اما هسته آن‌ها را می‌توان به چهار سوال تقلیل داد: از چه چیزی استفاده می‌کنیم؟ با چه داده‌ای؟ چه کسی مسئول است؟ اگر خطایی رخ دهد چه می‌شود؟

۱. سیاهه دارایی‌ها (Inventory): از چه چیزی استفاده می‌کنیم؟

گام اول، فهرست کردن تمام کاربردهای هوش مصنوعی در سازمان است: پروژه‌های رسمی، ویژگی‌های تعبیه‌شده در نرم‌افزارها و ابزارهایی که کارکنان به صورت فردی استفاده می‌کنند. در هر ثبت، هدف از کاربرد، نوع داده ورودی، محل استفاده از خروجی و شخص مسئول ذکر می‌شود. این سیاهه، معادل هوش مصنوعی سیاهه دارایی‌ها در ISO 27001 است.

۲. طبقه‌بندی داده‌ها: کدام داده می‌تواند به کدام ابزار برود؟

یک طبقه‌بندی ساده سه سطحی برای بیشتر سازمان‌ها کافی است: عمومی، درون‌سازمانی و محرمانه (داده‌های شخصی، داده‌های مالی، قراردادها). نمونه قانون: داده‌های کلاس محرمانه فقط می‌توانند به مدل‌های در حال اجرای درون‌سازمانی (محلی) داده شوند؛ داده‌های درون‌سازمانی می‌توانند به سرویس‌های دارای قرارداد و شرایط پردازش داده مشخص منتقل شوند؛ برای داده‌های عمومی هیچ محدودیتی وجود ندارد. توضیح این قانون به کارکنان با یک راهنمای تک‌برگی، مؤثرتر از سیاست‌های طولانی است.

۳. کلاس‌های کاربردی و تأیید انسانی

هر کاربرد را بر اساس تأثیر آن طبقه‌بندی کنید:

  1. پشتیبان: متن پیش‌نویس، خلاصه، پیشنهاد کد. انسان تصمیم نهایی را می‌گیرد؛ تأیید از قبل به صورت ساختاری وجود دارد.
  2. کمک‌تصمیم‌گیرنده: تحلیل مالی، امتیاز ریسک، پیش‌گزینش کاندیدا. خروجی بدون بررسی توسط یک انسان پردازش نمی‌شود؛ ذکر منبع الزامی است.
  3. فرآیند خودکار: خروجی مدل مستقیماً یک عملیات را فعال می‌کند. برای اکثر سازمان‌ها، این کلاس نباید بدون ارزیابی ریسک صریح و مکانیزم بازگشت به عقب استفاده شود.
هدف از حاکمیت، کند کردن هوش مصنوعی نیست؛ بلکه تعیین پیش‌فرض این است که کدام کاربرد باید سریع و کدام‌یک با احتیاط انجام شود.

۴. مسئولیت و ثبت (Logging)

هر کاربرد هوش مصنوعی باید یک صاحب کسب‌وکار داشته باشد؛ نه تیم فنی، بلکه صاحب فرآیندی که خروجی در آن استفاده می‌شود. سیستم‌ها باید ثبت کنند که چه کسی با چه داده‌ای چه خروجی را دریافت کرده است. بدون ثبت (Logs)، نه تحلیل خطا و نه پاسخگویی در برابر مقررات ممکن نیست.

۵. مدیریت خطا و رویداد

مدل‌ها ممکن است خروجی‌های نادرست، مغرضانه یا ساختگی تولید کنند. مدل حاکمیتی تعریف می‌کند که این اتفاق «رخ نخواهد داد» نه، بلکه «وقتی رخ داد چه باید کرد»: راهکار کاربران برای گزارش خطا، بازبینی تصمیمات تحت تأثیر، و در صورت لزوم توقف موقت کاربرد. این امر، توسعه مدیریت رویداد امنیت اطلاعات برای هوش مصنوعی است.

۶. ارزیابی تأمین‌کننده

اگر از سرویس خارجی استفاده می‌شود، قرارداد باید پاسخگوی این سوالات باشد: آیا ورودی‌ها در آموزش مدل استفاده می‌شوند؟ داده در کدام کشور پردازش می‌شود؟ مدت زمان نگهداری چقدر است؟ زیر-پردازشگران چه کسانی هستند؟ این سوالات دارای همان منطق قراردادهای پردازش داده تحت GDPR و KVKK هستند.

بسته شروع برای تیم‌های کوچک

  • راهنمای کاربردی تک‌برگی (ابزارهای مجاز، کلاس‌های داده، ممنوعیت‌ها).
  • جدول سیاهه (ابزار، هدف، داده، مالک).
  • قانون «ذکر منبع و تأیید» برای کاربردهای کمک‌تصمیم‌گیرنده.
  • جلسه بازبینی سه‌ماهه.

نمونه راهنمای کاربردی (تک‌برگی)

متن زیر یک نمونه خیالی از راهنمایی است که یک سازمان می‌تواند بین کارکنان خود توزیع کند؛ باید بر اساس ابزارها و کلاس‌های داده خود سازمان تطبیق داده شود.

ابزارهای مجاز: دستیار درون‌سازمانی (تمام کلاس‌های داده)؛ سرویس خارجی قرارداددار X (فقط داده‌های عمومی و درون‌سازمانی).

چیزهایی که هرگز به اشتراک گذاشته نمی‌شوند: داده‌های شخصی مشتریان، اطلاعات حقوق و دستمزد، قراردادها، اطلاعات دسترسی؛ به هیچ ابزار خارجی.

استفاده از خروجی: پیش‌نویس هوش مصنوعی قبل از خوانده شدن و اصلاح توسط یک انسان، وارد مشتری، سند رسمی یا تصمیم‌گیری نمی‌شود.

منبع: هر ادعای واقعی ناشی از هوش مصنوعی با منبع آن تأیید می‌شود.

گزارش‌دهی: هنگامی که متوجه خروجی نادرست، مغرضانه یا مشکوکی شدید، به آدرس ... گزارش دهید؛ گزارش‌دهی دلیلی برای تنبیهی نخواهد بود.

نمونه جدول سیاهه دارایی‌ها

کاربردابزارکلاس دادهکلاس کاربردیصاحب کسب‌وکار خلاصه‌سازی یادداشت جلسهدستیار درون‌سازمانیدرون‌سازمانیپشتیبانعملیات جستجوی ماده قراردادRAG درون‌سازمانیمحرمانهکمک‌تصمیم‌گیرندهحقوقی پیش‌نویس رسانه‌های اجتماعیسرویس خارجی Xعمومیپشتیبانبازاریابی پیش‌بینی جریان نقدیمدل درون‌سازمانیمحرمانهکمک‌تصمیم‌گیرندهمالی

کنترل‌های فنی: اتصال سیاست به کد

حاکمیت تنها با سند پیش نمی‌رود؛ سیستم‌ها باید سیاست را اعمال کنند:

  • دسترسی فیلترشده با مجوز: دستیار نمی‌تواند داده‌هایی را که کاربر مجاز به دیدن آن‌ها نیست، ببیند (در سطح پایگاه داده).
  • ثبت (Logging): هر پرس و جو و پاسخ، به همراه اطلاعات کاربر و زمان ذخیره می‌شود؛ مجوز دسترسی و مدت نگهداری تعریف شده است.
  • دروازه تأیید: خروجی‌های موجود در کلاس کمک‌تصمیم‌گیرنده بدون علامت «تأیید شده» توسط یک انسان، در جریان کار پیش نمی‌روند.
  • دروازه سرویس خارجی: درخواست‌های ارسالی به سرویس‌های خارجی از یک دروازه واحد عبور می‌کنند؛ داده‌های کلاس محرمانه در این دروازه مسدود شده و ثبت می‌شوند.

اندازه‌گیری: چه چیزی را باید پیگیری کرد؟

عملکرد «اندازه‌گیری» در NIST AI RMF را می‌توان به سه شاخص ساده برای سازمان تقلیل داد: تعداد و نوع خطاهای گزارش‌شده، نرخ خروجی‌های ردشده در تأیید انسانی (نه هدف کمی، بلکه روند)، و شناسایی استفاده‌های خارج از سیاهه. این شاخص‌ها در بازبینی فه‌ماهه بررسی می‌شوند؛ هدف تنبیه نیست، بلکه بهبود قوانین و ابزارها است.

سوال متداول: «آیا این ما را کند نمی‌کند؟»

یک مدل حاکمیتی طراحی‌شده به نحو احسن، کاربردهای پشتیبان را تقریباً اصلاً محدود نمی‌کند؛ بلکه کاربردهای نیازمند دقت را از قبل تعیین می‌کند. چیزی که کند می‌کند حاکمیت نیست، بلکه ابهام قوانین است: کارمندی که نمی‌داند از کدام ابزار می‌تواند استفاده کند یا اصلا استفاده نمی‌کند یا اشتباه استفاده می‌کند. شفافیت پیش‌شرط سرعت است.

ما در Cy Logic، در سیستم‌های هوش مصنوعی که توسعه می‌دهیم، اعتبارسنجی، احراز هویت و ثبت حسابرسی را به عنوان اجزای اجباری در نظر می‌گیریم؛ مدل حاکمیتی جنبه سازمانی این موارد است و باید همراه با معماری فنی طراحی شود.