كيف يعمل
ما الذي يحدث فعلًا على حاسوبك
لا مخطط من صناديق وأسهم. إليك الصورة كاملة، بالترتيب الذي ستصادفها به.
تعمل بيئة التشغيل والإجابات على المستندات مع الاستشهاد بالمصادر لدى المختبِرين المعتمدين. تطبيق سطح المكتب وصورة الحاوية مخطط لهما ولم يُبنيا بعد. الأزمنة المنشورة لا تنطبق إلا على العتاد المذكور في كل اختبار أداء.
أنت تختار العمل، وAI Stays Local يتولى إعداد النموذج وبيئة التشغيل.
فحص العتاد
المعالج، والمسرّع، ونوع الذاكرة، وسرعة التخزين، وما يحتاج نظام التشغيل إلى الاحتفاظ به لنفسه.
ترشيح إعداد مُتحقق منه
أقدر فئة نموذج يستطيع ذلك الجهاز تشغيلها جيدًا، تُختار من بين فئات لها أدلة منشورة، مع ذكر قيودها قبل تنزيل أي شيء.
الحصول على النموذج وإعداده
من الناشر أو من مستودع معتمد، بمراجعة ثابتة لا تتغير، ويُتحقق منه قبل وسمه بأنه جاهز، مع إعداد بيئة التشغيل لذلك الجهاز.
التشغيل محليًا
حاليًا عبر سطر الأوامر أو الـ API المحلي، للمختبِرين المختارين. تطبيق سطح المكتب وصورة الحاوية مخطط لهما.
اختر مستنداتك
حدّد المجلدات التي تريده أن يعرفها. لا يُقرأ شيء خارجها، ويمكنك استعادة أي مجلد في أي وقت.
اسأل بطبيعتك
بلغة عادية، كما تسأل زميلًا قرأ كل شيء ويتذكره كله.
إجابات مع مصادر محلية
كل إجابة من مستنداتك تذكر الملف والصفحة وراءها، لتتحقق من المعلومة بنفسك.
كل أداة ذكاء اصطناعي مفيدة تطلب منك الرفع أولًا
صار هذا النمط مألوفًا إلى حد أنه لم يعد يُرى قرارًا. تحتاج مساعدة في عقد، أو في ملاحظات قضية، أو في السجلات المالية لعميل، فترفق الملف، فيذهب إلى بنية تحتية لا تملكها، وفق شروط لم تتفاوض عليها، إلى سجلات لا تستطيع رؤيتها.
بالنسبة إلى معظم الناس، في معظم الأحيان، هذه مقايضة مقبولة. أما المستند الذي يلزمك عملك بحمايته، فقد تكون مقايضة لا يُسمح لك بها أصلًا. والبديل كان عادةً الاستغناء عن المساعدة.
يمكن للنموذج أن يأتي إلى المستند بدلًا من ذلك.
نماذج كبيرة دون غرفة مليئة بوحدات GPU.
الفئة المُتحقق منها لا تحتاج إلى مزرعة GPU.
معظم البنى التحتية للنماذج الكبيرة تحتفظ بمجموعات ضخمة من الأوزان في ذاكرة المسرّعات. هذا يعطي سرعة ممتازة، ويتطلب عتادًا باهظ الثمن.
تفتح نماذج Mixture-of-Experts طريقًا آخر. لا يشارك في كل رمز مولَّد إلا جزء من الخبراء المتخصصين، لذلك تستطيع بيئة تشغيل تراعي العتاد أن تُبقي المكونات كثيرة الاستخدام في الذاكرة وأن تبث الباقي من تخزين NVMe المحلي عند استدعائه.
النشر التقليدي
- كامل أوزان النموذج في الذاكرة
- عدة وحدات GPU لمراكز البيانات
- حاجة كبيرة إلى ذاكرة المسرّعات
- سحابة أو عنقود خوادم مخصص
بنية AI Stays Local
- النموذج مخزَّن محليًا
- موجِّه الخبراء يختار لكل رمز
- تفعيل الخبراء المختارين فقط
- ذاكرة RAM والحوسبة المحلية
- بث الخبراء من NVMe
- تسريع GPU اختياري
- لا يلزم عنقود GPU
- لا يلزم الاستدلال السحابي
إنها مقايضة عملية: ملكية محلية ووصول إلى نماذج أكبر بكثير، دون أن يضطر كل معامل إلى البقاء في ذاكرة GPU في الوقت نفسه.
متطلبات العتاد والسرعة تعتمد على النموذج. قد تتطلب الأنظمة الأكبر ذاكرة RAM كبيرة وتخزين NVMe سريعًا، وقد تكون النماذج ذات الحجم الهائل أبطأ من الاستدلال السحابي.
النموذج ملف تنزّله مرة واحدة
ما يفاجئ الناس هو مدى عاديته. النموذج ملف كبير: بضعة غيغابايت، وأحيانًا أكثر. يقبع على قرصك. حين تسأل، يجري حاسوبك الحسابات التي تحوّل سؤالك إلى إجابة، بالمعنى نفسه الذي يجري به حسابات جدول بيانات. لا شيء مستأجَر ولا شيء يُحاسَب بالاستهلاك.
ما يكلفك ذلك هو القدرة. النموذج الصغير بما يكفي ليعمل على حاسوب محمول ليس أكبر نموذج في العالم، وسيخسر أمامه في الاستدلال الصعب حقًا. أما ما يكسبه فهو كل ما عدا ذلك: مستنداتك تبقى في مكانها، ويعمل على متن الطائرة، ولا أحد يحاسبك عن كل سؤال.
إيقاف مجلد يحذف فهرسه من هذا الجهاز.
منح الوصول إلى مجلد هو نموذج الأذونات كله
يقرأ AI Stays Local ما تمنحه ولا شيء غيره. منح الوصول إلى مجلد يبني له فهرسًا على جهازك، فهرسًا للكلمات يجعل المجلد قابلًا للبحث. وسحب الوصول يحذف هذا الفهرس.
لا يوجد حساب يحتفظ بملفاتك، لأنه لا يوجد أصلًا حساب يحتفظ بملفاتك. صُمّم Privacy Centre ليكون الشاشة الوحيدة التي تجيب بنظرة واحدة: ما القابل للقراءة، وما المفهرس، وهل يُسمح لأي شيء بالخروج.
إجابة تعرض مصدرها
حين تأتي الإجابة من مستنداتك، تحمل اسم الملف والمقطع الذي استخدمته. هذا ليس زينة. النماذج اللغوية تخطئ بثقة، والحماية العملية الوحيدة لمن تقع على عاتقه التزامات مهنية هي أن ينقر وصولًا إلى الفقرة ويقرأها بنفسه.
أنت
ما مدة الإشعار التي يجب أن أمنحها لـ Kaplan & Ruiz، وهل تختلف عن اتفاقية Nordwind؟
AI Stays Local
ثلاثون يومًا لـ Nordwind، وستون لـ Kaplan & Ruiz. تُحتسب المدتان من تاريخ الإشعار الكتابي، وبند Nordwind يشترط أن يكون كتابيًا إلى العنوان المسجل لا عبر البريد الإلكتروني.
لا تسمح أي من الاتفاقيتين بالإنهاء للملاءمة خلال السنة الأولى.
جهاز واحد يؤدي العمل
يجري العمل على جهاز واحد تتحكم فيه، لأن المعالج والذاكرة والمستندات موجودة هناك أصلًا. والخطة بعد ذلك ليست بعثرة بياناتك على أجهزة أكثر، بل تمكين الأجهزة التي تثق بها من الوصول إلى الجهاز الواحد الذي يحتفظ بها.
سطح المكتب
تطبيق سطح المكتب الموجَّه. مخطط له ولم يُبنَ بعد؛ حاليًا تُستخدم بيئة التشغيل عبر سطر الأوامر والـ API المحلي.
مخطط لهحواسيبك الأخرى
الوصول إلى الجهاز الذي يحتفظ بمستنداتك عبر شبكتك الخاصة.
مخطط لهالهاتف والجهاز اللوحي
اتصال خاص يعود إلى جهازك أنت، بدل نسخة ثانية من بياناتك.
مخطط له