উইন্ডোজ 11 পিসিতে স্থানীয়ভাবে এলএলএম চালানোর জন্য বিনামূল্যের টুল

আপনি কি চান যে আপনার ডেটা ব্যক্তিগত থাকুক এবং কখনই আপনার ডিভাইসটি ছেড়ে যাবে? ক্লাউড এলএলএম পরিষেবাগুলি প্রায়শই API কলগুলির উপর ভিত্তি করে চলমান সাবস্ক্রিপশন ফি সহ আসে। এমনকি প্রত্যন্ত অঞ্চলের ব্যবহারকারীরা বা যারা অবিশ্বস্ত ইন্টারনেট সংযোগ রয়েছে তারা বিশেষভাবে ক্লাউড পরিষেবাগুলি পছন্দ করেন না। তাহলে সমাধান কি?

সৌভাগ্যবশত, স্থানীয় LLM টুলগুলি এই খরচগুলি দূর করতে পারে এবং ব্যবহারকারীদের তাদের হার্ডওয়্যারে মডেলগুলি চালানোর অনুমতি দেয়। সরঞ্জামগুলি অফলাইনে ডেটা প্রক্রিয়াও করে যাতে কোনও বহিরাগত সার্ভার আপনার তথ্য অ্যাক্সেস করতে না পারে। আপনি আপনার কর্মপ্রবাহের জন্য নির্দিষ্ট ইন্টারফেসের উপর আরও নিয়ন্ত্রণ পাবেন।

এই গাইডে, আমরা জড়ো করেছি বিনামূল্যে স্থানীয় এলএলএম টুলস আপনার গোপনীয়তা, খরচ, এবং কর্মক্ষমতা চাহিদা পূরণ করার সময় আপনার সমস্ত শর্ত পূরণ করতে।

ডাব্লুপিএ এবং ওয়েপের মধ্যে পার্থক্য

উইন্ডোজ 11 পিসিতে স্থানীয়ভাবে এলএলএম চালানোর জন্য বিনামূল্যের টুল

এখানে কিছু বিনামূল্যের স্থানীয় এলএলএম টুল রয়েছে যেগুলি হ্যান্ডপিক করা হয়েছে এবং ব্যক্তিগতভাবে পরীক্ষা করা হয়েছে।

1. জান
2. এলএম স্টুডিও
3. GPT4ALL
4. এলএলএম যেকোনো কিছু
5. হতে

1] জান

আপনি কি ChatGPT এর সাথে পরিচিত? যদি তাই হয়, Jan হল একটি সংস্করণ যা অফলাইনে কাজ করে। আপনি ইন্টারনেট ছাড়াই আপনার ব্যক্তিগত ডিভাইসে এটি চালাতে পারেন। এটি আপনাকে ব্যক্তিগতভাবে আপনার স্থানীয় নেটওয়ার্কে পাঠ্য ডেটা তৈরি, বিশ্লেষণ এবং প্রক্রিয়া করতে দেয়।

এটি মিস্ট্রাল, এনভিডিয়া বা ওপেনএআই-এর মতো সেরা মডেলগুলির সাথে আসে যা আপনি অন্য সার্ভারে ডেটা না পাঠিয়ে ব্যবহার করতে পারেন। আপনি অগ্রাধিকার দিলে এই টুলটি উপযুক্ত তথ্য নিরাপত্তা এবং ক্লাউড-ভিত্তিক এলএলএম-এর একটি শক্তিশালী বিকল্প চাই।

বৈশিষ্ট্য

• পূর্ব-নির্মিত মডেল: এটি ইনস্টল করা AI মডেলগুলি সরবরাহ করে যা অতিরিক্ত পদ্ধতি ছাড়াই ব্যবহারের জন্য প্রস্তুত।
• কাস্টমাইজেশন: ড্যাশবোর্ডের রঙ পরিবর্তন করুন এবং থিমটিকে কঠিন বা স্বচ্ছ করুন।
• বানান পরীক্ষা: বানান ভুল ঠিক করতে এই বিকল্পটি ব্যবহার করুন।

পেশাদার

• আলিঙ্গন মুখ উৎস ব্যবহার করে আপনার মডেল আমদানি করুন.
• এটি কাস্টমাইজেশনের জন্য এক্সটেনশন সমর্থন করে।
• বিনা মূল্যে

কনস

• কম কমিউনিটি সাপোর্ট জানের কমিউনিটি সাপোর্টের অভাব রয়েছে এবং ব্যবহারকারীরা কম টিউটোরিয়াল এবং রিসোর্স খুঁজে পেতে পারে।

এখানে এলএলএম দেখুন

2] এলএম স্টুডিও

দেখুন উইন্ডোতে নিয়ম লঙ্ঘন

LM স্টুডিও ভাষা মডেল ব্যবহার করার জন্য আরেকটি টুল, যেমন স্থানীয়ভাবে ChatGPT। এটি আপনার অনুরোধগুলি বুঝতে এবং সাড়া দেওয়ার জন্য বড়, উন্নত মডেলগুলি অফার করে৷ কিন্তু, ক্লাউড-ভিত্তিক মডেলের বিপরীতে, আপনি আপনার ডিভাইসে থাকুন। অন্য কথায়, এর ব্যবহারের উপর আরও গোপনীয়তা এবং নিয়ন্ত্রণ রয়েছে।

এলএম স্টুডিও আপনার মেশিন থেকে পাঠ্যের সংক্ষিপ্তসার, বিষয়বস্তু তৈরি করতে, আপনার পছন্দসই প্রশ্নের উত্তর দিতে পারে, এমনকি কোডিং-এ সহায়তা করতে পারে। একটি মডেল চালানোর আগে, আপনি আপনার সিস্টেম এটি পরিচালনা করতে পারে কিনা সে সম্পর্কে একটি প্রতিবেদন পেতে পারেন। এটি আপনাকে আপনার সময় এবং সংস্থানগুলি শুধুমাত্র সামঞ্জস্যপূর্ণ মডেলগুলিতে ব্যয় করতে দেয়৷

বৈশিষ্ট্য

• ফাইল সংযুক্তি এবং RAG: আপনি চ্যাটবক্সের অধীনে PDF, docx, txt এবং CSV ফাইল আপলোড করতে পারেন এবং সেই অনুযায়ী প্রতিক্রিয়া পেতে পারেন।
• কাস্টমাইজেশন পরিসীমা: এটি একাধিক রঙের থিম অফার করে এবং আপনাকে ইন্টারফেসের জটিলতা স্তর নির্বাচন করতে দেয়।
• সম্পদের ঘনত্ব: এটি বিনামূল্যে ডকুমেন্টেশন এবং টুল শেখার এবং ব্যবহার করার উপায় অফার করে।

পেশাদার

• আপনি এটি লিনাক্স, ম্যাক বা উইন্ডোজে ব্যবহার করতে পারেন।
• ডেভেলপারদের জন্য স্থানীয় সার্ভার সেটআপ।
• এটি মডেলগুলির একটি কিউরেটেড প্লেলিস্ট অফার করে৷

কনস

• কাজ শুরু করা জটিল হতে পারে, বিশেষ করে নতুনদের জন্য।

এখানে এলএলএম দেখুন

3] GPT4ALL

GPT4ALL হল আরেকটি LLM টুল যা ইন্টারনেট সংযোগ বা এমনকি API ইন্টিগ্রেশন ছাড়াই আপনার ডিভাইসে মডেল চালাতে পারে। এই প্রোগ্রামটি জিপিইউ ছাড়াই চলে, যদিও এটি উপলব্ধ থাকলে সেগুলিকে লিভারেজ করতে পারে, যা এটিকে অনেক ব্যবহারকারীর জন্য উপযুক্ত করে তোলে। এটি LLM আর্কিটেকচারের একটি পরিসরকেও সমর্থন করে, যা এটিকে ওপেন সোর্স মডেল এবং ফ্রেমওয়ার্কের সাথে সামঞ্জস্যপূর্ণ করে তোলে।

এটি LLM-এর জন্য ব্যাকএন্ড হিসাবে llama.cpp ব্যবহার করে, যা উচ্চ-সম্পদ পরিকাঠামো ছাড়াই CPU এবং GPU-তে মডেলের কার্যকারিতা উন্নত করে। GPT4ALL উভয় ইন্টেল এবং এএমডি প্রসেসরের সাথে সামঞ্জস্যপূর্ণ; এটি দ্রুত প্রক্রিয়াকরণের জন্য GPU ব্যবহার করে।

বৈশিষ্ট্য

• স্থানীয় ফাইল মিথস্ক্রিয়া: মডেলগুলি স্থানীয় ফাইলগুলির সাথে অনুসন্ধান এবং ইন্টারঅ্যাক্ট করতে পারে। পিডিএফ বা টেক্সট ডকুমেন্টের মতো, স্থানীয় ডক্স ব্যবহার করে।
• দক্ষ: অনেক মডেল 4-বিট সংস্করণে পাওয়া যায়, যা কম মেমরি এবং প্রক্রিয়াকরণ ব্যবহার করে।
• বিস্তৃত মডেল লাইব্রেরি: GPT4ALL-এর কাছে Hugging Face-এর মতো সংগ্রহস্থল থেকে 1000টিরও বেশি ওপেন-সোর্স মডেল রয়েছে৷

পেশাদার

• ওপেন সোর্স এবং স্বচ্ছ
• এটি স্থানীয়ভাবে এআই ব্যবহার করার জন্য উদ্যোগগুলির জন্য একটি নির্দিষ্ট প্যাকেজ অফার করে।
• GPT4ALL দৃঢ়ভাবে গোপনীয়তার উপর ফোকাস করে

কনস

• এআরএম প্রসেসরের জন্য সীমিত সমর্থন যেমন Chromebooks

এখানে এলএলএম দেখুন

4] যেকোন কিছু এলএলএম

এনিথিংএলএলএম একটি ওপেন সোর্স এলএলএম যা উচ্চ কাস্টমাইজেশন এবং একটি ব্যক্তিগত এআই অভিজ্ঞতা প্রদান করে। এটি ব্যবহারকারীদের তাদের স্থানীয় ডিভাইস, যেমন ম্যাক, উইন্ডোজ বা লিনাক্সে LLMs অফলাইনে স্থাপন এবং চালাতে দেয়, সম্পূর্ণ নিশ্চিত করে ডেটা গোপনীয়তা।

অধিকন্তু, টুলটি একক ব্যবহারকারীদের জন্য সবচেয়ে উপযুক্ত হবে যারা ন্যূনতম সেটআপের সাথে সহজে ইনস্টল করার সমাধান চান। আপনি এটিকে একটি ব্যক্তিগত CharGPT-এর মতো সিস্টেম হিসাবে বিবেচনা করতে পারেন যা ব্যবসা বা ব্যক্তিরা চালাতে পারে।

সেটআপ সিপ সার্ভার

বৈশিষ্ট্য

• বিকাশকারী-বান্ধব: এটি কাস্টম ইন্টিগ্রেশনের জন্য একটি সম্পূর্ণ API আছে।
• টুল ইন্টিগ্রেশন: আপনি অতিরিক্ত টুল একত্রিত করতে পারেন এবং API কী তৈরি করতে পারেন।
• সহজ সেটআপ: এটি একটি একক-ক্লিক ইনস্টলেশন প্রক্রিয়া আছে.

পেশাদার

• এলএলএম ব্যবহারে নমনীয়তা
• নথি কেন্দ্রিক
• প্ল্যাটফর্মে কাজগুলি স্বয়ংক্রিয় করার জন্য এআই এজেন্ট রয়েছে

কনস

• মাল্টি-ইউজার সাপোর্টের অভাব
• উন্নত বৈশিষ্ট্যে জটিলতা

এখানে এলএলএম দেখুন

5] হতে

ওল্লামা API ছাড়া স্থানীয় চ্যাটবট তৈরির সম্পূর্ণ নিয়ন্ত্রণ দেয়। বর্তমানে, এটির সবচেয়ে উল্লেখযোগ্য অবদানকারী রয়েছে যারা ঘন ঘন আপডেট সরবরাহ করে এবং GitHub এর সামগ্রিক কার্যকারিতা উন্নত করে। এটি এই টুলটিকে আপডেট করে এবং অন্যদের থেকে ভালো পারফরম্যান্স প্রদান করে। উপরে আলোচিত অন্যান্য টুলের বিপরীতে, এটি একটি মডেল ইনস্টল এবং চালু করার জন্য একটি টার্মিনাল ইন্টারফেস খোলে।

আপনার ইনস্টল করা প্রতিটি মডেলের নিজস্ব কনফিগারেশন এবং ওজন রয়েছে, আপনার মেশিনে অন্যান্য সফ্টওয়্যারগুলির সাথে দ্বন্দ্ব এড়ানো। এর কমান্ড লাইন ইন্টারফেসের সাথে, ওল্লামার ওপেনএআই-এর সাথে সামঞ্জস্যপূর্ণ একটি API রয়েছে। আপনি সহজেই এই টুলটিকে একত্রিত করতে পারেন যেটি OpenAI মডেল ব্যবহার করে।

বৈশিষ্ট্য

• স্থানীয় স্থাপনা: ওল্লামা আপনাকে অফলাইনে বড় ভাষা মডেল চালাতে দেয়, যেমন লামা, মিস্ট্রাল বা অন্যদের।
• মডেল কাস্টমাইজেশন: উন্নত ব্যবহারকারীরা একটি Modefile ব্যবহার করে মডেলগুলিতে আচরণ সেট করতে পারে।
• OpenAI API সামঞ্জস্যতা: এটিতে OpenAI এর API এর সাথে সামঞ্জস্যপূর্ণ একটি REST API রয়েছে।
• সম্পদ ব্যবস্থাপনা: এটি সিপিইউ এবং জিপিইউ ব্যবহার অপ্টিমাইজ করে, সিস্টেমকে ওভারলোড করে না।

পেশাদার

• আপনি মডেলের একটি সংগ্রহ পেতে পারেন।
• এটি PyTorch এর মতো ওপেন সোর্স লাইব্রেরি থেকে মডেল আমদানি করতে পারে।
• ওল্লামা লাইব্রেরি সমর্থনের সাথে একীভূত হতে পারে

কনস

আমরা এই মুহুর্তে আপনার অনুরোধটি প্রক্রিয়া করতে অক্ষম

• এটি একটি গ্রাফিক ইউজার ইন্টারফেস প্রদান করে না
• বড় স্টোরেজ প্রয়োজনীয়তা প্রয়োজন

এখানে এলএলএম দেখুন

উপসংহার

সংক্ষেপে, স্থানীয় LLM সরঞ্জামগুলি ক্লাউড-ভিত্তিক মডেলগুলির একটি উপযুক্ত বিকল্প অফার করে। তারা কোনো খরচ ছাড়াই পরবর্তী স্তরের গোপনীয়তা এবং নিয়ন্ত্রণ অফার করে। আপনি সহজে ব্যবহার বা কাস্টমাইজেশনের জন্য লক্ষ্য করুন না কেন, তালিকাভুক্ত টুলগুলি বিভিন্ন ধরনের প্রয়োজন এবং দক্ষতার স্তর অফার করে।

আপনার প্রয়োজনের উপর নির্ভর করে, যেমন প্রসেসিং পাওয়ার এবং সামঞ্জস্যতা, এর মধ্যে যেকোনও গোপনীয়তার সাথে আপস না করে বা সাবস্ক্রিপশন ফি প্রয়োজন ছাড়াই এআই-এর সম্ভাবনাকে কাজে লাগাতে পারে।