با همین چند خط کد و بدون نیاز به openai یه سیستم RAG روی لپ‌تاپ شخصیتون راه بیاندازین استفاده از RAG به قدری متداول شده که راه انداختن یه llm روی لپ‌تاپ شخصی و سوال و جواب کردن راجع به محتویات فایل‌ها راحت‌تر از همیشه است! قدم اول اینکه ollama رو نصب و مدل…

با همین چند خط کد و بدون نیاز به openai یه سیستم RAG روی لپ‌تاپ شخصیتون راه بیاندازین
استفاده از RAG به قدری متداول شده که راه انداختن یه llm روی لپ‌تاپ شخصی و سوال و جواب کردن راجع به محتویات فایل‌ها راحت‌تر از همیشه است!
قدم اول اینکه ollama رو نصب و مدل مورد علاقتون رو دانلود کنید:

```

ollama run phi3

```

حالا با همین چند خط می‌تونین شروع به حرف زدن با فایل‌ یا فایل‌های مدنظرتون کنین:

```

from llama_index.core import SimpleDirectoryReader
from llama_index.core import PromptTemplate
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core import Settings
from llama_index.core import VectorStoreIndex
from llama_index.llms.ollama import Ollama

loader = SimpleDirectoryReader(input_files=['behave.pdf'])

docs = loader.load_data()

embed_model = HuggingFaceEmbedding(
model_name="Snowflake/snowflake-arctic-embed-m",
trust_remote_code=True
)

Settings.embed_model = embed_model

index = VectorStoreIndex.from_documents(docs)

llm = Ollama(model="phi3", request_timeout=120.0)

Settings.llm = llm
query_engine = index.as_query_engine(streaming=True, similarity_top_k=4)

qa_prompt_tmpl_str = (
"Context information is below.\n"
"---------------------\n"
"{context_str}\n"
"---------------------\n"
"Given the context information above I want you to think step by step to answer the query in a crisp manner, incase case you don't know the answer say 'I don't know!'.\n"
"Query: {query_str}\n"
"Answer: "
)

qa_prompt_tmpl = PromptTemplate(qa_prompt_tmpl_str)
query_engine.update_prompts({"response_synthesizer:text_qa_template": qa_prompt_tmpl})

response = query_engine.query('What is The opposite of love?')

print(response)
```

البته که قطعا این صرفا فقط یه مثال ساده است که من از این توییت کپی کردم تا اگر هنوز وارد این دنیا نشدین، سریع‌تر وارد شین و تست کنینش؛ وگرنه به پروداکشن‌ بردن همین سیستم پیچیدگی‌های خاص خودش رو داره که شاید سخت‌ترین بخشش ارزیابی و صحت‌سنجی جواب‌هاییکه دریافت می‌کنیم.

نسخه‌ی بهار از کورس شناخته شده‌ی CS224N دانشگاه استنفورد، مدتی هست که معرفی شده:

https://web.stanford.edu/class/cs224n

قبلا هم بارها این کورس رو معرفی کردم، بسیار کورس خوبیه و مرتب با موضوعات و مفاهیم جدیدی که تو صنعت و دانشگاه منتشر میشن، به روز میشه.

#NLP

روز یکشنبه‌ای موضوعی حوصله‌سربرتر (؟!) از این پیدا نمیشه ولی اگر کار تحقیقاتی NLP می‌کنین و با ظهور مدل‌های زبانی بزرگ موجی از ناامیدی شمارو فراگرفته که الان دیگه اصلا کارهای ما به چه دردی می‌خوره! اینجا ایده‌هایی براتون هست:

A PhD Student’s Perspective on Research in NLP in the Era of Very Large Language Models

https://arxiv.org/pdf/2305.12544.pdf