210 lines
28 KiB
Plaintext
210 lines
28 KiB
Plaintext
{
|
|
"cells": [
|
|
{
|
|
"cell_type": "code",
|
|
"execution_count": 2,
|
|
"id": "96240870",
|
|
"metadata": {},
|
|
"outputs": [
|
|
{
|
|
"name": "stdout",
|
|
"output_type": "stream",
|
|
"text": [
|
|
"سیاراتی که در مدار نزدیک به ستاره های کوتوله سرخ قرار دارند، به دلیل نزدیکی به ستاره مادر، تحت تابش تشعشعات شدید قرار می گیرند. این تابش می تواند شرایط زیست محیطی را به شدت تحت تأثیر قرار دهد و ممکن است تنها مکان هایی که حیات در آنجا امکان وجود دارد، زیر لایه های ضخیم یخ باشد. این شرایط می تواند مانع از شکل گیری و تکامل حیات در سطح سیاره شود.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"کتاب تابستان به دلیل داستان جذاب و توصیفهای زیبا از طبیعت و زندگی، توجه تمام علاقهمندان به ادبیات داستانی را به خود جلب میکند. این کتاب نه تنها احساسات عمیق انسانی را به تصویر میکشد بلکه خواننده را به دنیای خاطرات شیرین تابستانهای کودکی میبرد.\n",
|
|
"{{\"result\": \"0\"}}\n",
|
|
"\n",
|
|
"--------------------------------\n",
|
|
"حضرت ادریس علیه السلام به عنوان منشاء و معلم بسیاری از علوم شناخته میشود. او به عنوان یکی از قدیمیترین پیشوایان علم، افکار بشر را به سمت استدلال و دقت در بحث سوق داده است. همچنین، او اولین کسی است که علم نجوم را به الهام الهی استخراج کرده و زمین را به چهار ربع تقسیم نموده است. در دعای روز اول ماه رجب نیز به علم ادریس اشاره شده است.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"ستارههای کوتوله سرخ معمولاً به صورت دورهای شعلههایی از پرتوهای ماورا بنفش و اشعه X ساطع میکنند که میتواند اتمسفر سیارات اطراف را از بین ببرد و احتمال تشکیل حیات را کاهش دهد. اما ستاره Ross 128 به عنوان یک ستاره آرام شناخته میشود و این ویژگی باعث میشود که شرایط بهتری برای تشکیل حیات در سیاره Ross 128b فراهم شود.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"پوست کودکان به دلیل عدم تکامل کامل ملانوسیتها، سیستم عروقی پوستی و توانایی تولید عرق حساس است. ملانوسیتها که مسئول تولید ملانین هستند، از پوست در برابر اشعه ماورای بنفش محافظت میکنند. همچنین، سیستم عروقی پوستی در کودکان هنوز به طور کامل توسعه نیافته و این امر میتواند منجر به آسیبپذیری بیشتر پوست شود. علاوه بر این، پوست کودکان نمیتواند به اندازه کافی عرق تولید کند، که باعث میشود رطوبت پوست کاهش یابد. به همین دلیل، پوست کودکان به ویژه نوزادان به نسبت وزن بدن در معرض آسیب بیشتری قرار دارد.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"نزول این آیه به واکنشهای معاصرین پیامبر اسلام، به ویژه ابوجهل و دیگر مخالفان، اشاره دارد که به دلیل عدم درک صحیح از معانی عمیق آیات و قدرت خداوند، به تمسخر و انکار آن میپرداختند. این آیه به نوعی به آنها پاسخ میدهد و نشان میدهد که حتی در آتش، درختی وجود دارد که فراتر از تصور آنهاست. این واکنشها نشاندهنده چالشهای اعتقادی و فکری در آن زمان بود.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"شرایط محیطی میتواند به عنوان فیلتر عمل کند زیرا عوامل متعددی مانند مقدار و نوع کالری، دما، اتمسفر، آب، خشکی، آفتاب، و بلایای طبیعی مانند آتشفشان و زلزله بر روی موجودات زنده تأثیر میگذارد. این عوامل میتوانند موجودات را به چالش بکشند و تنها آنهایی که توانایی سازگاری با این شرایط را دارند، زنده میمانند و به نسلهای بعدی منتقل میشوند.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"\n",
|
|
"--------------------------------\n",
|
|
"خشکی پوست ممکن است موقتی یا فصلی باشد. به عنوان مثال، در فصل زمستان به دلیل هوای سرد و خشک، بسیاری از افراد دچار خشکی پوست میشوند. در مقابل، در فصلهای گرم و مرطوب، ممکن است این مشکل کاهش یابد. با این حال، برخی افراد ممکن است به طور دائمی با خشکی پوست مواجه باشند که نیاز به مراقبت و درمان مداوم دارد.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"سحابی خرچنگ دریایی، که با نام NGC 6357 شناخته میشود، به دلیل وجود ستارههای غیرمعمول روشن و عظیم در آن، به عنوان یک مکان مهم در کهکشان معرفی میشود. این سحابی همچنین خوشۀ ستارهای باز Pismis 24 را در نزدیکی مرکز خود دارد که نشاندهنده فعالیتهای شدید ستارهزایی در این ناحیه است. درخشش آبی در نزدیکی منطقه تشکیل ستاره داخلی ناشی از انتشار گاز هیدروژن یونیزه است که به جذابیت این سحابی افزوده است.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"سحابی خرچنگ ده سال نوری وسعت دارد و در مرکز آن یک تپ اختر قرار دارد. این تپ اختر به سنگینی خورشید اما به اندازه یک شهر کوچک است و ثانیهای سی بار به دور خود میچرخد. همچنین، سحابی خرچنگ با سرعتی حدود 10000 کیلومتر بر ثانیه منبسط میشود و انتظار میرود که در چند هزار سال آینده به تدریج کمفروغتر شده و سرانجام ناپدید گردد.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"وجود یک اقیانوس زیر سطحی در قمر اروپا می تواند شرایط لازم برای زندگی موجودات میکروسکوپی را فراهم کند. این اقیانوس می تواند شامل مواد مغذی و حرارت لازم برای حیات باشد. با توجه به اینکه بخار آب فوران شده از سطح اروپا ممکن است به این اقیانوس مرتبط باشد، بررسی های آینده می تواند به دانشمندان کمک کند تا پتانسیل اروپا برای تبدیل شدن به یک محل قابل سکونت را بدون نیاز به حفاری لایه یخ بررسی کنند.\n",
|
|
"{{\"result\": \"0\"}}\n",
|
|
"--------------------------------\n",
|
|
"چگالش بوز-اینشتین حالتی از ماده است که در دماهای بسیار پایین ایجاد میشود و در آن اتمها رفتار موجی خود را نشان میدهند. در این حالت، قوانین فیزیک کلاسیک به کنار میروند و فیزیک کوانتومی حاکم میشود. اتمها در این حالت به گونهای حرکت میکنند که انگار بر روی یکدیگر سوار هستند و این رفتار تنها در دماهای بسیار پایین قابل مشاهده است.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"در سال 2012، انجمن سلطنتی شیمی مسابقهای را برای یافتن بهترین توضیح برای اثر امپمبا برگزار کرد. برنده این مسابقه نظریهای را ارائه داد که علت این پدیده را 'ابرسرد شدن' میدانست. این نشان میدهد که این موضوع همچنان مورد توجه محققان و دانشمندان است و تلاشها برای درک بهتر آن ادامه دارد.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"داستان کتاب عاشق آتشفشان در قرن هجدهم و در میان آشفتگیهای دربار ناپلی اتفاق میافتد. این رمان به بررسی موضوعاتی چون عشق، تاریخ و روابط اجتماعی میپردازد و داستان زندگی سر ویلیام همیلتون و همسرش اِما را روایت میکند. همچنین، این داستان به تحولات سیاسی و اجتماعی آن زمان نیز اشاره دارد.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"انفجارهای هوایی به دلیل قدرت تخریب بالای خود و نادر بودن برخورد سیارکها، خطرناکتر محسوب میشوند. در حالی که برخورد سیارکهای بزرگ به ندرت اتفاق میافتد، انفجارهای هوایی میتوانند به طور ناگهانی و بدون هشدار پیشین رخ دهند. به عنوان مثال، انفجار سیارکی به اندازه یک خانه در سال ۱۳۹۲ در چلیابینسک روسیه منجر به آسیب دیدن بیش از ۱۶۰۰ نفر شد. این نشان میدهد که انفجارهای هوایی میتوانند تأثیرات جدی بر روی جمعیتهای انسانی داشته باشند.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"پرتقال به دلیل خواص ضدعفونیکننده و ضد میکروبی که دارد، میتواند به درمان مشکلات پوستی کمک کند. به عنوان مثال، شما میتوانید از پوست پرتقال له شده به عنوان مرهم برای اگزما و ناراحتیهای پوستی استفاده کنید. این خاصیت به دلیل وجود ترکیبات طبیعی در پوست پرتقال است که به تسکین و بهبود وضعیت پوست کمک میکند.\n",
|
|
"{{\"result\": \"0\"}}\n",
|
|
"--------------------------------\n",
|
|
"نوسانات درخشندگی ستاره KIC 8462852 بهطور نامنظم و شدید اتفاق میافتند و این الگو با آنچه معمولاً در ستارههای دارای سیارات فراخورشیدی مشاهده میشود، متفاوت است. در حالی که وجود یک سیاره میتواند باعث نوسانات درخشندگی شود، در این مورد، نوسانات بهقدری پیچیده و غیرقابل پیشبینی هستند که فرضیههای دیگر مانند وجود ابرهای میان ستارهای، دنبالهدارها یا حتی اَبَرسازههای بیگانگان فضایی نیز مطرح شدهاند.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n",
|
|
"پاریس به عنوان یک مقصد گردشگری محبوب به دلیل جاذبههای تاریخی، فرهنگی و هنری خود شناخته میشود. این شهر با برج ایفل، موزه لوور، کاتدرال نوتردام و خیابانهای زیبا و پر از زندگی، هر ساله میلیونها گردشگر را به خود جذب میکند. همچنین، فرهنگ غنی، غذاهای لذیذ و فضاهای رمانتیک پاریس، تجربهای منحصر به فرد را برای بازدیدکنندگان فراهم میآورد. به همین دلیل، پاریس به عنوان 'شهر نور' و 'شهر عشق' در قلب بسیاری از مردم جهان جای دارد.\n",
|
|
"{\"result\": \"0\"}\n",
|
|
"--------------------------------\n"
|
|
]
|
|
}
|
|
],
|
|
"source": [
|
|
"import requests\n",
|
|
"from dotenv import load_dotenv\n",
|
|
"import os\n",
|
|
"import re\n",
|
|
"\n",
|
|
"load_dotenv()\n",
|
|
"\n",
|
|
"qwen = False\n",
|
|
"if qwen:\n",
|
|
" url = \"https://qwen3.chatllm.aiengines.ir/v1/chat/completions\"\n",
|
|
" model = \"Qwen/Qwen3-4B-Instruct-2507\"\n",
|
|
" headers = {\"Content-Type\": \"application/json\", \"Authorization\": f\"Bearer {os.getenv('LLM_AS_RERANKER_PASS')}\"}\n",
|
|
"else:\n",
|
|
" url = \"http://192.168.130.206:4001/v1/chat/completions\"\n",
|
|
" model = \"google/gemma-3-27b-it\"\n",
|
|
" headers = {\"Content-Type\": \"application/json\"}\n",
|
|
"\n",
|
|
"instruction = \"\"\"\n",
|
|
"You are a helpful assistant that help me to find that the text is relevant to the question or not.\n",
|
|
"You are given a question and a text.\n",
|
|
"You must evaluate the text based on the question and return \"1\" if the text is relevant to the question and \"0\" if the text is not relevant to the question.\n",
|
|
" \n",
|
|
"be carefull, I have chosen the text randomly from my dataset so the text must answer the question independently.\n",
|
|
"You must return the result in the following format:\n",
|
|
"{{\"result\": \"1\" or \"0\"}}\n",
|
|
"\"\"\"\n",
|
|
"\n",
|
|
"question = \"چرا خورشید اینقدر داغ است؟\"\n",
|
|
"texts = [\n",
|
|
" \"سیاراتی که در مدار نزدیک به ستاره های کوتوله سرخ قرار دارند، به دلیل نزدیکی به ستاره مادر، تحت تابش تشعشعات شدید قرار می گیرند. این تابش می تواند شرایط زیست محیطی را به شدت تحت تأثیر قرار دهد و ممکن است تنها مکان هایی که حیات در آنجا امکان وجود دارد، زیر لایه های ضخیم یخ باشد. این شرایط می تواند مانع از شکل گیری و تکامل حیات در سطح سیاره شود.\",\n",
|
|
" \"کتاب تابستان به دلیل داستان جذاب و توصیفهای زیبا از طبیعت و زندگی، توجه تمام علاقهمندان به ادبیات داستانی را به خود جلب میکند. این کتاب نه تنها احساسات عمیق انسانی را به تصویر میکشد بلکه خواننده را به دنیای خاطرات شیرین تابستانهای کودکی میبرد.\",\n",
|
|
" \"حضرت ادریس علیه السلام به عنوان منشاء و معلم بسیاری از علوم شناخته میشود. او به عنوان یکی از قدیمیترین پیشوایان علم، افکار بشر را به سمت استدلال و دقت در بحث سوق داده است. همچنین، او اولین کسی است که علم نجوم را به الهام الهی استخراج کرده و زمین را به چهار ربع تقسیم نموده است. در دعای روز اول ماه رجب نیز به علم ادریس اشاره شده است.\",\n",
|
|
" \"ستارههای کوتوله سرخ معمولاً به صورت دورهای شعلههایی از پرتوهای ماورا بنفش و اشعه X ساطع میکنند که میتواند اتمسفر سیارات اطراف را از بین ببرد و احتمال تشکیل حیات را کاهش دهد. اما ستاره Ross 128 به عنوان یک ستاره آرام شناخته میشود و این ویژگی باعث میشود که شرایط بهتری برای تشکیل حیات در سیاره Ross 128b فراهم شود.\",\n",
|
|
" \"پوست کودکان به دلیل عدم تکامل کامل ملانوسیتها، سیستم عروقی پوستی و توانایی تولید عرق حساس است. ملانوسیتها که مسئول تولید ملانین هستند، از پوست در برابر اشعه ماورای بنفش محافظت میکنند. همچنین، سیستم عروقی پوستی در کودکان هنوز به طور کامل توسعه نیافته و این امر میتواند منجر به آسیبپذیری بیشتر پوست شود. علاوه بر این، پوست کودکان نمیتواند به اندازه کافی عرق تولید کند، که باعث میشود رطوبت پوست کاهش یابد. به همین دلیل، پوست کودکان به ویژه نوزادان به نسبت وزن بدن در معرض آسیب بیشتری قرار دارد.\",\n",
|
|
" \"نزول این آیه به واکنشهای معاصرین پیامبر اسلام، به ویژه ابوجهل و دیگر مخالفان، اشاره دارد که به دلیل عدم درک صحیح از معانی عمیق آیات و قدرت خداوند، به تمسخر و انکار آن میپرداختند. این آیه به نوعی به آنها پاسخ میدهد و نشان میدهد که حتی در آتش، درختی وجود دارد که فراتر از تصور آنهاست. این واکنشها نشاندهنده چالشهای اعتقادی و فکری در آن زمان بود.\",\n",
|
|
" \"شرایط محیطی میتواند به عنوان فیلتر عمل کند زیرا عوامل متعددی مانند مقدار و نوع کالری، دما، اتمسفر، آب، خشکی، آفتاب، و بلایای طبیعی مانند آتشفشان و زلزله بر روی موجودات زنده تأثیر میگذارد. این عوامل میتوانند موجودات را به چالش بکشند و تنها آنهایی که توانایی سازگاری با این شرایط را دارند، زنده میمانند و به نسلهای بعدی منتقل میشوند.\",\n",
|
|
" \"خشکی پوست ممکن است موقتی یا فصلی باشد. به عنوان مثال، در فصل زمستان به دلیل هوای سرد و خشک، بسیاری از افراد دچار خشکی پوست میشوند. در مقابل، در فصلهای گرم و مرطوب، ممکن است این مشکل کاهش یابد. با این حال، برخی افراد ممکن است به طور دائمی با خشکی پوست مواجه باشند که نیاز به مراقبت و درمان مداوم دارد.\",\n",
|
|
" \"سحابی خرچنگ دریایی، که با نام NGC 6357 شناخته میشود، به دلیل وجود ستارههای غیرمعمول روشن و عظیم در آن، به عنوان یک مکان مهم در کهکشان معرفی میشود. این سحابی همچنین خوشۀ ستارهای باز Pismis 24 را در نزدیکی مرکز خود دارد که نشاندهنده فعالیتهای شدید ستارهزایی در این ناحیه است. درخشش آبی در نزدیکی منطقه تشکیل ستاره داخلی ناشی از انتشار گاز هیدروژن یونیزه است که به جذابیت این سحابی افزوده است.\",\n",
|
|
" \"سحابی خرچنگ ده سال نوری وسعت دارد و در مرکز آن یک تپ اختر قرار دارد. این تپ اختر به سنگینی خورشید اما به اندازه یک شهر کوچک است و ثانیهای سی بار به دور خود میچرخد. همچنین، سحابی خرچنگ با سرعتی حدود 10000 کیلومتر بر ثانیه منبسط میشود و انتظار میرود که در چند هزار سال آینده به تدریج کمفروغتر شده و سرانجام ناپدید گردد.\",\n",
|
|
" \"وجود یک اقیانوس زیر سطحی در قمر اروپا می تواند شرایط لازم برای زندگی موجودات میکروسکوپی را فراهم کند. این اقیانوس می تواند شامل مواد مغذی و حرارت لازم برای حیات باشد. با توجه به اینکه بخار آب فوران شده از سطح اروپا ممکن است به این اقیانوس مرتبط باشد، بررسی های آینده می تواند به دانشمندان کمک کند تا پتانسیل اروپا برای تبدیل شدن به یک محل قابل سکونت را بدون نیاز به حفاری لایه یخ بررسی کنند.\",\n",
|
|
" \"چگالش بوز-اینشتین حالتی از ماده است که در دماهای بسیار پایین ایجاد میشود و در آن اتمها رفتار موجی خود را نشان میدهند. در این حالت، قوانین فیزیک کلاسیک به کنار میروند و فیزیک کوانتومی حاکم میشود. اتمها در این حالت به گونهای حرکت میکنند که انگار بر روی یکدیگر سوار هستند و این رفتار تنها در دماهای بسیار پایین قابل مشاهده است.\",\n",
|
|
" \"در سال 2012، انجمن سلطنتی شیمی مسابقهای را برای یافتن بهترین توضیح برای اثر امپمبا برگزار کرد. برنده این مسابقه نظریهای را ارائه داد که علت این پدیده را 'ابرسرد شدن' میدانست. این نشان میدهد که این موضوع همچنان مورد توجه محققان و دانشمندان است و تلاشها برای درک بهتر آن ادامه دارد.\",\n",
|
|
" \"داستان کتاب عاشق آتشفشان در قرن هجدهم و در میان آشفتگیهای دربار ناپلی اتفاق میافتد. این رمان به بررسی موضوعاتی چون عشق، تاریخ و روابط اجتماعی میپردازد و داستان زندگی سر ویلیام همیلتون و همسرش اِما را روایت میکند. همچنین، این داستان به تحولات سیاسی و اجتماعی آن زمان نیز اشاره دارد.\",\n",
|
|
" \"انفجارهای هوایی به دلیل قدرت تخریب بالای خود و نادر بودن برخورد سیارکها، خطرناکتر محسوب میشوند. در حالی که برخورد سیارکهای بزرگ به ندرت اتفاق میافتد، انفجارهای هوایی میتوانند به طور ناگهانی و بدون هشدار پیشین رخ دهند. به عنوان مثال، انفجار سیارکی به اندازه یک خانه در سال ۱۳۹۲ در چلیابینسک روسیه منجر به آسیب دیدن بیش از ۱۶۰۰ نفر شد. این نشان میدهد که انفجارهای هوایی میتوانند تأثیرات جدی بر روی جمعیتهای انسانی داشته باشند.\",\n",
|
|
" \"پرتقال به دلیل خواص ضدعفونیکننده و ضد میکروبی که دارد، میتواند به درمان مشکلات پوستی کمک کند. به عنوان مثال، شما میتوانید از پوست پرتقال له شده به عنوان مرهم برای اگزما و ناراحتیهای پوستی استفاده کنید. این خاصیت به دلیل وجود ترکیبات طبیعی در پوست پرتقال است که به تسکین و بهبود وضعیت پوست کمک میکند.\",\n",
|
|
" \"نوسانات درخشندگی ستاره KIC 8462852 بهطور نامنظم و شدید اتفاق میافتند و این الگو با آنچه معمولاً در ستارههای دارای سیارات فراخورشیدی مشاهده میشود، متفاوت است. در حالی که وجود یک سیاره میتواند باعث نوسانات درخشندگی شود، در این مورد، نوسانات بهقدری پیچیده و غیرقابل پیشبینی هستند که فرضیههای دیگر مانند وجود ابرهای میان ستارهای، دنبالهدارها یا حتی اَبَرسازههای بیگانگان فضایی نیز مطرح شدهاند.\",\n",
|
|
" \"پاریس به عنوان یک مقصد گردشگری محبوب به دلیل جاذبههای تاریخی، فرهنگی و هنری خود شناخته میشود. این شهر با برج ایفل، موزه لوور، کاتدرال نوتردام و خیابانهای زیبا و پر از زندگی، هر ساله میلیونها گردشگر را به خود جذب میکند. همچنین، فرهنگ غنی، غذاهای لذیذ و فضاهای رمانتیک پاریس، تجربهای منحصر به فرد را برای بازدیدکنندگان فراهم میآورد. به همین دلیل، پاریس به عنوان 'شهر نور' و 'شهر عشق' در قلب بسیاری از مردم جهان جای دارد.\"\n",
|
|
" ]\n",
|
|
" \n",
|
|
"for text in texts:\n",
|
|
" input_message = f\"\"\"{{\"question\": \"{question}\", \"text\": \"{text}\"}}\"\"\"\n",
|
|
" messages = [{\"role\": \"system\", \"content\": instruction}, {\"role\": \"user\", \"content\": input_message}]\n",
|
|
"\n",
|
|
" payload = {\n",
|
|
" \"model\": model,\n",
|
|
" \"messages\": messages,\n",
|
|
" \"max_tokens\": 100\n",
|
|
" }\n",
|
|
"\n",
|
|
" req = requests.post(url, headers=headers, json=payload)\n",
|
|
" print(text)\n",
|
|
" print(req.json()['choices'][0]['message']['content'])\n",
|
|
" print(\"--------------------------------\")"
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "code",
|
|
"execution_count": null,
|
|
"id": "53e5e322",
|
|
"metadata": {},
|
|
"outputs": [],
|
|
"source": [
|
|
"from datasets import load_dataset\n",
|
|
"\n",
|
|
"ds = load_dataset(\"virattt/financial-qa-10K\", split=\"train\")\n"
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "code",
|
|
"execution_count": 2,
|
|
"id": "1fabd9d8",
|
|
"metadata": {},
|
|
"outputs": [],
|
|
"source": [
|
|
"import json\n",
|
|
"import random\n",
|
|
"\n",
|
|
"with open(\"/home/firouzi/embedding_model/data/train.json\", \"r\", encoding=\"utf-8\") as f:\n",
|
|
" all_dataset = json.load(f)\n",
|
|
"\n",
|
|
"test_ratio = 0.05 # 30% test data\n",
|
|
"\n",
|
|
"# Shuffle and split\n",
|
|
"random.shuffle(all_dataset)\n",
|
|
"split_index = int(len(all_dataset) * (1 - test_ratio))\n",
|
|
"train_data = all_dataset[:split_index]\n",
|
|
"test_data = all_dataset[split_index:]\n",
|
|
"\n",
|
|
"\n",
|
|
"with open(\"/home/firouzi/embedding_model/data/train_test.json\", \"w\", encoding=\"utf-8\") as f:\n",
|
|
" json.dump(test_data, f, ensure_ascii=False, indent=4)\n",
|
|
"\n",
|
|
"with open(\"/home/firouzi/embedding_model/data/train_train.json\", \"w\", encoding=\"utf-8\") as f:\n",
|
|
" json.dump(train_data, f, ensure_ascii=False, indent=4)"
|
|
]
|
|
},
|
|
{
|
|
"cell_type": "code",
|
|
"execution_count": null,
|
|
"id": "8be4382d",
|
|
"metadata": {},
|
|
"outputs": [],
|
|
"source": []
|
|
}
|
|
],
|
|
"metadata": {
|
|
"kernelspec": {
|
|
"display_name": ".venv",
|
|
"language": "python",
|
|
"name": "python3"
|
|
},
|
|
"language_info": {
|
|
"codemirror_mode": {
|
|
"name": "ipython",
|
|
"version": 3
|
|
},
|
|
"file_extension": ".py",
|
|
"mimetype": "text/x-python",
|
|
"name": "python",
|
|
"nbconvert_exporter": "python",
|
|
"pygments_lexer": "ipython3",
|
|
"version": "3.10.12"
|
|
}
|
|
},
|
|
"nbformat": 4,
|
|
"nbformat_minor": 5
|
|
}
|