משתמש:Orati1111/Scrapy

Scrapy (בעברית סֶקְרֶיְפִי) היא ספריית קוד פתוח חינמית בשפת התכנות פייתון המתמחה בזחילה רשתית.

ספרייה זו יכולה לשמש לצורכי ייצוא מידע בעזרת ממשקי תכנות יישומים (API), כצחלן רשת ועוד.

הספרייה מתוחזקת על ידי חברת Zyte (Scrapinghub לשעבר) - חברת פיתוח ושירותי זחילה רשתית.

ארכיטקטורת הספרייה בנויה על ידי "עכבישים" עצמיים המשמשים בעצמם כזחלי רשת בעלי רשימת פעולות מוגדרת מראש.

המסגרת של Scrapy מספקת לך תכונות עוצמתיות כגון שרתי פרוקסי וסוכני משתמש, המאפשרים לך לסרוק כמעט ללא זיהוי ברחבי הרשת. Scrapy מספקת גם מעטפת סריקת אינטרנט, אשר יכולה לשמש מפתחים כדי לבדוק את ההנחות שלהם על התנהגות אתר.

שימוש בספרייה זו ניתן למצוא בחברות כגון Lyst, Parse.ly,Sayone Technologies, Sciences Po Medialab, Data.gov.uk

היסטוריה

Scrapy נולד בחברת אגרגציה ומסחר אלקטרוני הלונדונית Mydeco, שם היא פותחה ותוחזקה על ידי עובדי Mydeco ו-Insophia (חברת ייעוץ אינטרנט שבסיסה במונטווידאו, אורוגוואי). השחרור הציבורי הראשון היה באוגוסט 2008 תחת רישיון BSD, עם שחרור אבן דרך 1.0 שהתרחש ביוני 2015. בשנת 2011, Zyte (לשעבר Scrapinghub) הפכה למתחזקת הרשמית החדשה.

קישורים חיצוניים

• אתר האינטרנט הרשמי של Orati1111/Scrapy
• סדרת מדריכי Scrapy