התפרצויות כתיבה
30/06/2008 08:12 ע"י כתריאל טראום
הרבה זמן כבר לא כתבתי כאן.
מודה, קצת היתה חסרה לי מוזה. אם אין לי מוזה, אני לא כותב. ככה זה גם כשאני כותב קוד, יש לי לפעמים "התפרצויות כתיבה" בהן אני מסוגל לכתוב אפליקציה שלמה, או לגמור איזה feature שרציתי להוסיף ל-Jiyuu במכה.
יצא לי היום לקרוא קצת את ה-Planet של המקור, וקפץ לעיני הפוסט של נדב על חוסר עדכון הבלוג שלו. קצת חרגתי משלושת שבועות שלו, אבל ניחא. Better late than never.
אז מה חדש… מערכת ההתקנה שכתבתי ב-Python פחות או יותר הושלמה, ועושה את המלאכה בצורה די טובה. שמחתי שיצא לי לכתוב אותה, למדתי הרבה על Python, דברים כמו שימוש במחלקות (Classes), שגיאות (Exceptions) ומודולים. כמובן שיש עוד המון ללמוד, והפרויקט הבא כבר בדרך.
הפרויקט הבא דווקא לא קשור ישירות ל-Python, אבל יש לי כוונה להשתמש בו למרות זאת. עלה צורך בעבודה לנתח מספר רב של קבצי tcpdump בפורמט pcap ולחלץ מהם קצת מידע וסטטיסטיקות. עם כל ההייפ לאחרונה סביב Cloud Computing, החלטתי גם לקפוץ על העגלה. הכוונה היא להשתמש ב-hadoop שרץ על כמה מכונות וירטואליות שמפוזרות על כמה מכונות פיזיות כדי לחלק ולבזר את פעולת הניתוח. איך Python קשור? למרות ש-hadoop כתוב ב-java ומספק API ל-java, יש אפשרות להתממשק אליו בעזרת streams. הכוונה היא לשלב את hadoop יחד עם Python ו-pylibpcap כדי לחלץ את המידע הרלווטי ולסכם אותו תוך שימוש במנגנון MapReduce.
קצת שאפתני, אני יודע. אבל אם לא שואפים גבוהה, לא לומדים.
זהו בנתיים. עדכונים ואולי איזה מדריכון על hadoop בקרוב.
