Some noise and unrest upon our attemps to call it a night

in the car on highway 1, Nir & Ora give some background on how we got here

Nir Barak & Ora Peled Nakash are driving to Jerusalem on Saturday, July 22, 2023.

בפרק זה, התארחנו ב weel.com, ואירחנו את יגאל ויינברגר, שדיבר איתנו על AlgoTrading. שוחחנו על סוגי אלגוטריידינג (Sell side, Buy side, HFT), ועל גישות האלגוריתמים בתחום: כלים סטטיסטיים סטנדרטיים, LSTM, Reinforcement Learning. בנוסף, הצגנו כיצד אפשר להיכנס לתחום, ויגאל אפילו נתן לנו אלגוריתם baseline להתחיל לשחק איתו. האותיות הקטנות של האזהרה: כן לנסו…

בפרק זה, נארח את אופיר יוקטן - שמתעסק בניבוי התאמה של קורות חיים. אופיר יציג כיצד הוא מתמודד עם מודלים מפלים על רקע מגדרי\גזעני. נעסוק בשיטות להתמודדות עם הבעיה הזו: העלמת או הינדוס פיצ'רים, אימון עם Database מאוזן, ושיטת Gradient reversal layer. קישורים: "What is Adverse Impact? And Why Measuring It Matters." 26 Mar. 2018, https://www.hirevue.com/…

בפרק זה, נדבר על מודלים ג'נרטיביים, ובפרט על מהפכת ה-GAN=Generative Adversarial Networks. איך עובד הקסם? תחרות בין מודלים - האחד שמזייף, והשני שמגלה זיופים. וקצת על כל הנגזרות של האלגוריתם, שבאו כפטריות אחרי הגשם. קישורים: מאמר מקורי GAN DCGAN המתמטיקה של GAN WGAN INFOGAN BIGAN StyleGANMarketech による

בפרק זה, נסקור את ההשתלשלות של ניתוח סדרות בזמן החל מ-RNN, דרך Attention Models ועד ל-Transformers. נדבר על Self Attention, Multi Headed Attention, LSTM, RNN, GRU, Transformers ו-DeTR. קישורים רלוונטיים: Attention Models הסבר טוב בוידאו על Transformers Talk to Transformer The Illustrated Transformer End-to-End Object Detection with Transformers…

בפרק זה נארח את אלה בור, שתספר לנו על מהם גרפים (קשתות וצמתים), על בעיות המיוצגות ע"י גרפים ועל שיכון גרפים במרחב אוקלידי (GNN, Node2Vec). קישורים: Node2vec - https://arxiv.org/pdf/1607.00653.pdf, https://towardsdatascience.com/node2vec-embeddings-for-graph-data-32a866340fef GNN - https://arxiv.org/pdf/1812.08434.pdf Graph embeddings - https://towa…

בפרק זה אנו נארח את פיטר נפתליאב הבלוגר ומנהל קהילת /r/2D3DAI שידבר איתנו על עולם התלת מימד. נעסוק ביישומים ובסוגי הבעיות בתחום. נסקור ייצוגים של DATA תלת מימדי: Cad, Mesh, Voxel, Points Cloud. קישורים רלוונטיים: /r/2D3DAI 3D Reconstruction Points Cloud Marching cubesMarketech による

בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים: https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf Pydata nyc workshop on GPR Conjugate prior…

בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student. קישורים רלוונטיים: Curriculum learning מאמר ראשון בנושא (Elman) Curriculum for Reinforcement Learning Teacher-Student Curriculum Learning On…

פרק מיוחד לסיכום העונה הראשונה של הפודקאסט, בו יואב גלזנר מגיע להתארח ולארח: יואב הוא איש תוכן, עיתונאי לשעבר ואקטיביסט בעל כורחושוחחנו על פעילות חברתית ואקטיביזם, מאבקים אזרחיים, למה זה כדאי ומה המחירים שאנחנו עשויים לשלם, כולל מקרים בהם פשוט עדיף לוותר. פרק מלא באופטימיות שהוקלט על המרפסת ברמת דוד בשבוע שבו הכנסת ה-23 התפזרה, והסגר ה-3 עוד לא התח…

בפרק זה, נשוחח על מהי התמרת פורייה. מוטיבציות, שימושים, Time Series והקשר ללמידה עמוקה. קישורים רלוונטיים: But what is the Fourier Transform? A visual introduction Fourier Convolutional Neural NetworksMarketech による

בפרק זה, נדבר על Adversarial Attacks, על איך מייצרים Adversarial Examples בשיטת FGSM, על התקפות White or Black box models ונזכיר Certifiable Robustness. FGSM A Survey of Adversarial Machine Learning in Cyber Warfare no need to worry about adversarial examples in object detection in autonomous vehicles…

בפרק זה נדבר על הורדת מימדים - Dimensionality reduction. נעסוק במוטיבציות (קללת המימדים), ובאלגוריתמים PCA, T-SNE, AutoEncoders, SOM. קישורים רלוונטיים: https://onlinecourses.science.psu.edu/stat505/lesson/11 https://distill.pub/2016/misread-tsne/Marketech による

בפרק זה נעסוק בבעיה הכי שכיחה בעולם unsupervised, הרי היא בעיית ה-clustering - ניתוח אשכולות. נדבר על משפחות אלגוריתמים (top down - bottom up, soft-hard, metric/ graph/ distribution based), ונעסוק במדדי הצלחה קלאסיים (silhouette, dunn index, DB index, Rand index) ובמדדי הצלחה תלויי בעיה. קישורים רלוונטיים: Deep Learning Clustering Clustering Metric…

בפרק זה נעסוק באיך מפרשים מודלים ואיך מבינים את ההחלטות שלהם. תחום רחב זה נקרא Explainable artificial intelligence או Interpretable machine learning. בפרק נעסוק בטכניקות השונות שיש בתחום ובפרט ב ZF-NET, DeepDream, GradCam, Lime, Shap. קישורים רלוונטיים: ספר אונלייני Visualizing CNN ZFNet - Visualizing and Understanding Convolutional Networks DeepDr…

בפרק זה נדבר על עיבוד טקסט בעברית, ונציג כיצד הוא שונה משפות אחרות, ובפרט מאנגלית. נשוחח על ה-NLP Pipeline ועל למה הוא שבור בעברית, ונדבר על התחביר של עברית והתכונות הייחודיות של שפות שמיות. רעות צרפתי יואב גולדברג המעבדה לעיבוד שפה טבעית בעברית GPT YAAPMarketech による

בפרק זה נדבר על כל ה-Multi's וננסה לעשות סדר במושגים שנוטים לבלבל: multi class classification, multi label classification, multi task learning, Multi objective, Multiple modality. נגדיר כל מושג, ניתן דוגמאות ונדון בסוגיות ומימושים סביב כל מושג. קישורים רלוונטיים: https://ruder.io/multi-task/Marketech による

בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies): Least Confidence ,Margin Sampling ,Entropy Sampling ונזכיר את ההבדלים במתודולוגיות: Membership Query Synthesis, Stream-Based Selective Sampling, Pool-Based Sampling. לסיום נדון ב-Active Learning כבעיית Reinforcement Learning. קישורים רל…

האורח שלי בפרק הזה הוא פרופסור ראסם ח׳מאיסי. ח׳מאיסי הוא פרופסור מן המניין בחוג לגיאוגרפיה ולימודי סביבה באוניברסיטת חיפה, מתכנן ערים וגיאוגרף אורבני. בעל תואר דוקטור בגיאוגרפיה מהאוניברסיטה העברית בירושלים ופוסט-דוקטורט בלונדון. הוא מלמד בחוג לגיאוגרפיה באוניברסיטת חיפה ובמכללת הגליל המערבי. הוא משמש כראש המרכז לתכנון ולימודים CPS בכפר כנא, ומכהן …

בפרק זה נדבר על למידה חיזוקית - Reinforcement Learning. נדבר על מושגי היסוד בתחום (environment, state, policy, agent, reward), על סיווג של התחום הזה ב-Machine Learning, על למה זה נהיה מאוד פופולארי, על הקשיים בתחום ועל דילמת ה-Exploration - Exploitation. קישורים שהוזכרו: שיתוף פעולה בין סוכנים במשחק המחבואים שיתוף פעולה בין סוכנים במשחק תפוס את הדג…

בפרק זה, נעסוק ב-Neural Network Pruning, כאשר נתקמד בפרט במאמר פורץ דרך מ2019, שנקרא "THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE TRAINABLE NEURAL NETWORKS", מבית היוצר של MIT. במאמר זה, מציעים דרך מעניינת לקצץ רשת גדולה במעל 80% מהמשקלים שלה בצורה כזו שהביצועים (ה-accuracy) לא ייפגעו. קישורים שהוזכרו בפרק: THE LOTTERY TICKET HYPOTHESIS: FINDING …

זהו פרק מבוא קצרצר בו אנו מספרים מי הוא תמיר נווה ומי הוא אורי גורן, למה החלטנו להתחיל עם הפודקאסט, ומה היינו רוצים שיהיה בפרקים הבאים.Marketech による

ימית היא פעילה ולוביסטית ציבורית, עורכת דין וחוקרת באקדמיהדיברנו על שדה התעופה בגליל ועל הטרגדיה של הצפון. ניסיתי לברר איתה מה הקשר בין תעסוקה איכותית, הגירה שלילית, העתקת בסיסי צה״ל לנגב ולגליל והטבות מס. בסוף גם קיבלתי ממנה עצה לגבי פוליטיקהOra Peled Nakash による

לימור היא יזמת ופעילה חברתית בעמק יזרעאל. דיברנו על מאבקים אזרחיים ועל המאבק נגד שדה התעופה בעמק, החזון החלופי לפיתוח הצפון ולמה חשוב לאכול במסעדה טובהOra Peled Nakash による

עומר הוא מהנדס סביבה ומתכנן עירוני שחי ועובד באנגליה. על תכנון סביבתי, מערכות תחבורה, משבר האקלים, תקופת הקורונה ואפילו על מאבק אחד שהצליח בלונדון.Ora Peled Nakash による