[PYTHON] (Erhaltene Version: von Zeit zu Zeit aktualisiert) Eine Sammlung nützlicher Tutorials für Datenanalyse-Hackathons von Team AI

Wir, Team AI, veranstalten täglich Lernsitzungen zum maschinellen Lernen und Hackathons zur Datenanalyse in Shibuya. Das Ziel ist eine Gemeinschaft von 1 Million Menschen, hauptsächlich in Tokio.

Ich hoffe, dass sich diese Datenanalysebewegung in ganz Japan und auf der ganzen Welt ausbreiten wird. Hier sind einige nützliche Tutorials für einen Datenanalyse-Hackathon. Es macht viel Spaß, also sollte es jeder, besonders die Einheimischen, auf jeden Fall selbst ausprobieren! Wir werden auch als Team AI zusammenarbeiten.

Wenn Sie Kaggle noch nicht kennen, insbesondere die Verwendung des Kernels, werfen Sie bitte einen kurzen Blick darauf.

Schau dir das zuerst an! Erklärung der von Ishii erstellten Kaggle-Kernel-Funktion (erhöhte Produktivität!) => https://www.youtube.com/watch?v=HkJmnpBjiI0

https://www.codexa.net/what-is-kaggle/

http://luvtome.blog5.fc2.com/blog-entry-644.html

Viele Datensätze Klicken Sie hier auf den Datensatz, an dem Sie interessiert sind, mit vielen Likes. DataSet kann auch nach Schlüsselwörtern durchsucht werden. https://www.kaggle.com/datasets

Kaggler Curry-chans ausführlicher Kaggle-Kommentar in Vollzeit; https://note.mu/currypurin/n/nf390914c721e

Curry hat Kaggle-Informationen auch auf Twitter; https://twitter.com/currypurin

2018/9/6 Suchmaschine für von Google angekündigte Datensätze Es ist sehr praktisch https://toolbox.google.com/datasetsearch

Was ist Kaggle?

Kaggle beginnt http://qiita.com/taka4sato/items/802c494fdebeaa7f43b7

Wenn Sie Datenwissenschaftler werden möchten, beginnen Sie mit Kaggle

http://qiita.com/KIKUYA-Takumi/items/13ac849582318f559271

Kaggle Slack Group

Globale Gruppe 3000 Menschen https://kagglenoobs.herokuapp.com/

400 Personen hauptsächlich in japanischen Gruppen auf hohem Niveau http://kaggler-ja.herokuapp.com/

Fintech Data Hackathon

Der Datensatz, den wir verwenden

Bitcoin Price Prediction (LightWeight CSV) https://www.kaggle.com/team-ai/bitcoin-price-prediction

Uniqlo (FastRetailing) Stock Price Prediction

https://www.kaggle.com/daiearth22/uniqlo-fastretailing-stock-price-prediction

Foreign Exchange (FX) Prediction - USD/JPY https://www.kaggle.com/team-ai/foreign-exchange-fx-prediction-usdjpy

Foreign Exchange(FX) Prediction - EUR/USD https://www.kaggle.com/meehau/EURUSD/kernels Ganz sorgfältig geschriebener Kernel => Stimmt die Vorhersagegenauigkeit von 99,7%? ?? https://www.kaggle.com/daiearth22/eurusd-15-minute-interval-price-prediction?scriptVersionId=8708587

Kaggle-Datensätze in der Finanzkategorie (Wettbewerb sind schwere Daten) https://www.kaggle.com/tags/finance

Credit Card Fraud Daten zur Erkennung von Kreditkartenbetrug (66 MB so schwer) https://www.kaggle.com/mlg-ulb/creditcardfraud

StockPrice and News Korrelationsanalyse von Nachrichten und Aktienkurs (6 MB) https://www.kaggle.com/aaron7sun/stocknews

Loan Data for risk analysis Daten zur Berechnung des Kreditrisikos (6 KB Licht) https://www.kaggle.com/zhijinzhai/loandata

Loan Data for risk analysis(heavy data) Daten zur Berechnung des Kreditrisikos (240 MB sehr schwer) https://www.kaggle.com/wendykan/lending-club-loan-data

Guter Blog zum Lesen

Eine Geschichte über die Vorhersage des Wechselkurses mit Deep Learning http://qiita.com/ognek/items/1b776d504d20bd6f6d7d

Als ich das Aktienprognosepapier mit einer Twitter-Stimmungsanalyse überprüfte, konnte ich ein Auf und Ab mit einer Genauigkeit von etwa 70% vorhersagen. http://qiita.com/ryo_grid/items/5a5ecc602186a3381c87

Formatieren und Anzeigen von Zeitreihendaten mit verschiedenen Maßstäben und Einheiten mit Python oder Matplotlib http://qiita.com/zaburo/items/00f364422ef3fe64f156

19.10.2018 Nachtrag

Indischer Finanzdatenanbieter; https://www.quandl.com/

Ich habe einige nützliche Informationen von einem Dattelhändler erhalten.

Das Open-Source-Projekt von Alpha AI, das Bestandsvorhersagen von der Datenvorverarbeitung bis zum Training mit einer Genauigkeit von LSTM-98% durchführt https://github.com/VivekPa/AlphaAI

Finanzen x Python Mokumokukai FinPy https://fin-py.connpass.com/

Quantopian Mokumokukai https://quantopian-tokyo.connpass.com/

Gebührenfreie Aktienhandels-App Stream https://smartplus-sec.com/stream/

Python Day Trader Doriran Twitter https://twitter.com/patraqushe?lang=en

Daytre Ingenieur Shinseitaro Twitter https://twitter.com/shinseitaro

21.09.2018 FinTech Nachtrag

Investor Support App MyTrade, die kostenlos genutzt werden kann https://mytrade.jp/

Dragon King-Theorie, die die Wirtschaftskrise mit dem Konzept der Erkennung von Anomalien vorhersagt (ähnlich wie Black Swan) https://www.ted.com/talks/didier_sornette_how_we_can_predict_the_next_financial_crisis/transcript?language=ja#t-6583

Dragon King theoretisches Papier https://arxiv.org/abs/0907.4290

2018/2/16 hinzugefügt

Ich habe versucht, die Standarddaten für Kartenzahlungen mit Excel zu analysieren (Statistiken, die jetzt nicht zu hören sind). https://medium.com/team-ai-math/data-analysis-by-excel-b90fcbd7f4fe

25 FinTech-Investitionsumfrage in Übersee Jan 2018 https://medium.com/team-ai-fintech/fintech-investment-jan-35d2424f22f4

Empfohlener FinTech-Servicekoffer für Übersee 20 https://medium.com/team-ai-fintech/fintech-startups-20-2c21b27ea003

Medical Data Hackathon

Synchronisierter Brainwave-Datensatz Brainwave https://www.kaggle.com/berkeley-biosense/synchronized-brainwave-dataset

Brustkrebs Wisconsin (Diagnose) Datensatz Brustkrebs https://www.kaggle.com/uciml/breast-cancer-wisconsin-data

Krankenhaus Allgemeine Informationen Krankenhaus https://www.kaggle.com/cms/hospital-general-information

Zika-Virus-Epidemie https://www.kaggle.com/cdc/zika-virus-epidemic

Risikoklassifizierung für Gebärmutterhalskrebs Gebärmutterhalskrebs https://www.kaggle.com/loveall/cervical-cancer-risk-classification

Medizinischer Termin Nein Zeigt Dotacan-Analyse von Patienten https://www.kaggle.com/joniarroba/noshowappointments

Psychische Gesundheit in Tech Survey Psychische Gesundheit in Tech Survey https://www.kaggle.com/osmi/mental-health-in-tech-survey

2018/6/18 Hinzugefügt von Medical Data Hackason

Googles cooles Datenvisualisierungstool FACETS https://pair-code.github.io/facets/

Erkennen Sie die Bedeutung von Variablen mit Regressor of RandamForest grob (nützlich!) http://scikit-learn.org/…/sklearn.ensemble.RandomForestRegr…

Pands Profiling, um einen Überblick über die erfassten Daten zu erhalten https://wonderwall.hatenablog.com/entry/2018/02/12/171500

Pharmazeutische Open Data DrugBank https://www.drugbank.ca/

Öffnen Sie die Proteindaten der Proteinbank https://www.rcsb.org/

Googles kostenloses GPU Cloud Colaboratory ist sehr praktisch http://itsukara.hateblo.jp/entry/2018/02/05/214949

NASA/Space Data Hackathon

Exoplanetenjagd im Weltraum Planetarische Erkundungsdaten https://www.kaggle.com/keplersmachines/kepler-labelled-time-series-data

Vorhersage der Sonnenstrahlung Daten zur Sonnenstrahlung https://www.kaggle.com/dronio/SolarEnergy

Klimawandel: Daten zur Erdoberflächentemperatur Daten zur Erdoberflächentemperatur https://www.kaggle.com/berkeleyearth/climate-change-earth-surface-temperature-data

Meteoritenlandungen Meteoriten-Kollisionsdaten https://www.kaggle.com/nasa/meteorite-landings

UFO-Sichtungen UFO-Erkennungsdaten https://www.kaggle.com/NUFORC/ufo-sightings

Öffnen Sie den Exoplaneten-Katalog Extrasolar Planet Daten https://www.kaggle.com/mrisdal/open-exoplanet-catalogue

Kepler Exoplanet Suchergebnisse Extrasolare Planetendaten 2 https://www.kaggle.com/nasa/kepler-exoplanet-search-results/kernels

NASA Extrasolar Planetary Exploration Kepler Weltraumteleskop Mission Details https://japanese.engadget.com/2018/03/15/9-4500/

23.12.2018 hinzugefügt

Der künstliche Satellitendaten-Nutzungsmechanismus von Sakura Internet, Tellus https://www.sakura.ad.jp/information/pressreleases/2018/07/31/1968197591/

Google Earth API https://developers.google.com/earth-engine/

Marketing/Retail Data Hackathon

Springleaf Marketing Response Analyse der Direktwerbung 150 MB https://www.kaggle.com/c/springleaf-marketing-response/kernels

Coupon Purchase Prediction Recruit Vergleichen Sie die Daten https://www.kaggle.com/c/coupon-purchase-prediction

Airbnb-Buchung neuer Benutzer Airbnb-Buchungsdatenanalyse Where will a new guest book their first travel experience? https://www.kaggle.com/c/airbnb-recruiting-new-user-bookings

Rossmann Store Sales Einzelhandelsumsatzprognose https://www.kaggle.com/c/rossmann-store-sales/data

Home Depot Product Search Relevance Predict the relevance of search results on homedepot.com https://www.kaggle.com/c/home-depot-product-search-relevance

Acquire Valued Shoppers Challenge Predict which shoppers will become repeat buyers https://www.kaggle.com/c/acquire-valued-shoppers-challenge

Getting real about fake news https://www.kaggle.com/mrisdal/fake-news

Starbucks Locations Worldwide https://www.kaggle.com/starbucks/store-locations

Retail rocket recommendation system dataset https://www.kaggle.com/retailrocket/ecommerce-dataset

Bestandsnachfrage der Grupo Bimbo Optimieren Sie den Lebensmittelverkauf und minimieren Sie die Rendite (Zugdaten 3 GB Daten verfügbar) Maximize sales and minimize returns of bakery goods https://www.kaggle.com/c/grupo-bimbo-inventory-demand

Innerwear Data from Victoria's Secret https://www.kaggle.com/PromptCloudHQ/innerwear-data-from-victorias-secret-and-others

NLP (Natural Language Processing) Daten-Hackathon

Tutorial zur Verarbeitung natürlicher Sprache => https://qiita.com/daisuke-team-ai/items/d2e18f07a08d9b4cb783

Zusammenfassung typischer NLP-Ansätze + Code (Kaggle Kernel) Empfohlen

https://www.kaggle.com/abhishek/approaching-almost-any-nlp-problem-on-kaggle

NLP Data;

Twitter-Daten von Shinzo Abe (Twitter-Daten von Premierminister Abe) https://www.kaggle.com/team-ai/shinzo-abe-japanese-prime-minister-twitter-nlp/version/1

World News on Reddit Analyse der Nachrichtendaten am Schwarzen Brett https://www.kaggle.com/rootuser/worldnews-on-reddit

South Park Dialogue Identifizieren Sie den Sprecher anhand der Dialogdaten des Animationsarbeitsskripts https://www.kaggle.com/tovarischsukhov/southparklines

Deep NLP Analyse von Chatbot und Lebenslaufdaten https://www.kaggle.com/samdeeplearning/deepnlp

Python Questions from StackOverFlow Fragenanalyse zu Python zur Programmierung von Q & A-Sites https://www.kaggle.com/stackoverflow/pythonquestions

Japanisch Englisch Zweisprachiger Korpus (Wikipedia Korpus auf Japanisch und Englisch) https://www.kaggle.com/team-ai/japaneseenglish-bilingual-corpus

Japanische Lemma-Frequenz 15000 Liste häufig verwendeter Wörter auf Japanisch A list of the 15,000 most common word forms in Japanese https://www.kaggle.com/rtatman/japanese-lemma-frequency

Japanischer Whisky-Bewertungsdatensatz (englischer, aber japanischer Whisky-Bewertungsdatensatz) 1,000+ Reviews of Japanese Whisky https://www.kaggle.com/koki25ando/japanese-whisky-review

(Für fortgeschrittene Benutzer) Ein Wettbewerb zur Klassifizierung ähnlicher Fragen auf der Q & A-Website Quora https://www.kaggle.com/c/quora-question-pairs

Extra; Präsident Trumps Twitter AI => Sprechen Sie mit ihm und er wird sofort antworten! https://twitter.com/TrumpSidekik

HR Data

Kaggle ML und Data Science Survey, 2017 Datenanalyse Branchenweite Analyse A big picture view of the state of data science and machine learning. https://www.kaggle.com/kaggle/kaggle-survey-2017

US-Einkommen nach Beruf und Geschlecht Analyse der Einkommensungleichheit nach Geschlecht Analyze gender gap and differences in industry's incomes https://www.kaggle.com/jonavery/incomes-by-career-and-gender

Tägliches Glück und Mitarbeiterumsatz Korrelationsanalyse von Leistung und Mitarbeiterglück Is There a Relationship Between Employee Happiness and Job Turnover? https://www.kaggle.com/harriken/employeeturnover

IBM HR Analytics Mitarbeiterabrieb und -leistung IBM Umsatzanalyse Predict attrition of your valuable employees https://www.kaggle.com/pavansubhasht/ibm-hr-analytics-attrition-dataset

Human Resources Analytics Warum verlassen talentierte Mitarbeiter ihre Arbeit? Analyse Why are our best and most experienced employees leaving prematurely? https://www.kaggle.com/ludobenistant/hr-analytics

2016 New Coder Survey Attributdaten für 15.000 neue Softwareentwickler A survey of 15,000+ people who are new to software development https://www.kaggle.com/freecodecamp/2016-new-coder-survey-

US-Einkommen nach Beruf und Geschlecht Analyse der Einkommensunterschiede nach Beruf und Geschlecht Analyze gender gap and differences in industry's incomes https://www.kaggle.com/jonavery/incomes-by-career-and-gender

Gute Artikel zum Verweisen

Holen Sie sich mit Python Zeitreihendaten von k-db.com

http://qiita.com/sawadybomb/items/03c3814268d3e2904e6c

Empfohlener Datensatz

Tolle Informationen auf Englisch

Wenn Sie Google Translate für Chrome installieren, können Sie automatisch auf einmal übersetzen!

Quora verfügt über viel Know-how zur Vorhersage von Zeitreihen (für FinTech). https://www.google.co.jp/search?q=how+to+predict+time+series+quora&rlz=1C5CHFA_enJP747JP747&oq=how+to+predict+time+series+quora&aqs=chrome..69i57.8273j0j7&sourceid=chrome&ie=UTF-8

Liste der mathematischen Ansätze

(Erhaltene Version: Für Amateure) Maschinelles Lernen / Datenanalyse Liste der Artikel, die von Team AI gelesen werden sollen

http://qiita.com/daisuke-team-ai/items/68f82f6502e06678c660

Python-Paket

Pandas

Official Site http://pandas.pydata.org/ Lose flauschige Pandas Spickzettel

http://qiita.com/tanemaki/items/2ed05e258ef4c9e6caac

Pandas können verwaltet werden, wenn nur daran erinnert wird

http://qiita.com/kojim/items/c56ec63063bec62bc5ed

Seaborn

Official Site https://seaborn.pydata.org/

Schöne Grafikzeichnung mit Python-Seaborn erleichtert die Datenanalyse und -visualisierung Teil 1

http://qiita.com/hik0107/items/3dc541158fceb3156ee0

Schöne Grafikzeichnung mit Python-Seaborn erleichtert die Datenanalyse und -visualisierung Teil 2

http://qiita.com/hik0107/items/7233ca334b2a5e1ca924

Japanische Einstellungen für Matplotlib- und Seaborn-Achsen

http://qiita.com/kshigeru/items/0cfc0778bab197687967