Table of Contents - rabbit-slide-kou-apache-arrow-tokyo-meetup-2019-2019.12.11.3 Documentation
Pages
- README.rd
- Rakefile
- after-party.rab
-
apache-arrow-2019.rab
- Apache Arrow 2019n#ArrowTokyo
- Apache Arrowと私
- Apache Arrow 1.0.0がでるぞ!
- 今日の目的
- 今日のチャレンジ
- 対策:みんなで力を合わせる!
- Apache Arrow
- 実現すること
- 効率化のポイント
- 速度向上方法
- 遅い部分
- データ交換
- データ処理システム例
- スライドプロパティー
- データ交換処理
- データ交換処理:必要なリソース
- データ交換の高速化
- Apache Arrowのアプローチ
- Apache Sparkでの高速化事例
- Apache Arrowのさらなるアプローチ
- 同一ホスト時のデータ転送の高速化
- 複数ホスト時のデータ転送の高速化
- 効率的なデータ交換処理のまとめ
- 速度向上方法
- 高速化できる部分
- 大量データの計算の高速化
- 各データの計算の高速化
- 想定ユースケース
- OLAP向きのデータの持ち方
- スライドプロパティー
- まとまったデータの計算を高速化
- SIMDを活用
- 条件分岐とnull
- スライドプロパティー
- スレッド活用時のポイント
- Apache Arrowとスレッド
- ストリームで処理
- 高速化のまとめ
- 実装コストを下げる
- 共通で使いそうな機能
- 実装コストのまとめ
- フォーマット変換機能
- 対応フォーマット:CSV
- 対応フォーマット:Apache Parquet
- 対応フォーマット:Apache ORC
- 対応フォーマット:Feather
- 豆知識:Feather 2
- 対応フォーマット:JSON
- フォーマット変換機能まとめ
- 対応言語
- 実装方法
- 各言語のデータ交換対応状況
- 各言語のデータ処理対応状況
- ユースケース(1)
- ユースケース(2)
- 今日の目的
- 今日のチャレンジ
- 対策:みんなで力を合わせる!
- config.yaml
- introduction.rab