「statistics」カテゴリーアーカイブ

ビニール袋を禁止するのは海洋汚染防止にそれほど効果がない – GIGAZINE

ビニール袋を禁止するのは海洋汚染防止にそれほど効果がない - GIGAZINE

ビニール袋を禁止するのは海洋汚染防止にそれほど効果がない - GIGAZINE

by duskbabe 海洋に含まれる微小なプラスチック粒子・マイクロプラスチックは近年、大きな問題となっています。プラスチック問題にどう対処していくかは今後の環境問題での大きな課題ですが、一般的な解決策として挙げられる「プラスチック製のレジ袋を使わない」という方法は実はあまり意味がないと、デンマークの政治...

はてなブックマーク - ビニール袋を禁止するのは海洋汚染防止にそれほど効果がない - GIGAZINE はてなブックマークに追加

データサイエンス・機械学習をやるためのエンジニアな本まとめ – 2019年版 – Lean Baseball

データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball

データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball

ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本(と一部本じゃないもの)をまとめてみました(注:もちろん全部読んでいます).*1. なお, あくまでワタシ個人(@shinyorke)の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません(とだけ最初に断っておきま...

はてなブックマーク - データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball はてなブックマークに追加

データサイエンス・機械学習をやるためのエンジニアな本まとめ – 2019年版 – Lean Baseball

データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball

データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball

ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本(と一部本じゃないもの)をまとめてみました(注:もちろん全部読んでいます).*1. なお, あくまでワタシ個人(@shinyorke)の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません(とだけ最初に断っておきま...

はてなブックマーク - データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball はてなブックマークに追加

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 – paiza開発日誌

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌

主な確率分布の関連図 こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんな...

はてなブックマーク - WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌 はてなブックマークに追加

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 – paiza開発日誌

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌

WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌

主な確率分布の関連図 こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんな...

はてなブックマーク - WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza開発日誌 はてなブックマークに追加

食べログ3.8問題に終止符を打つ

食べログ3.8問題に終止符を打つ

食べログ3.8問題に終止符を打つ

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.met...

はてなブックマーク - 食べログ3.8問題に終止符を打つ はてなブックマークに追加

データ解析を駆使して食べログ3.8問題が証明できなかった話 – konkon3249’s diary

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗デ...

はてなブックマーク - データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary はてなブックマークに追加

データ解析を駆使して食べログ3.8問題が証明できなかった話 – konkon3249’s diary

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary

はじめに この記事は、藍屋えん氏( @u874072e )の以下のブログに触発されて、個人的に行った一連のデータ解析をまとめたものです。 clean-copy-of-onenote.hatenablog.com 上のブログでは、食べログ3.8問題と称される問題、 「評価3.8以上の店舗は年会費を払わなければ評価を3.6に下げられる」 との説を食べログの店舗デ...

はてなブックマーク - データ解析を駆使して食べログ3.8問題が証明できなかった話 - konkon3249’s diary はてなブックマークに追加

食べログ3.8問題を検証 – クイックノート

食べログ3.8問題を検証 - クイックノート

食べログ3.8問題を検証 - クイックノート

先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認...

はてなブックマーク - 食べログ3.8問題を検証 - クイックノート はてなブックマークに追加

食べログ3.8問題を検証 – クイックノート

食べログ3.8問題を検証 - クイックノート

食べログ3.8問題を検証 - クイックノート

先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認...

はてなブックマーク - 食べログ3.8問題を検証 - クイックノート はてなブックマークに追加

サンマが獲れないのは中国のせいじゃない? メディアが伝えない不漁の真実 | Gyoppy!(ギョッピー) – 海から、魚から、ハッピーをつくるメディア – Yahoo! JAPAN

サンマが獲れないのは中国のせいじゃない? メディアが伝えない不漁の真実 | Gyoppy!(ギョッピー) - 海から、魚から、ハッピーをつくるメディア - Yahoo! JAPAN

サンマが獲れないのは中国のせいじゃない? メディアが伝えない不漁の真実 | Gyoppy!(ギョッピー) - 海から、魚から、ハッピーをつくるメディア - Yahoo! JAPAN

秋になると「そろそろサンマが美味しい季節だなあ」と思いますよね。しかし、ここ数年、サンマの不漁がメディアで報じられることが増えています。 日本人がサンマを好きなことはわかるけど、それって本当にそんなに騒ぐほどの問題なの? そもそも、サンマって、そんなに減ってるの? そんな疑問を解消するために、Gyopp...

はてなブックマーク - サンマが獲れないのは中国のせいじゃない? メディアが伝えない不漁の真実 | Gyoppy!(ギョッピー) - 海から、魚から、ハッピーをつくるメディア - Yahoo! JAPAN はてなブックマークに追加

何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note

何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note

何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note

結論から言えば、それは発達障害は男性にとって繁殖に著しく不利になる特性があるからだ。「いやいや、それは単にお前がモテないだけだろ?」と思う人間はいるだろうし、俺が30歳童貞非モテなのは否定しようのない事実であるが、どうもそうではなくマクロな傾向として発達障害男性は非モテになりやすいことが様々な統計...

はてなブックマーク - 何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note はてなブックマークに追加

何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note

何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note

何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note

結論から言えば、それは発達障害は男性にとって繁殖に著しく不利になる特性があるからだ。「いやいや、それは単にお前がモテないだけだろ?」と思う人間はいるだろうし、俺が30歳童貞非モテなのは否定しようのない事実であるが、どうもそうではなくマクロな傾向として発達障害男性は非モテになりやすいことが様々な統計...

はてなブックマーク - 何故、発達障害男性(ASD)の人生には「そんな私にも恋人」が発生しないのか?|rei|note はてなブックマークに追加

参院選 投票率50%下回る見通し | NHKニュース

参院選 投票率50%下回る見通し | NHKニュース

参院選 投票率50%下回る見通し | NHKニュース

きょう投票が行われた参議院選挙の推定投票率は、50%を下回る見通しとなりました。参議院選挙の投票率が50%を下回るのは平成7年の選挙以来です。 これに期日前投票を行った1706万人余りの分なども含めると、48.11%前後になる見通しとなりました。 参議院選挙の投票率が50%を下回ったのは過去最低の44.52%となった...

はてなブックマーク - 参院選 投票率50%下回る見通し | NHKニュース はてなブックマークに追加

日本の処女326万人、童貞380万人「失われた20年」で性交渉未経験の女性2.9%、男性5.8%上昇(木村正人) – 個人 – Yahoo!ニュース

日本の処女326万人、童貞380万人「失われた20年」で性交渉未経験の女性2.9%、男性5.8%上昇(木村正人) - 個人 - Yahoo!ニュース

日本の処女326万人、童貞380万人「失われた20年」で性交渉未経験の女性2.9%、男性5.8%上昇(木村正人) - 個人 - Yahoo!ニュース

無職、非正規・時短雇用、低収入の男性ほど童貞が多い[ロンドン発]バブル崩壊後、「失われた20年」に当たる1992年から2015年の間に、18~39歳で性交渉の経験がない日本女性(処女)が21.7%から24.6%に、日本男性(童貞)は20%から25.8%に増加しました。 30代の10人に1人は性交渉の経験がないと回答。無職、非正規・時...

はてなブックマーク - 日本の処女326万人、童貞380万人「失われた20年」で性交渉未経験の女性2.9%、男性5.8%上昇(木村正人) - 個人 - Yahoo!ニュース はてなブックマークに追加

なぜ分散は2乗の和なのか – 小人さんの妄想

なぜ分散は2乗の和なのか - 小人さんの妄想

なぜ分散は2乗の和なのか - 小人さんの妄想

Q.なぜ分散は、単純な差(偏差の絶対値)ではなく、差の2乗を計算するのか? A.分散を最も小さくする点が平均値だから。(単純な差を最も小さくする点は中央値となる。) “分散”というキーワードは統計学の基礎中の基礎であり、どんな教科書にも“平均”の次くらいに載っていることがらです。 しかしながら、いきなり...

はてなブックマーク - なぜ分散は2乗の和なのか - 小人さんの妄想 はてなブックマークに追加

なぜ分散は2乗の和なのか – 小人さんの妄想

なぜ分散は2乗の和なのか - 小人さんの妄想

なぜ分散は2乗の和なのか - 小人さんの妄想

Q.なぜ分散は、単純な差(偏差の絶対値)ではなく、差の2乗を計算するのか? A.分散を最も小さくする点が平均値だから。(単純な差を最も小さくする点は中央値となる。) “分散”というキーワードは統計学の基礎中の基礎であり、どんな教科書にも“平均”の次くらいに載っていることがらです。 しかしながら、いきなり...

はてなブックマーク - なぜ分散は2乗の和なのか - 小人さんの妄想 はてなブックマークに追加

なぜ分散は2乗の和なのか – 小人さんの妄想

なぜ分散は2乗の和なのか - 小人さんの妄想

なぜ分散は2乗の和なのか - 小人さんの妄想

Q.なぜ分散は、単純な差(偏差の絶対値)ではなく、差の2乗を計算するのか? A.分散を最も小さくする点が平均値だから。(単純な差を最も小さくする点は中央値となる。) “分散”というキーワードは統計学の基礎中の基礎であり、どんな教科書にも“平均”の次くらいに載っていることがらです。 しかしながら、いきなり...

はてなブックマーク - なぜ分散は2乗の和なのか - 小人さんの妄想 はてなブックマークに追加

「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿 – ITmedia NEWS

「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿 - ITmedia NEWS

「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿 - ITmedia NEWS

「統計的に有意差がないため、2つのデータには差がない」──こんな結論の導き方は統計の誤用だとする声明が、科学者800人超の署名入りで英科学論文誌「Nature」に3月20日付で掲載された。調査した論文の約半数が「統計的有意性」を誤用しており、科学にとって深刻な損害をもたらしていると警鐘を鳴らす。 「統計的に有意...

はてなブックマーク - 「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿 - ITmedia NEWS はてなブックマークに追加

賃金構造の統計調査の不正 いつからか特定できず 総務省 | NHKニュース

賃金構造の統計調査の不正 いつからか特定できず 総務省 | NHKニュース

賃金構造の統計調査の不正 いつからか特定できず 総務省 | NHKニュース

厚生労働省の統計不正問題のうち、長年にわたりルールに反した郵送による調査が行われていた「賃金構造基本統計調査」について、検証を進めてきた総務省は報告書を取りまとめ、8日にも公表する方針です。いつどのような経緯で不正が始まったかは特定できなかったということです。 労働者の賃金の実態を雇用形態や職種ご...

はてなブックマーク - 賃金構造の統計調査の不正 いつからか特定できず 総務省 | NHKニュース はてなブックマークに追加

あなたの知らない「詐欺グラフ」の世界(随時更新中)|けんけん|note

あなたの知らない「詐欺グラフ」の世界(随時更新中)|けんけん|note

あなたの知らない「詐欺グラフ」の世界(随時更新中)|けんけん|note

私は #詐欺グラフ が何よりの大好物で、ネットやテレビで変なグラフを見かけるたびにニヤニヤしながらフォルダに保存しています。保存先のフォルダ名はズバリ「#詐欺グラフ」。 そんな詐欺グラフの世界を皆さんに共有したいと思い、筆をとりました。(このnoteは随時更新予定です) ネタ記事として、順次、突っ込みなが...

はてなブックマーク - あなたの知らない「詐欺グラフ」の世界(随時更新中)|けんけん|note はてなブックマークに追加

統計不正はこれほどヤバい|【西日本新聞】

統計不正はこれほどヤバい|【西日本新聞】

統計不正はこれほどヤバい|【西日本新聞】

先週の当コラムで、国会を揺るがしている統計不正問題は、実は昨年9月に本紙が特ダネとして報じていたことを指摘した。 ただ「統計」というなじみの薄いジャンルであるためか、初報から政治問題化まで時間差が生じ、現在でも世論の関心はいまひとつに思える。そこで今週は「統計不正はどれほど大問題か」を、文系脳の私...

はてなブックマーク - 統計不正はこれほどヤバい|【西日本新聞】 はてなブックマークに追加

勤労統計、マイナス改定に「官邸怒り」 厚労省職員、有識者に発言|【西日本新聞】

勤労統計、マイナス改定に「官邸怒り」 厚労省職員、有識者に発言|【西日本新聞】

勤労統計、マイナス改定に「官邸怒り」 厚労省職員、有識者に発言|【西日本新聞】

毎月勤労統計の昨年1月以降の賃金上昇率が過大になった問題で、厚生労働省が2015年に同統計の調査手法変更に向けて開いた有識者会議の当時の委員が、厚労省の担当者から「調査対象事業所の入れ替えで14年の賃金上昇率がマイナス改定され、首相官邸が怒っている」と聞いたと西日本新聞の取材に証言した。 調査手法...

はてなブックマーク - 勤労統計、マイナス改定に「官邸怒り」 厚労省職員、有識者に発言|【西日本新聞】 はてなブックマークに追加

「忙しいから」統計ルール無視 厚労省の不適切調査  :日本経済新聞

「忙しいから」統計ルール無視 厚労省の不適切調査  :日本経済新聞

「忙しいから」統計ルール無視 厚労省の不適切調査  :日本経済新聞

厚生労働省が賃金や労働時間を示す毎月勤労統計調査で不適切な調査を続けていたことが発覚した。調査対象から大企業が抜け落ちた状態を長年放置し、2018年分からは勝手に統計を「修正」していた。影響は雇用保険の過少支給やこれまでの景気判断におよぶ。統計を軽んじる風潮は厚労省だけの体質なのか。データや根拠に基...

はてなブックマーク - 「忙しいから」統計ルール無視 厚労省の不適切調査  :日本経済新聞 はてなブックマークに追加

レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2)

レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2)

レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2)

ドイツ人の科学嫌い これまでのノーベル化学賞の受賞者が一番多いのはアメリカで、2位はドイツ。物理学、生理学・医学の分野でも、ドイツはアメリカ、イギリスに次いで第3位。間違いなく、自然科学に秀でた国といえる。 なのに、不思議なことに、ドイツ人には科学に対する拒絶反応がある。たとえば、先進医学に対して。 ...

はてなブックマーク - レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2) はてなブックマークに追加

レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2)

レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2)

レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2)

ドイツ人の科学嫌い これまでのノーベル化学賞の受賞者が一番多いのはアメリカで、2位はドイツ。物理学、生理学・医学の分野でも、ドイツはアメリカ、イギリスに次いで第3位。間違いなく、自然科学に秀でた国といえる。 なのに、不思議なことに、ドイツ人には科学に対する拒絶反応がある。たとえば、先進医学に対して。 ...

はてなブックマーク - レントゲンは平気なのに、アレは禁止する…「不思議の国ニッポン」(川口 マーン 惠美) | 現代ビジネス | 講談社(1/2) はてなブックマークに追加

データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える – Unboundedly

データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える - Unboundedly

データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える - Unboundedly

今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名な...

はてなブックマーク - データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える - Unboundedly はてなブックマークに追加

統計的因果推論のためのPythonライブラリDoWhyについて解説:なにができて、なにに注意すべきか – Unboundedly

統計的因果推論のためのPythonライブラリDoWhyについて解説:なにができて、なにに注意すべきか - Unboundedly

統計的因果推論のためのPythonライブラリDoWhyについて解説:なにができて、なにに注意すべきか - Unboundedly

機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス...

はてなブックマーク - 統計的因果推論のためのPythonライブラリDoWhyについて解説:なにができて、なにに注意すべきか - Unboundedly はてなブックマークに追加