データの可視化は、視覚を通じて強力なメッセージを送ってしまう。送り手が、単なる事実の表現(factual statement)として制作しても、因果関係(causal statement)として受け取られる危険性がある。
思いもしなかったことが可視化によって発見されることを期待してはいけない。通念と違うことを発見したとき、 最初に疑わなければならないのは、データの偏りだ。調査の実務者なら、通念的データが得られたときにホッとするだろう。
人口動態統計には主要死因の市町村別データがある。そのデータの死亡数と肝疾患数から肝疾患死亡比率を計算し、コロプレス図(塗り分け地図)を描くと以下のようになる。データがない市町村は描いていない。
山間部が高いという印象があるが、山間部の多くは欠損値になっている。このように、東西や南北、海岸・山間部の間に明白な違いが見られないとき、コロプレス図を描く意味はない。
都市部ー山間部の簡単な指標として、死者数そのもの（＝市町村規模）と死亡比率をプロットすると、以下のようになる。
この図が表しているのは、小さな市町村の方が肝疾患で死亡する人の比率が高いということだ。しかし、その結論は採用できない。この特徴ある分布は、次のような抽象的なシミュレーションで再現できるからだ。
大きいほど稀になる集団(10-1000人位程度)を生成し、各人が低確率(3%)のくじを引く。集団サイズを横軸に、当選者比率を縦軸にとった図が左、当選者が5人未満だった集団を除いた図が右になる。
つまり、一律３％の確率でも、①集団サイズが小さい場合はばらつきが大きく、②実数で閾値を設けていると、表面的には右下がりの相関関係が現れてしまう。
一般的に、集団サイズと平均値（あるいは比率）を比較すると、過大もしくは過小なデータは小さな集団に現れる。例えば、教室の規模と学力テストの平均点、病院サイズと医療事故の発生率、店舗規模とクレーム発生率などがある。サイズと平均値の関係を知らないと、「小規模クラスほど成績が良い」「大規模病院ほど医療事故が少ない」など、間違った結論を示唆してしまう。
現実のデータでも、集計する余力がない小さな自治体が除外されたり、個人が特定されてしまうという口実で開示が拒否されたりする場合（西日本に多い）に、閾値が現れる。
このように、データの構造をシミュレーションで表現すれば、可視化によって現れた相関関係に騙されることはない。しかし、現実のデータ分析では、記者（あるいは読者）の関心が高いテーマであればこそ、その構造に気付かないことが多い。
最も誤解に陥りやすく、かつ、誤解でないことを証明しにくいデータ構造は、XとYが共通因子を持ち、それに気づかずにXとYに相関関係を見出してしまう場合だ。
教科書によく引用される事例は、19世紀のロンドンでコウノトリの目撃件数と新生児数の年次データだ。100年間の間にコウノトリも目撃件数も、赤ん坊の数もコンスタントに増加した。この場合。急増した人口という共通因子を持っているから、あたかもコウノトリが子供を運んでくる状況証拠になっている。
90年ほど前、喫煙と肺癌の関係が見つかったとき、著名な統計学者フィッシャーは、煙草好きになりやすい遺伝的形質と肺癌を起こしやすい遺伝的形質が共通因子になっている可能性があると主張し、因果関係を認めなかった。（因果関係はその後数多くの実験や調査で解明されつつあるだけで、フィッシャーが間違っていたわけではない）
最悪の事例は共通因子が単なる「時間」にすぎない場合で、端的に言えば、ただの偶然に因果関係を見出してしまう場合だ。ある政策（例えば観光振興）の進展とめざす結果（外国人旅行者の増加）が一致した場合、政治家や官庁は成果の強調するだろう。
そのほか、コーヒーと心臓病の関係（共通因子はタバコ）、街頭監視カメラと犯罪発生率（共通因子は犯人がカメラの場所を避けること）、出生率と女子労働力率（共通因子は子供の多い文化）などがある。これらの「疑似相関」は、因果関係があるという意味ではないだけでなく、因果関係がないという意味でもない。つまり、グラフィックスで表現する意味が全くない。
ランダムな動きをするデータに「足切り操作」を加えると、最終データには偏りが生じる。(足切り区間はマウスで変更できる)
足切り操作が最後まで続いている場合は、切断跡がはっきり現れるので、だれでも簡単に気付く。例えば、コース閉鎖時間が設定されている市民マラソンの結果は、足切りの痕跡がはっきり分かる。アダルトビデオ女優のウエストのサイズにも「切断面」が現れる。
問題は、足切り操作が無自覚に行われている場合や、意図的に隠されている場合だ。
投資ファンドは、社内的に設定されてからの「抱卵期間」の内に、好成績を残したものだけが売りに出され、リターンが振るわなかったファンドは人知れず清算される。だから、ファンドの公表成績はプラスに偏っているが、証券会社はこのことを隠して売り込む。（記者も騙される）
容易に得られるデータ、進んで公表されるデータには、生き残った人のデータ、検閲されたデータ、結果を公表したい人のデータであることがほとんどだ。オープンデータ運動で公開されるデータには、このタイプの落とし穴が潜んでいる。
適度なばらつき（ノイズ）がある、相互に無関係なXとYですら、次のグラフのように、Xと(Y-X)には相関関係が現れてしまう。
Xに偶然大きなプラスのノイズが乗ったデータほど、同じ水準の大きなプラスのノイズがYでも生じている可能性は小さい。抽象化されたシミュレーションなら、そんなことは当然だと誰もが気づく。
このようなデータの場合、大きなXのデータはYが小さく、小さなXのデータはYが大きく「見える」。背が高い人ほど、周りには自分より背が低い人が多いのと同じだ。統計学の教科書では「平均への回帰が起こる」という。
ところが、具体的なデータになると、われわれにはこの現象に注意が及ばない。
センター試験の国語（平均119.22、偏差33.39）の成績をシミュレーションし、２回テストを受けた学生の、一回目の成績と二回目のテストの変化量とをプロットすると以下のようになる。
学生の「実力」に釣鐘状のばらつきがあっても、全体としてみれば、一回目の成績が良かったグループには「ヤマが当たった」学生が多く、悪かったグループには「ヤマが外れた」学生が多い。二回目のテストもそうとは限らないのだから、高成績グループは成績を落とし、低成績グループは成績を上げる。
一回目の成績が悪かった生徒を対象に補習授業を行ったとする。授業には何の効果もなかったとしても、二回目の成績にプラスの補習効果が現れてしまう。（成績が良かった生徒を対象に補習を行うことが不自然だから、「平均への回帰」に気付かない）
補習授業の効果は、同じグループ（一回目は成績が振るわなかった生徒）を二つに分け、補習をしたグループとしなかったグループを比較する実験を「設計」しなければ分からない。
このような現象は、シーズン前半戦で好成績を残した野球選手が「オールスター効果」で後半戦で失速したかにみえる場合などにも現れる。
参考までに、人間の認識があてにならない例として、２次元の一様乱数（乱数のペア）がどのように見え、われわれが期待するような「ランダムな点」は、作為的に生成する必要があることを示す。（右は簡易的Poisson Diskアルゴリズム）
同様にランダムに発生する稀な事象が、われわれにどのようにみえるかとして、発生率2%の事象を時間的に並べたものを示す。飛行機事故は続くという印象があるのは、「続いたものが印象に残る」ためだと思われる。
このように、プログラムを組み込んだインタラクティブなグラフィックスは、静的なグラフィックスでは陥りがちな「データの確定的関係を印象づけてしまう恐れ」を回避するために使うこともできる。
参考:How not to be wrong(Jordan Ellenberg)