Computational Statistics Handbook with MATLAB (Chapman & Hall/CRC Computer Science & Data Analysis)

Approaching computational statistics through its theoretical aspects can be daunting. Often intimidated or distracted by the theory, researchers and students can lose sight of the actual goals and applications of the subject. What they need are its key concepts, an understanding of its methods, experience with its implementation, and practice with computational software. Focusing on the computational aspects of statistics rather than the theoretical, Computational Statistics Handbook with MATLAB uses a down-to-earth approach that makes statistics accessible to a wide range of users. The authors integrate the use of MATLAB throughout the book, allowing readers to see the actual implementation of algorithms, but also include step-by-step procedures to allow implementation with any suitable software. The book concentrates on the simulation/Monte Carlo point of view, and contains algorithms for exploratory data analysis, modeling, Monte Carlo simulation, pattern recognition, bootstrap, classification, cross-validation methods, probability density estimation, random number generation, and other computational statistics methods. Emphasis on the practical aspects of statistics, details of the latest techniques, and real implementation experience make the Computational Statistics Handbook with MATLAB more than just the first book to use MATLAB to solve computational problems in statistics. It also forms an outstanding, introduction to statistics for anyone in the many disciplines that involve data analysis. Computational Statistics Handbook with MATLAB®......Page 1 Table of Contents......Page 4 Preface......Page 12 1.1 What Is Computational Statistics?......Page 15 Contents......Page 0 Philosphy......Page 16 Wh What Is t Covere Covered......Page 17 A Word About N Notation ion......Page 19 1.3 MATLAB Code......Page 20 Internet Resourc Resources......Page 21 1.4 Further Reading......Page 22 2.1 Introduction......Page 24 Background......Page 25 Probability......Page 27 Conditional Probability......Page 30 Independence......Page 31 Bayes Theorem......Page 32 Mean and Variance......Page 34 Kurtosis......Page 36 Binomial......Page 37 Example 2.1......Page 39 Example 2.3......Page 41 Example 2.4......Page 42 Example 2.5......Page 45 Example 2.6......Page 48 Example 2.7......Page 50 Example 2.8......Page 52 Example 2.9......Page 54 Example 2.10......Page 56 2.6 MATLAB Code......Page 58 2.7 Further Reading......Page 59 Exercises......Page 61 3.2 Sampling Terminology and Concepts......Page 64 Sample Mean and Sample Variance......Page 66 Sample Moments......Page 67 Example 3.1......Page 68 Covariance......Page 69 Example 3.2......Page 70 3.3 Sampling Distributions......Page 71 3.4 Parameter Estimation......Page 73 Mean Squared Error......Page 74 Standard Error......Page 75 Maximum Likelihood Estimation......Page 76 Example 3.3......Page 77 Example 3.4......Page 79 3.5 Empirical Distribution Function......Page 81 Quantiles......Page 82 Example 3.5......Page 84 Example 3.6......Page 85 3.6 MATLAB Code......Page 86 3.7 Further Reading......Page 87 Exercises......Page 89 Uniform Random Numbers......Page 91 Example 4.1......Page 92 Inverse Transform Method......Page 94 Example 4.2......Page 95 Example 4.3......Page 96 Acceptance-Rejection Method......Page 97 Example 4.4......Page 98 Example 4.5......Page 100 Exponential Distribution......Page 101 Example 4.6......Page 102 Gamma......Page 103 Example 4.7......Page 104 Chi-Square......Page 105 Example 4.8......Page 106 Example 4.9......Page 107 Multivariate Nomal......Page 108 Example 4.10......Page 110 Generating Variates on a Sphere......Page 111 Binomial......Page 112 Example 4.12......Page 113 Poisson......Page 114 Example 4.13......Page 115 Discrete Uniform......Page 116 Example 4.14......Page 117 4.5 MATLAB Code......Page 118 4.6 Further Reading......Page 119 Exercises......Page 121 5.1 Introduction......Page 123 5.2 Exploring Univariate Data......Page 124 Example 5.1......Page 125 Example 5.2......Page 127 Stem-and-Leaf......Page 128 Example 5.3......Page 129 Q-QPlot......Page 131 Example 5.4......Page 132 Example 5.5......Page 133 Quantile Plots......Page 135 Example 5.6......Page 136 Example 5.7......Page 138 Binomialness Plot......Page 141 Example 5.9......Page 142 Box Plots......Page 144 Example 5.10......Page 145 Scatterplots......Page 147 Example 5.11......Page 148 Contour Plots......Page 150 Example 5.13......Page 151 Bivariate Histogram......Page 153 Example 5.14......Page 154 Example 5.15......Page 155 3-D Scatterplot......Page 157 Example 5.16......Page 158 Scatterplot Matrix......Page 159 Example 5.17......Page 160 Example 5.18......Page 161 Example 5.19......Page 163 Example 5.20......Page 165 Example 5.21......Page 167 Andrews Curves......Page 169 Example 5.22......Page 170 Example 5.23......Page 172 Example 5.24......Page 174 Example 5.25......Page 175 Example 5.26......Page 176 Projection Pursuit......Page 180 Projection Pursuit Index......Page 183 Finding the Structure......Page 184 Structure Removal......Page 186 Example 5.27......Page 188 Grand Tour......Page 190 Example 5.28......Page 194 5.5 MATLAB Code......Page 195 5.6 Further Reading......Page 196 Exercises......Page 199 6.1 Introduction......Page 203 Hypothesis Testing......Page 204 Example 6.1......Page 206 Example 6.2......Page 208 Example 6.3......Page 210 Example 6.4......Page 212 Confidence Intervals......Page 213 Example 6.5......Page 215 Basic Monte Carlo Procedure......Page 216 Monte Carlo Hypothesis Testing......Page 217 Example 6.6......Page 218 Example 6.7......Page 221 Monte Carlo Assessment of Hypothesis Testing......Page 222 Example 6.8......Page 223 General Bootstrap Methodology......Page 226 Bootstrap Estimate of Standard Error......Page 228 Example 6.9......Page 229 Bootstrap Estimate of Bias......Page 231 Bootstrap Standard Confidence Interval......Page 232 Bootstrap-t Confidence Interval......Page 233 Example 6.11......Page 234 Bootstrap Percentile Interval......Page 236 Example 6.12......Page 237 6.5 MATLAB Code......Page 238 6.6 Further Reading......Page 239 Exercises......Page 240 7.1 Introduction......Page 242 7.2 Cross- Validation......Page 243 Example 7.1......Page 245 Example 7.2......Page 247 Example 7.3......Page 249 7.3 Jackknife......Page 250 Example 7.4......Page 252 Example 7.5......Page 253 Example 7.6......Page 256 Example 7.7......Page 257 7.4 Better Bootstrap Confidence Intervals......Page 258 Example 7.8......Page 261 7.5 Jackknife- After- Bootstrap......Page 262 Example 7.9......Page 263 7.6 MATLAB Code......Page 264 7.7 Further Reading......Page 265 Exercises......Page 267 8.1 Introduction......Page 269 1-D Histograms......Page 271 Example 8.1......Page 273 Example 8.2......Page 276 Multivariate Histograms......Page 277 Frequency Polygons......Page 279 Example 8.3......Page 281 Example 8.4......Page 283 Averaged Shifted Histograms......Page 284 Example 8.5......Page 288 Univariate Kernel Estimators......Page 290 Example 8.6......Page 292 Multivariate Kernel Estimators......Page 295 Example 8.7......Page 296 8.4 Finite Mixtures......Page 297 Example 8.8......Page 299 Example 8.9......Page 301 Multivariate Finite Mixtures......Page 303 Example 8.10......Page 304 EM Algorithm for Estimating the Parameters......Page 306 Example 8.11......Page 309 Adaptive Mixtures......Page 311 Example 8.12......Page 314 8.5 Generating Random Variables......Page 316 Example 8.13......Page 319 8.7 Further Reading......Page 321 Exercises......Page 324 9.1 Introduction......Page 327 9.2 Bayes Decision Theory......Page 329 Example 9.1......Page 331 Example 9.2......Page 332 Bayes Decision Rule......Page 333 Example 9.3......Page 334 Example 9.4......Page 337 Likelihood Ratio Approach......Page 339 Example 9.5......Page 341 9.3 Evaluating the Classifier......Page 342 Example 9.6......Page 343 Example 9.7......Page 345 Receiver Operating Characteristic (ROC) Curve......Page 347 Example 9.8......Page 350 9.4 Classification Trees......Page 352 Example 9.9......Page 355 Example 9.10......Page 357 Example 9.11......Page 360 Pruning the Tree......Page 362 Example 9.12......Page 365 Choosing the Best Tree......Page 366 Selecting the Best Tree Using an Independent Test Sample......Page 367 Example 9.13......Page 370 Selecting the Best Tree Using Cross-Validation......Page 371 Example 9.14......Page 374 Measures of Distance......Page 377 Example 9.15......Page 378 Hierarchical Clustering......Page 379 Example 9.16......Page 381 K-Means Clustering......Page 383 Example 9.18......Page 385 9.6 MATLAB Code......Page 386 9.7 Further Reading......Page 389 Exercises......Page 391 10.1 Introduction......Page 394 Example 10.1......Page 395 Example 10.2......Page 397 10.2 Smoothing......Page 399 Loess......Page 400 Example 10.3......Page 402 Robust Loess Smoothing......Page 405 Example 10.4......Page 408 Upper and Lower Smooths......Page 409 10.3 Kernel Methods......Page 410 Nadaraya-Watson Estimator......Page 413 Local Linear Kernel Estimator......Page 414 10.4 Regression Trees......Page 416 Example 10.8......Page 419 Pruning a Regression Tree......Page 420 Selecting a Tree......Page 421 Example 10.9......Page 426 10.5 MATLAB Code......Page 428 10.6 Further Reading......Page 429 Exercises......Page 431 11.1 Introduction......Page 433 Bayesian Inference......Page 434 Monte Carlo Integration......Page 435 Example 11.1......Page 436 Markov Chains......Page 437 11.3 Metropolis- Hastings Algorithms......Page 438 Metropolis-Hastings Sampler......Page 439 Example 11.2......Page 440 Metropolis Sampler......Page 441 Example 11.3......Page 444 Independence Sampler......Page 446 Example 11.4......Page 447 Example 11.5......Page 449 11.4 The Gibbs Sampler......Page 451 Example 11.6......Page 453 Example 11.7......Page 455 Example 11.8......Page 458 11.5 Convergence Monitoring......Page 460 Gelman and Rubin Method......Page 461 Example 11.9......Page 464 11.6 MATLAB Code......Page 466 11.7 Further Reading......Page 469 Exercises......Page 470 What Is Spatial Statistics?......Page 473 Types of Spatial Data......Page 474 Spatial Point Patterns......Page 475 Complete Spatial Randomness......Page 477 Example 12.1......Page 479 Example 12.2......Page 480 Example 12.3......Page 481 Estimating the Intensity......Page 483 Example 12.4......Page 484 Nearest Neighbor Distances - G and F Distributions......Page 486 K-Function......Page 490 Example 12.5......Page 488 Example 12.6......Page 492 12.4 Modeling Spatial Point Processes......Page 493 Nearest Neighbor Distances......Page 494 Example 12.7......Page 497 K-Function......Page 498 Example 12.8......Page 500 Example 12.9......Page 501 Homogeneous Poisson Process......Page 503 Example 12.10......Page 504 Binomial Process......Page 505 Example 12.11......Page 506 Poisson Cluster Process......Page 507 Example 12.12......Page 508 Inhibition Process......Page 509 Example 12.13......Page 510 Example 12.14......Page 512 12.6 MATLAB Code......Page 513 12.7 Further Reading......Page 515 Exercises......Page 516 A. 1 What Is MATLAB?......Page 518 A. 3 File and Workspace Management......Page 519 A. 5 Arithmetic Operators......Page 521 A. 6 Data Constructs in MATLAB......Page 523 A. 7 Script Files and Functions......Page 525 A. 8 Control Flow......Page 527 A. 9 Simple Plotting......Page 528 A. 10 Contact Information......Page 531 Other......Page 532 Greek Symbols......Page 533 Acronyms......Page 534 Friedman-Tukey Index......Page 535 Moment Index......Page 536 L2 Distances......Page 537 C. 2 MATLAB Source Code......Page 538 D.1 Bootstrap Confidence Interval BCa......Page 544 D. 2 Adaptive Mixtures Density Estimation......Page 545 D. 3 Classification Trees......Page 547 D. 4 Regression Trees......Page 549 Appendix E: MATLAB Statistics Toolbox......Page 551 Computational Statistics Toolbox......Page 560 Appendix G: Data Sets......Page 565 References......Page 572 This handbook uses a down-to-earth approach that makes statistics accessible to a wide range of users. The handbook includes MATLAB functions for common probability distributions and features MATLAB interfaces for algorithms and demos