scikit-learn 中的超参数优化（网格搜索）
超参数调优，最基本的就是网格搜索的方法。最常用的是网格遍历的方法，其遍历给定的参数组合，来比较模型在各参数组合下的表现。
scikit-learn.model_selection中提供了GridSerachCV，来实现网格搜索。构造网格搜索，需要指定以下元素：
在GridSearchCV中对应的参数为
此外还有一些参数可用于性能调优，如n_jobs、pre_dispatch可以指定并行运算的作业数量。
GridSearchCV实现了 fit 和 score 方法，学习器自身的方法，也可以通过GridSeachCV直接调用。训练后可通过best_estimator、best_score、best_params等属性获取***参数等信息。
除了遍历搜索，还可以进行随机搜索，sklearn.model_selection中的RandomizedSearchCV就是这样的方法。
其参数和使用方法与GridSeachCV类似，只是不对所有可能的超参数组合进行遍历。而是根据参数n_iter，生成指定个数的超参数组合，并在其上进行比较。
适用于超参数非常多，不支持穷举遍历的情况，可以结合启发式搜索方法进行参数调优。
除了遍历和随机的网格搜索方法，scikit-learn也附带提供了遍历和随机的超参数组合方法。只返回超参数组合的集合。
ParameterGrid方法生所有超参数的组合。并可以通过其他函数读取。
ParameterSampler则进行随机组合。不遍历所有超参数组合，而是采用随机采样的方式组合超参数，并生成指定n_iter个组合供迭代使用。
这两种方法只生成的超参数组合，在不用GridSeachCV或RandomizedSearchCV方法，而使用其他调优方法时可以使用。
scikit-learn中还提供了一些模型特定的交叉验证方法，这些方法可以提升验证效率。
包括ElasticNetCV、LassoCV、RidgeCV、LogisticRegressionCV等等。
25、网格搜索--调参
网格搜索是指尝试我们关心的参数的所有组合。如核SVM有2个重要的参数 ：核宽度gamma和正则化参数C。假设我们希望尝试C的取值为0.001，0.01，0.1，1，10和100，gamma也取这6个值，则共有36种参数组合。
输出
看到这个结果，我们可能忍不住要报告了，我们找到了一个精度达到97%的模型。然而这种说法可能是错的，原因如下：我们尝试了许多不同的参数，并选择了在测试集上精度***的那个，但这个精度不一定能推广到新数据上。由于我们使用测试集进行调参，所以不能再用它来评估模型的好坏。为了解决这个问题，一种方法是再次划分数据集，这样我们得到三个数据集：训练集、调参的验证集、测试集。利用验证集选定***参数后，我们再用这个参数训练模型。
输出
得到模型精度为92%，这个才是模型精度，而不是之前的97%。
输出
输出
交叉验证与网格搜索
交叉验证与网格搜索是机器学习中的两个非常重要且基本的概念，但是这两个概念在刚入门的时候并不是非常容易理解与掌握，自己开始学习的时候，对这两个概念理解的并不到位，现在写一篇关于交叉验证与网格搜索的文章，将这两个基本的概念做一下梳理。
网格搜索（Grid Search）名字非常大气，但是用简答的话来说就是你手动的给出一个模型中你想要改动的所用的参数，程序自动的帮你使用穷举法来将所用的参数都运行一遍。决策树中我们常常将***树深作为需要调节的参数；AdaBoost中将弱分类器的数量作为需要调节的参数。
为了确定搜索参数，也就是手动设定的调节的变量的值中，那个是***的，这时就需要使用一个比较理想的评分方式（这个评分方式是根据实际情况来确定的可能是accuracy、f1-score、f-beta、pricise、recall等）
有了好的评分方式，但是只用一次的结果就能说明某组的参数组合比另外的参数组合好吗？这显然是不严谨的，上小学的时候老师就告诉我们要求平均��。所以就有了交叉验证这一概念。下面以K折交叉验证为例介绍这一概念。
————————————————
原文链接：
调参-网格搜索（Grid Search）
原始数据集划分成训练集和测试集以后，其中测试集除了用作调整参数，也用来测量模型的好坏；这样做导致最终的评分结果比实际效果要好。（因为测试集在调参过程中，送到了模型里，而我们的目的是将训练模型应用在unseen data上）
对训练集再进行一次划分，分成训练集和验证集，这样划分的结果就是：原始数据划分为3份，分别为：训练集、验证集和测试集；其中训练集用来模型训练，验证集用来调整参数，而测试集用来衡量模型表现好坏。
交叉验证经常与网格搜索进行结合，作为参数评价的一种方法，这种方法叫做grid search with cross validation。sklearn因此设计了一个这样的类GridSearchCV，这个类实现了fit，predict，score等方法，被当做了一个estimator，使用fit方法，该过程中：（1）搜索到***参数；（2）实例化了一个***参数的estimator；
Grid Search 调参方法存在的共性弊端就是：耗时；参数越多，候选值越多，耗费时间越长。所以，一般情况下，先定一个大范围，然后再细化。
ocsvm网格搜索是什么
指尝试重要参数的所有可能组合，找到***泛化性能的参数组合。
网格搜索（gridsearch）主要是指尝试重要参数的所有可能组合，找到***泛化性能的参数组合。为了得到对泛化性能的更好估计，可以使用交叉验证来评估每种参数组合的性能，而不是仅将数据单次划分为训练集与验证集。
什么是网格搜索法？如何用它来优化学习算法
网格搜索法是指定参数值的一种穷举搜索方法，通过将估计函数的参数通过交叉验证的方法进行优化来得到***的学习算法。
即，将各个参数可能的取值进行排列组合，列出所有可能的组合结果生成“网格”。然后将各组合用于SVM训练，并使用交叉验证对表现进行评估。在拟合函数尝试了所有的参数组合后，返回一个合适的分类器，自动调整至***参数组合，可以通过clf.best_params_获得参数值
网格搜索的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于随机森林网格搜索、网格搜索的信息别忘了在本站进行查找喔。