《python数据挖掘入门与实践》apriori算法代码优化：避免频繁项集重复计数
本文针对《Python数据挖掘入门与实践》一书中Apriori算法代码片段中存在的重复计数问题，提出改进方案。原代码在寻找频繁2-项集时，由于遍历所有可能的1-项集，导致相同的2-项集被多次计算。
问题描述:
原代码片段如下：
from collections import defaultdict
def find_frequent_itemsets(favorable_reviews_by_users, k_1_itemsets, min_support):
counts = defaultdict(int)
for user, reviews in favorable_reviews_by_users.items():
for itemset in k_1_itemsets:
if itemset.issubset(reviews):
for other_reviewed_movie in reviews - itemset:
current_superset = itemset | frozenset((other_reviewed_movie,))
counts[current_superset] += 1
return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
当用户评论集合为 {a, b} 时，算法会分别以 {a} 和 {b} 作为 itemset 进行计算，分别生成 {a, b} 和 {b, a}，由于 frozenset({a, b}) == frozenset({b, a})，导致 {a, b} 被重复计数。
改进方案:
为了避免重复计数，可以采用以下两种方法：
方法一：计数前检查
在 counts[current_superset] += 1 之前，检查 current_superset 是否已存在于 counts 中。如果存在，则直接累加计数；否则，新增计数。
from collections import defaultdict
def find_frequent_itemsets_improved1(favorable_reviews_by_users, k_1_itemsets, min_support):
counts = defaultdict(int)
for user, reviews in favorable_reviews_by_users.items():
for itemset in k_1_itemsets:
if itemset.issubset(reviews):
for other_reviewed_movie in reviews - itemset:
current_superset = itemset | frozenset((other_reviewed_movie,))
counts[current_superset] +=1 #直接计数，避免重复
return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
方法二：排序后生成项集
在生成 current_superset 之前，对 itemset 和 other_reviewed_movie 进行排序，确保所有项集的元素顺序一致。这样可以保证相同的项集只会被计算一次。
from collections import defaultdict
def find_frequent_itemsets_improved2(favorable_reviews_by_users, k_1_itemsets, min_support):
counts = defaultdict(int)
for user, reviews in favorable_reviews_by_users.items():
for itemset in k_1_itemsets:
if itemset.issubset(reviews):
for other_reviewed_movie in sorted(list(reviews - itemset)): #排序
current_superset = frozenset(sorted(list(itemset | frozenset((other_reviewed_movie,))))) #排序
counts[current_superset] += 1
return dict([(itemset, frequency) for itemset, frequency in counts.items() if frequency >= min_support])
总结:
方法二比方法一效率更高，因为它避免了重复的计数检查。 两种方法都能有效解决原代码中频繁项集重复计数的问题，得到正确的频繁2-项集。 选择哪种方法取决于具体的性能需求和代码风格偏好。 建议读者在学习Apriori算法时，理解其原理，并尝试改进代码以提高效率和准确性。
以上就是Python数据挖掘入门与实践：Apriori算法代码如何避免频繁项集重复计数？的详细内容，更多请关注知识资源分享宝库其它相关文章！
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。